Это вторая часть разговора о внедрении ИИ. В первой мы разбирали, с каких задач начинать и как посчитать пользу до разработки. Здесь — следующий шаг: как провести пилотный проект внедрения ИИ на одной задаче и по его итогам честно решить, масштабировать решение, дорабатывать или закрывать.
Пилот часто путают с демонстрацией: модель показали на десятке удачных примеров, все впечатлились, а через месяц инструментом никто не пользуется. Пилот — это эксперимент, который должен ответить на вопрос: работает ли решение на ваших данных, в вашем процессе, с вашими сотрудниками. Ниже — как устроить его так, чтобы ответ был однозначным.
Пилот, proof of concept и продукт: в чём разница
Proof of concept ИИ отвечает на технический вопрос: может ли модель в принципе справиться с задачей. Его делают на выгрузке данных, без интеграций и без пользователей. Пилот идёт дальше: решение работает на живом потоке, им пользуются реальные сотрудники, а результат сравнивают с тем, как процесс шёл раньше.
Продукт — это уже рабочая система для всех, с поддержкой, мониторингом и ответственными. Пропустить пилот и сразу строить продукт — значит потратить основной бюджет до того, как станет ясно, есть ли польза.
Как выбрать задачу для пилота нейросети в компании
Задача для пилота должна быть достаточно важной, чтобы результат кого-то интересовал, и достаточно узкой, чтобы её можно было проверить за короткий срок. Хороший кандидат отвечает на большинство пунктов:
- операция повторяется часто, и объём можно посчитать;
- у задачи понятный вход и понятный результат: письмо → отдел, документ → реквизиты, вопрос → ответ по регламенту;
- ошибку модели легко заметить и исправить до того, как она дойдёт до клиента;
- есть исторические данные или примеры с правильными ответами;
- у процесса есть владелец, которому результат нужен и который готов выделить время сотрудников на проверку.
Если задача требует, чтобы ИИ сам выполнял действия в нескольких системах — создавал сделки, отправлял письма, менял статусы, — для пилота её лучше сузить. Сначала модель предлагает действие, человек подтверждает. Автономность добавляют, когда качество уже измерено.
Метрика успеха и базовая линия «до»
Оценка результата ИИ-проекта начинается до его старта. Нужно договориться о трёх вещах: что измеряем, сколько это сейчас и какое значение будет считаться успехом.
- Метрика качества. Точность классификации, доля ответов, которые не пришлось править, доля правильно извлечённых полей.
- Метрика процесса. Время на операцию, время первого ответа клиенту, число операций на сотрудника.
- Пороги. Значение, при котором масштабируем, и значение, ниже которого останавливаемся. Между ними — зона доработки.
Базовую линию «до» снимают с текущего процесса: сколько уходит времени, сколько ошибок допускают сейчас люди, какой объём проходит за месяц. Без этого замера любое число после пилота не с чем сравнить.
Если порог успеха не записан до старта, после пилота его подгонят под результат.
Пороги стоит записать в документ и согласовать с владельцем процесса. Если порог успеха не записан до старта, после пилота его легко подогнать под результат, а обсуждение сводится к ощущениям: одним кажется, что стало лучше, другим — что модель ошибается слишком часто.
Данные и доступы: что подготовить
Большая часть задержек в пилотах связана не с моделью, а с тем, что нужные данные лежат в разных местах и к ним нет доступа. Список стоит пройти заранее:
- тестовый набор: несколько сотен реальных примеров с эталонными ответами, на которых сравнивают версии решения;
- база знаний в актуальной версии, если модель отвечает по документам и регламентам;
- доступы к системам, откуда приходят данные: почта, CRM, учётная система, хранилище документов — хотя бы на чтение;
- понимание, есть ли в данных персональные сведения и коммерческая тайна;
- человек со стороны бизнеса, который отвечает на вопросы о данных и спорных примерах.
Если задача связана с отчётами и вопросами к таблицам, отдельно проверяют, насколько аккуратно заполнены поля и совпадают ли данные в разных системах. Модель не исправит расхождения, она их воспроизведёт.
Облако или своя модель на время пилота
Для пилота обычно выбирают самый быстрый путь к проверке качества — готовую облачную модель через API. Это не требует своего железа и позволяет за короткий срок сравнить несколько моделей на тестовом наборе.
Ограничение одно, но серьёзное — данные. Если в запросы попадают ФИО, телефоны, адреса клиентов или сотрудников, действует 152-ФЗ: требования к локализации баз с персональными данными граждан РФ и к трансграничной передаче. Варианты для пилота:
- обезличивать данные перед отправкой в модель и подставлять их обратно после ответа;
- использовать облачные модели, которые обрабатывают данные в России;
- сразу разворачивать открытую модель в своём контуре, если данные нельзя выносить вовсе.
Решение на время пилота не обязано быть окончательным. Важно, чтобы тестовый набор и метрики не зависели от модели: тогда при переходе на другую модель качество можно сравнить на тех же примерах.
Как провести пилот: внедрение искусственного интеллекта по шагам
Сама работа укладывается в понятную последовательность. Каждый шаг заканчивается проверяемым результатом, а не отчётом «работы ведутся».
- Прототип на готовых моделях. Инструкции для модели, поиск по базе знаний, простой интерфейс или встраивание в привычный инструмент. Собственную нейросеть на этом этапе не обучают.
- Прогон на тестовом наборе. Прототип отвечает на сотни реальных примеров, результат сравнивают с эталоном. Здесь видно, какой потолок качества реален и на каких типах случаев модель ошибается.
- Тест на живом потоке. Решение подключают к реальным данным, но в режиме подсказки: модель предлагает, сотрудник подтверждает или исправляет. Клиент ошибок модели не видит.
- Сбор ошибок и правок. Каждое исправление сотрудника сохраняется. Это лучший материал для улучшения инструкций и пополнения тестового набора.
- Оценка с людьми из процесса. Короткие интервью с теми, кто пользовался решением: где помогало, где мешало, сколько времени уходило на проверку. Цифры показывают качество, интервью — удобство.
- Сравнение с базовой линией. Метрики пилота сопоставляют с замером «до» и с порогами, записанными на старте.
Оценка с сотрудниками часто оказывается решающей. Модель может давать хорошую точность, но если проверка её ответа занимает столько же времени, сколько ручная работа, пользы для процесса нет.
Масштабируем, дорабатываем или закрываем
По итогам пилота решение принимают по порогам, заданным заранее, и по отзывам пользователей. Три исхода выглядят так:
- Масштабируем. Метрика выше порога успеха на тестовом наборе и на живом потоке, сотрудники готовы пользоваться, расчёт пользы подтверждается фактическими цифрами.
- Дорабатываем. Метрика в промежуточной зоне, а ошибки сосредоточены в понятных типах случаев: не хватает документов в базе знаний, неудачно разделены категории, нужен ещё один источник данных. Доработку ограничивают по времени и снова меряют.
- Закрываем. Качество ниже нижнего порога и причины не устраняются доработкой, или выигрыш по времени съедается проверкой. Это тоже результат: компания узнала об этом на пилоте, а не после полноценной разработки.
Масштабирование ИИ: что меняется при переходе в продакшн
Удачный пилот — ещё не рабочая система. На пилоте решение обслуживает одну группу пользователей и живёт под присмотром команды. В продакшне оно становится частью процесса, от которой зависят сроки и клиенты.
| Пилот | Продакшн | |
|---|---|---|
| Пользователи | Одна группа, знает, что идёт эксперимент | Все сотрудники процесса |
| Интеграции | Минимальные, часть данных вручную | Полные: CRM, почта, учётные системы, права доступа |
| Контроль качества | Команда разбирает ошибки вручную | Постоянный мониторинг метрик и выборочная проверка |
| Ошибки и сбои | Допустимы, это часть эксперимента | Есть резервный сценарий и ответственный |
| Данные и знания | Срез на момент пилота | Регулярное обновление базы знаний |
Интеграции
Решение встраивают туда, где сотрудники уже работают: в CRM, почтовый клиент, учётную систему, Telegram. Отдельный портал, куда нужно специально заходить, пустеет быстро. По объёму это обычная разработка веб-сервисов: API, права доступа, журналирование, нагрузка.
Мониторинг качества
Меняются продукты, цены и регламенты, провайдер выпускает новую версию модели — и качество незаметно падает. Метрики пилота должны продолжать считаться в продакшне: регулярный прогон тестового набора, доля исправленных сотрудниками ответов, выборочная ручная проверка. Должен быть и понятный человек, который смотрит на эти цифры.
Обучение сотрудников
Пользователям нужно объяснить, что решение умеет и чего не умеет, когда ответу можно доверять, а когда его надо проверять, куда сообщать об ошибках. Без этого одни будут слепо принимать ответы модели, другие — обходить инструмент стороной.
Если пилот шёл на облачной модели, а данные для продакшна выносить нельзя, на этом этапе решают вопрос с размещением: своя модель в контуре компании или российское облако. Тестовый набор, собранный на пилоте, позволяет сравнить варианты по фактическому качеству.
Мы в Sphere — IT-компания в Москве — ведём такие проекты по тем же этапам, что и любой цифровой продукт: аналитика процесса и данных, проектирование, разработка и тесты, запуск и развитие. Примеры задач — в разделе проекты IT-агентства Sphere.
Частые вопросы
Чем пилот ИИ отличается от proof of concept?
Proof of concept проверяет, может ли модель в принципе справиться с задачей, на выгрузке данных и без пользователей. Пилот проверяет решение в реальном процессе: на живом потоке данных, с сотрудниками и с метриками, которые сравнивают с тем, как процесс работал до этого.
Как понять, что пилот прошёл успешно?
По порогам, которые зафиксировали до старта: метрика качества на тестовом наборе и на живом потоке, выигрыш по времени по сравнению с базовой линией и отзывы сотрудников, которые пользовались решением. Если пороги не записаны заранее, успех превращается в вопрос мнения.
Нужно ли для пилота обучать свою нейросеть?
Как правило, нет. Пилот делают на готовых моделях с инструкциями и поиском по базе знаний: этого достаточно, чтобы понять, какой уровень качества реален. Дообучение имеет смысл обсуждать позже, если готовые модели не дотягивают до порога на тестовом наборе.
Что делать, если пилот не дал результата?
Разобрать, почему: не хватило данных, задача сформулирована слишком широко, проверка ответов отнимает столько же времени, сколько ручная работа. Иногда задачу стоит сузить и повторить, иногда закрыть. Закрытый пилот — нормальный результат, он экономит бюджет полноценной разработки.
Может ли агентство разработки провести пилот, если у нас нет своей ИИ-команды?
Да. Со стороны компании нужны владелец процесса, доступ к данным и время сотрудников на проверку результатов. Агентство разработки берёт на себя анализ процесса, прототип, интеграции и измерения, а при удачном исходе — переход в продакшн.




