Удачная AI-демонстрация доказывает, что модель способна выдать интересный результат. Production-система должна доказать повторяемость, ответственность, безопасность, контроль стоимости и восстановление после ошибки.
UK AI Playbook охватывает путь от решения о применимости AI до безопасной разработки, покупки и эксплуатации. Внедрение — это последовательность доказательных ворот, а не одна дата запуска.
Этап 1: discovery и исходная точка
Опишите один процесс и одного владельца. Метод из «Как выбрать правильный AI-кейс» помогает исключить размытые, необратимые и неизмеримые проекты.
Зафиксируйте объём, время цикла, трудозатраты, исправления, исключения и стоимость. Без исходной точки пилот показывает только активность.
- Результат: одностраничное описание кейса.
- Ворота: согласованы ценность, владелец, база и условие остановки.
Этап 2: карта данных и прав
Перечислите источники, поля, документы, сроки хранения и роли. Отделите необходимые данные от просто доступных.
Соберите репрезентативный тестовый набор с обычными, сложными и исключёнными случаями. Не смешивайте его с примерами для разработки промпта.
- Результат: карта данных и eval-набор.
- Ворота: доступ законен, минимален, актуален и технически возможен.
Этап 3: ограниченный прототип
Постройте минимальный путь для проверки гипотезы. Используйте read-only доступ или примеры и выдавайте рекомендации либо черновики вместо внешних действий.
Выбирайте чат-бота, workflow или агента после понимания пути; сравнение архитектур объясняет компромиссы.
- Результат: рабочий прототип с журналом.
- Ворота: основная задача выполняется на репрезентативных примерах.
Этап 4: пилот на реальной работе
Запускайте реальные случаи в теневом режиме или как черновики. Проверяйте каждый итог, записывайте типы ошибок и трудозатраты на исправления.
Следите не только за средней точностью, но и за серьёзными сбоями, отсутствием источников, неправильными инструментами и пропущенной эскалацией.
- Результат: отчёт пилота относительно базы.
- Ворота: достигнуты пороги качества, исключений, безопасности и стоимости.
Этап 5: оценка и assurance
Руководство правительства Великобритании предлагает модульно выбирать тесты под систему и кейс.
Оценивайте отдельно ответ модели, окружающий workflow и человеческую проверку. Добавьте регрессионные тесты для изменений промпта, модели или данных.
- Результат: версионированный eval-набор и критерии.
- Ворота: результаты воспроизводимы, ограничения задокументированы.
Этап 6: production-интеграция
Аутентификация, права, валидация, расчёты, идемпотентность и запись должны быть в детерминированных сервисах. Модель получает минимум инструментов и полей.
Добавьте очереди, повторы, таймауты, защиту от дублей и связанный журнал входа, ответа модели, решения человека и внешнего действия.
- Результат: production-архитектура и план инцидента.
- Ворота: пройдены безопасность, нагрузка и тест отката.
Этап 7: ограниченный запуск
Откройте систему небольшой группе, одной команде или доле случаев. Сохраните ручной fallback и сравнивайте production с пилотом.
Последовательность из «AI-автоматизации для малого бизнеса» полезна и в сложном проекте.
- Результат: отчёт запуска и подтверждение владельца.
- Ворота: качество и стоимость остаются в пределах.
Этап 8: мониторинг и управление изменениями
NIST AI 800-4 систематизирует категории production-мониторинга и проблемы меняющегося реального контекста.
Контролируйте drift входов, качество, ошибки инструментов, задержку, стоимость, отмены человеком, инциденты и поведение пользователей. Изменения модели, промпта, источников и правил должны версионироваться и переоцениваться.
- Результат: dashboard, алерты, график ревью и журнал изменений.
- Ворота: у системы есть активный владелец, а не только работающий endpoint.
Четыре решения на каждых воротах
NIST AI RMF использует Govern, Map, Measure и Manage. На каждом этапе решайте: продолжить, переделать, сузить или остановить.
Закрыть слабый кейс после discovery — успешное решение. Отправить его в production из-за уже потраченного времени — нет.
Переход к production из моей практики
API-конвейер блога начался с ручного теста одного черновика. Сначала я проверил настоящий endpoint, обязательные поля и загрузку изображения без публикации.
Затем добавил структурированные payload, полные PUT-обновления, языковые ссылки и восемь проверок живых страниц. Статус менялся только после создания черновика, чтения обратно и явного разрешения.
Главным переходом стал не более умный промпт, а источник состояния, детерминированный контроль, обратимый draft и проверка после публикации.
Вопросы и ответы
Сколько должен длиться пилот?
Задайте достаточное число репрезентативных случаев и исключений, а не только календарный срок.
Когда прототип готов к production?
Когда вся система проходит критерии качества, безопасности, стоимости, отката и ответственности на реальной работе.
Что мониторить после запуска?
Входы, качество, вызовы инструментов, исключения, решения человека, задержку, стоимость, инциденты и изменения.
Заменяет ли демонстрация поставщика пилот?
Нет. Она не проверяет ваши данные, права, интеграции, пользователей, исключения и цену ошибки.
Кто владеет production AI-системой?
Назначенный бизнес-владелец отвечает за итог, а технические, безопасностные и правовые роли — за свои контроли.