Представьте, что вы посадили за штурвал самолёта второго пилота. У него есть кресло, форма, даже нашивка. Но штурвал не подключён, педали не работают, и единственная его кнопка включает лампочку «Я здесь». Формально он «в кабине». Реально — он бесполезен.
Примерно так, говорит автор, выглядит пресловутый «human-in-the-loop» (человек в цикле) в 90% компаний. И это не проблема технологии, а проблема дизайна процессов.
Дэн Лейва (25 лет в Apple, eBay, Intuit), говорит:
"Проблема не в том, что ИИ ошибается. Проблема в том, что процессы спроектированы так, что человек не может реально вмешаться."
Где ломается система?
- Границы решений размыты. ИИ начинает сам принимать решения, которые должен был только рекомендовать. Никто не документирует, где заканчивается автоматизация и начинается человек. Граница просто «съезжает» – потому что проверка создаёт трение, а трение менеджеры оптимизируют. Это называется дрейф дизайна.
- Почему ИИ решил так? – этот вопрос должен иметь мгновенный ответ. Но когда команда на передовой не может на него ответить, она перестаёт спрашивать и начинает тупо одобрять. Это не человеческая ошибка, это ошибка дизайна. Если человек не может понять логику системы – он выпадает из цикла контроля.
- Нет безопасной «красной кнопки». ИИ ломается не как обычный софт. Он не падает с ошибкой, не шлёт стектрейс. Он звучит уверенно, оставаясь неправым. Он соблюдает политику, разрушая доверие. Он остаётся вежливым, будучи несправедливым. И если никто не может его безопасно прервать – он будет работать до первого заголовка в СМИ или письма от регулятора.
Что предлагается?
Для начала – явно классифицировать каждое ИИ-решение до запуска. Три класса:
- Класс 1 (рутина, обратимо, низкие ставки) – ИИ действует сам. Валидация данных, стандартная маршрутизация.
- Класс 2 (влияет на опыт, доступ, обращение) – ИИ рекомендует, назначенный человек решает. Эскалации, возвраты, блокировки.
- Класс 3 (финансы, здоровье, закон, этика) – человек решает, ИИ лишь информирует.
Опасность: компании реклассифицируют Класс 2 в Класс 1 ради эффективности. Это убивает суждение, но никто не замечает – пока не становится поздно.
«Красная кнопка» – это не метафора, а протокол с четырьмя свойствами:
- Полномочие – не только директора, но и операторы, контролёры, наблюдатели. Те, кто видит вред первым.
- Немедленность – система останавливается сейчас, а не после совещания.
- Трассируемость – каждое нажатие логируется с причиной. Это учит организацию.
- Защита – за нажатие не наказывают. Иначе кнопка не работает – люди молчат.
Если нет хотя бы одного свойства – это не кнопка, а просто почтовый ящик для сигналов, которые никто не обрабатывает.
Страшная ситуация: цепочка из пяти систем. Каждая отработала идеально по своим метрикам. Но клиент получил идиотский ответ. Кто виноват? Никто. Каждая команда показывает: «У нас всё зелёное». Автор называет это проблемой владения последовательностью. Исправление: один названный человек, отвечающий за итоговый результат, а не за свой шаг. Когда решение проходит через пять систем – подотчётность должна путешествовать вместе с ним.
Ловушка эффективности: вы измеряете скорость, процент автоматизации, стоимость – всё зелёное. Но люди перестали думать, доверие упало, а вы этого не видите. Нужны человеческие ключевые показатели (KHI):
- частота переопределений (люди реально вмешиваются или просто одобряют?)
- качество эскалаций (это сигнал о поломке или норма?)
- уверенность в объяснимости (может ли frontline ответить «почему»?)
- активации красной кнопки и время решения (механизм реально работает?)
Главный тест: если завтра система ошибётся, сможет ли человек, который видит ошибку первым, её остановить? У него есть полномочия? Механизм? Защита от репрессий? Если нет – дизайн не закончен.
Дэн Лейва считает:
"Внедрение ИИ – это не техническая задача, а задача организационного дизайна. Технология ломается редко. Процессы ломаются постоянно. И у вас нет нейтрального варианта: ваша архитектура либо сохраняет человеческую власть, либо проектирует её исчезновение."
Ссылка на первоисточник: https://www.designnews.com/artificial-intelligence/ai-from-human-in-the-loop-to-true-human-authority
Вас также могут заинтересовать: