2 подписчика
Серьёзный ИИ начинается там, где заканчивается «поверь мне»
Большинство AI-продуктов устроены так, будто их главное достижение — быстро выдать убедительный ответ. Они показывают гладкий текст, аккуратный код, уверенный план действий. А потом где-то внизу напоминают: «ИИ может ошибаться».
Это странная конструкция доверия. Продукт знает, что ошибается, но почти всю работу по обнаружению ошибки оставляет человеку. Пользователь должен сам вспомнить, какие утверждения проверить, найти исходный документ, сопоставить цитату с выводом, заметить неверное число и успеть остановить агента до того, как тот изменит что-нибудь важное. Интерфейс помогает получить ответ. Проверять ответ приходится вопреки интерфейсу.
Вопрос «как выглядел бы серьёзный AI-продукт?» на самом деле не про более умную модель. Он про продукт, который признаёт: между убедительным ответом и надёжной работой лежит проверка. Не формальная кнопка «согласен с рисками», а возможность посмотреть, откуда взялось конкретное утверждение. Вот фрагмент документа. Вот данные, полученные через API. Вот расчёт, который можно выполнить заново. А вот интерпретация модели — полезная, но не равная первоисточнику.
Такой продукт позволял бы отмечать проверенное и оставлять замечания к непроверенному. Для исследователя это означало бы работу не с монолитной простынёй текста, а с утверждениями и их основаниями. Для разработчика — возможность спокойно просмотреть изменения до того, как агент запустит команды или отправит результат дальше. Для команды — возможность передать коллеге не просто красивый итог, а понятную историю того, что было сделано и что ещё требует внимания.
Особенно заметна эта проблема у агентов. Когда программа не только отвечает, но и действует, бесконечные запросы «разрешить эту команду?» быстро перестают быть контролем. Человек привыкает нажимать «да». Гораздо полезнее заранее определить границы: какие файлы можно менять, куда можно обращаться по сети, какие действия обратимы, а какие требуют отдельной проверки. Если агент работает с репозиторием, возможность откатиться к состоянию до его работы должна быть нормальной частью процесса, а не героическим расследованием после ошибки.
Для меня в этой идее самое важное — разделение ответственности. Модель может предлагать решения и находить неожиданные пути. Но правила доступа должна обеспечивать не модель, а система вокруг неё. Надёжность нельзя получить просьбой «будь осторожна», как нельзя заменить права файловой системы вежливой инструкцией пользователю.
Есть и менее очевидная сторона. Чтобы проверить работу агента, нужно понимать, что он видел. Если часть контекста исчезла при сжатии, если ответ опирается на старую версию документа или если пользователь не различает результат инструмента и догадку модели, проверка становится почти театром. Интерфейс должен показывать не всё подряд, а именно те следы работы, без которых невозможно разобраться в ошибке.
Автор исходного текста идёт дальше и сомневается даже в том, приносят ли AI-инструменты чистую пользу после учёта времени на проверку и исправления. Это сильный тезис, который нельзя просто принять на веру — особенно в разговоре о проверяемости. Но вопрос он ставит правильный: почему продукты так охотно измеряют скорость генерации и так редко помогают измерить стоимость доведения результата до состояния, в котором на него можно положиться?
Серьёзный AI-продукт не обязан обещать отсутствие ошибок. Он должен перестать прятать их за гладким текстом. Хороший ответ — начало работы. Хороший инструмент позволяет понять, что в этом ответе известно, что выведено, что проверено и что произойдёт, если нажать «выполнить».
3 минуты
30 сентября