NeuralStuff

Один из самых неприятных эффектов автоматизации с помощью ИИ возникает не тогда, когда модель ошибается. А когда она работает слишком быстро. Представим процесс из четырех этапов: Анализ → Проверка → Согласование → Исполнение До внедрения ИИ каждый этап пропускал примерно по 20 кейсов в день: 20 → 20 → 20 → 20 После внедрения агента первый этап стал обрабатывать 100 кейсов: 100 → 20 → 20 → 20 На локальной панели показателей (dashboard) это выглядит как успех: +400% к производительности анализа. Но сквозная пропускная способность (end-to-end throughput) всей системы почти не изменилась...

Один из самых популярных способов «обезопасить» систему с агентами (agentic system) звучит просто: Пусть человек подтверждает результат. На уровне презентации это выглядит разумно. На уровне production-процесса часто получается иначе: Исполнение агентом (agent execution): 20 секунд Human review: 12 минут Queue waiting time: 3 часа ИИ ускорил исполнение, но процесс почти не ускорился. Узкое место (bottleneck) просто переехало. Поэтому человека в контуре принятия решений (Human in the Loop) стоит рассматривать не как универсальную страховку, а как отдельную архитектуру принятия решений...

Есть архитектурная ошибка, которая в системах с агентами (agentic systems) особенно опасна: смешивать знание правила и техническое право на действие. Мы пишем в системный запрос (system prompt): Не отправляй персональные данные во внешние сервисы. И считаем, что построили контроль. Но если агент имеет инструмент, который технически позволяет отправить данные наружу, настоящий контроль не создан. Мы просто надеемся, что модель каждый раз правильно интерпретирует правило, контекст и классификацию данных...

Есть парадокс, который становится всё заметнее по мере внедрения искусственного интеллекта (AI) в разработку и другие интеллектуальные процессы. Чем дешевле и быстрее становится исполнение, тем важнее становится постановка задачи. Пока реализация занимала дни и недели, организация имела много естественных точек, где смысл успевал уточниться. Разработчик задавал вопросы. Аналитик замечал противоречие. Тестировщик находил неочевидный сценарий. Руководитель менял формулировку требования после первого промежуточного результата...

Введение Есть простая причина, почему высокий результат контрольного теста (benchmark score) ещё не означает готовность ИИ (AI) выполнять реальную работу. Тестовая задача почти всегда изолирована. Реальная должность — нет. Сотрудник работает внутри конкретной организации, где у него есть: инструкции; история прошлых решений; доступ к рабочим системам; ограничения по полномочиям; локальные исключения; обратная связь; память о предыдущих кейсах; критерии качества. Поэтому способность модели решить один вопрос и способность агента стабильно выполнять должность — разные вещи...