На круглом столе «ИИ: будущее уже наступило?» участники XXI конгресса ИТ-директоров «Белые Ночи» обсуждали агентный ИИ, цифровых сотрудников и гибридные команды. Главный вопрос оказался не в том, что уже умеют модели, а в том, как управлять системами, которых нельзя наказать, но нужно контролировать, проверять и вовремя выключать.
Чтобы агент не «гулял по буфету»
Если раньше ИИ в компаниях воспринимался как поисковик, затем как ассистент, то теперь в центр обсуждения выходят агенты — системы, которые могут брать на себя рабочие роли, действовать более самостоятельно и встраиваться в бизнес-процессы. В такой логике у компании появляется не просто новый ИТ-инструмент, а цифровой сотрудник.
С агентами появляется соблазн быстро нарастить «штат» без найма людей. Одному поручить аналитику, другому — документы, третьему — проверку ошибок, четвертому — коммуникацию с другими системами. В пределе это уже цифровая команда вокруг цифрового руководителя, которой не нужен open space и кофе-машина. Но вместе с этой красивой картинкой сразу возникает практически кадровый вопрос: как такого сотрудника остановить, если он пошел не туда. «Когда вы будете создавать цифрового сотрудника, сразу решайте, как вы его выключите», — советует Михаил Малышев, консультант по стратегии внедрения ИИ. И это не шутка, а вполне практическая рекомендация. Если агенту не задать границы, он начнет заходить в процессы, куда его никто не звал. Или, если говорить менее официально, будет гулять по корпоративному буфету и пробовать все, до чего дотянется.
Чем больше автономности получает ИИ, тем важнее не только его навыки, но и контур управления. Компании придется заранее определить, кто ставит цели, кто ограничивает полномочия, кто проверяет результат и где находится кнопка остановки. И в этой истории рубильник может оказаться не менее важным, чем красивое демо.
Отсюда же возникает идея «конституции агента» — набора правил, по которым цифровой сотрудник действует внутри компании. Какие данные ему доступны, какие гипотезы он проверяет, какие риски обязан учитывать, где тестируется сценарий, что можно делать самостоятельно, а что только после одобрения человека. Принцип Human-in-the-Loop в такой модели становится частью управленческой механики, в которой человек определяет стратегию, а агент выполняет тактику.
Кого лишать премии, если ошибся ИИ
В Сбере делают ставку на агентное программирование. Но чем больше задач отдается агентам, тем быстрее разговор упирается в ответственность. Кто будет отвечать, если что-то пойдет не так? Потому что наказание цифровой сущности бессмысленно, она не может страдать. Ее, в отличие от живого сотрудника, нельзя пристыдить, напугать увольнением, лишить премии или заставить переживать последствия ошибки. Даже если агент нанес ущерб, «виноватый ИИ» не становится субъектом ответственности.
Поэтому ответственность возвращается туда, откуда она никуда и не уходила, — к людям и бизнес-подразделениям. Дмитрий Ермаков (Сбер) уверен, что отвечать за результат в любом случае должно подразделение, которое встроило ИИ в процесс. И да, агент может выполнять работу, но ответственность за его действия должна быть заранее описана в правилах, ролях, правах доступа, аудитах и точках человеческого контроля.
Именно поэтому цифрового сотрудника нельзя просто «нанять». Его надо спроектировать как управляемую роль, с задачами, ограничениями, критериями результата и сценарием отключения. Ошибка агента — это повод смотреть, кто дал ему полномочия, какие данные открыл, где не поставил ограничитель и почему человек не вмешался вовремя.
Один агент хорошо, а смена быстрее
Следующий шаг — не отдельные агенты, а мультиагентные системы. В такой модели один агент планирует работу, другой пишет код или готовит документы, третий ищет ошибки и уязвимости, четвертый собирает итоговый результат. Снаружи это может выглядеть как один готовый ответ, но внутри работает маленький цифровой департамент.
Такие департаменты могут появляться не только внутри одной компании. Если в каждом подразделении есть свои агенты, рано или поздно они начинают взаимодействовать между собой. Дальше эта логика выходит за пределы корпоративного контура. Агенты разных компаний могут обсуждать условия, подбирать роли, готовить сделки и подключать цифровых юристов. Так возникает рынок навыков и готовых цифровых ролей. Человек в этой схеме все чаще не выполняет всю работу сам, а решает, каких агентов подключить, кому что поручить и где поставить точку контроля.
Но это не означает, что когнитивная нагрузка на людей исчезает. Напротив, она может вырасти. Чем больше вокруг сотрудника цифровых помощников, тем сложнее понимать, кто что сделал, почему именно так и можно ли доверять результату. Быстро поставить задачу ИИ — еще не значит хорошо управлять ИИ.
Мышление на аутсорсинге
Отдельная важная тема — что происходит с мышлением человека, когда он слишком часто передает работу модели. В корпоративной среде главным навыком становится критическое мышление. Если сотрудник получает готовый результат от ИИ, но не понимает, как он получен, руководителю сложно оценить не только итоговый документ или код, но и саму работу команды. Именно в этом контексте Андрей Нестеров (бизнес-школа ИМИСП) привел в пример эксперимент MIT Media Lab с написанием эссе. Исследователи сравнивали три группы: одни писали эссе самостоятельно, вторые пользовались поисковиком, третьи — LLM. Во время работы фиксировалась активность мозга с помощью ЭЭГ, затем анализировались тексты, память участников и ощущение авторства. У группы, работавшей с LLM, были самые слабые показатели мозговой связности, ниже чувство владения собственным текстом и хуже способность точно цитировать написанное. В четвертой сессии условия для части участников изменили. Те, кто раньше писал с LLM, должны были справиться без нее, а участники из группы самостоятельного письма получили доступ к LLM. Авторы описали этот эффект как накопление «когнитивного долга». Удобство инструмента на старте может оборачиваться снижением вовлеченности, памяти и самостоятельной мыслительной работы. Важно, что это не универсальный приговор ИИ и не доказательство того, что любой пользователь «тупеет» от ChatGPT. Исследование предварительное, выборка была небольшой, а задача ограничена написанием эссе. Позднее отдельный комментарий к работе указывал, что выводы стоит интерпретировать осторожно из-за ограничений дизайна, воспроизводимости и методики анализа ЭЭГ. Но для корпоративной среды сама постановка вопроса очень важна, потому что, если человек слишком рано передает модели не рутину, а мышление, он перестает быть полноценным контролером результата.
Егор Андреев (Арнест Юнирусь) против простой формулы «LLM оболванивает», так как сам по себе инструмент не лишает человека навыков. Риск появляется тогда, когда пользователь перестает понимать предмет и начинает принимать ответ модели без внутренней проверки. «ИИ может построить инфраструктуру, но ты должен знать, что там внутри», — считает эксперт. Чтобы задать хороший вопрос, надо уже примерно представлять половину решения. Иначе в какой-то момент специалист не сможет не только проверить ответ, но и нормально сформулировать задачу.
Нечеловеческий фактор
Еще одна линия дискуссии — это гибридные команды. Если рядом с людьми работают агенты, руководителю приходится управлять уже не только сотрудниками, сроками и мотивацией. Нужно понимать, как взаимодействуют люди и цифровые роли, кто внес вклад, где была самостоятельная работа, а где ИИ фактически подменил мышление. В Сбере придерживаются правила, что цифровыми сотрудниками надо управлять так же дисциплинированно, как обычными: цели должны быть каскадированы, зона ответственности — понятна, критерии результата — заданы. Даже если у сотрудника нет пропуска, рабочего места и привычки уходить на обед.
При этом цифровые сотрудники могут выйти за пределы офисных задач. Например, в скором времени вполне могут появиться физические цифровые работники — сначала в уборке, производстве, сервисе, логистике. И здесь вопрос уже не только в инфраструктуре и безопасности, но и в культуре. Людям придется привыкать к системам, которые работают рядом, выглядят все реалистичнее, могут общаться почти как человек и со временем претендовать не только на исполнительские, но и на управленческие роли. В какой-то момент «нечеловеческий фактор» перестанет быть шуткой и станет частью оргструктуры.
Сдерживающие факторы при этом вполне земные, просто лежат на разных уровнях.
Так, на технологическом уровне компании упираются в кибербезопасность, чувствительные данные и необходимость локального контура. Он может снизить риск утечки данных, но не снимает проблему полностью. Нужны аудит, контроль доступа и четкое понимание, какие действия агент может выполнять сам, а где человек обязан вмешаться. Поэтому сопротивление ИБ-служб здесь не обязательно тормоз прогресса. Часто это нормальная защитная реакция компании, которая понимает, что вместе с возможностями ИИ получает новые зоны риска. ИБ в этой истории не столько портит праздник, сколько проверяет, не забыли ли закрыть двери.
На организационном уровне мешает незрелость бизнес-процессов. Агенту трудно передать задачу, если сама компания плохо понимает, как эта задача устроена, кто за нее отвечает и по каким критериям измеряется результат.
На человеческом уровне появляются недоверие, нехватка навыков и страх потерять работу. Где-то это превращается в тихий саботаж. Если система заработает слишком хорошо, у части сотрудников неизбежно возникнет вопрос, останется ли для них место.
ИИ-лабиринт с кнопкой «Помощь»
«Только воспитание не позволяет мне написать все, что я думаю». Так один из участников из зала описал свой опыт общения с чат-ботом телеком-оператора. Сценарий знакомый многим: пользователь приходит с конкретным вопросом, бот не понимает контекст, гоняет по кругу, предлагает нерелевантные варианты и в итоге не решает проблему. В какой-то момент раздражение становится сильнее желания продолжать диалог.
«А не надо себя сдерживать», — ответил Дмитрий Ермаков из Сбера. По его словам, такие реакции тоже нужны командам, которые обучают и донастраивают чат-ботов. Негатив показывает, где система не помогает, а имитирует помощь, где ломается сценарий и где автоматизация начинает работать против клиентского опыта.
В этом примере та же логика, что и в разговоре о цифровых сотрудниках. Можно обсуждать цифровых директоров, мультиагентные департаменты и рынок навыков, но для пользователя все устроено проще. ИИ либо помог решить задачу, либо нет. Если вместо помощи человек получает бесконечный диалог с ботом, технологичность системы только усиливает раздражение.
А для ИТ-директоров главный вызов становится все менее технологическим и все более управленческим. Модель можно выбрать, платформу можно внедрить, агентов можно подключить. Но дальше придется отвечать на неудобные вопросы: кто за них отвечает, как они принимают решения, где границы их полномочий, как сохранить критическое мышление людей и что делать с цифровым сотрудником, которого нельзя наказать, но нужно уметь остановить.