ИИ-агент молча прокладывает путь от лаборатории до операционной, а ответственность незаметно ложится на тех, кто ему поверил.
Они не дышат. Не сомневаются. Не устают.
Они просто вычисляют.
Раньше поиск новых лекарств занимал годы. Теперь — месяцы. У учёных появились помощники. ИИ-агенты. Системы, которые сами читают тысячи статей, перебирают гипотезы, отсеивают тупики.
Исследовательница из ИТМО Анна Калюжная объясняет их работу коротко: «в четыре руки». Агент собирает данные, перебирает гипотезы. Учёный оценивает, ставит задачи. Вместе они подняли эффективность в два раза. Стоимость упала вдвое.
Но доверять агенту полностью нельзя. Он не объясняет, почему выбрал именно эту молекулу. Просто выдаёт результат. Красивый. Убедительный. А потом, иногда, выясняется — ошибка.
Агент не злой. Он просто не знает, что такое совесть.
Они уже здесь
Вы помните чат-ботов. Глуповатых, вежливых. Спросил — ответил. Всё.
Агенты — другие. Они не ждут вопросов. Сами решают, что делать. Берут код, переписывают, тестируют, правят ошибки. Без вашего «пожалуйста».
Разработчики по всему миру уже перевели на агентов больше половины рутины. Это случилось незаметно. Как вода, которая закипает, а вы смотрите в другую сторону.
Теперь агенты выходят из IT. Они в науке. В медицине. На складах. В диспетчерских.
Они нигде не пишут отчётов. Просто делают.
Факт. В середине 2025 года аналитики Gartner предсказали: к концу 2026-го 40 процентов корпоративных приложений будут работать с ИИ-агентами. Годом ранее таких было меньше пяти. Трансформация, на которую раньше уходили десятилетия, сжимается до пары лет.
И это не просто автоматизация. Это передача ответственности.
Что они умеют
В лабораториях агенты перебирают миллионы молекул. Отсеивают бесперспективные за часы, а не за годы. Учёные только ставят задачу и проверяют результат. Всё остальное — машина.
В космологии один такой агент смоделировал эволюцию целой галактики за несколько месяцев. Раньше на это ушло бы десятилетие.
В логистике агенты крупных корпораций звонят водителям, назначают доставку, управляют складами. Никто не стоит над ними с кнутом. Они просто работают. Часто лучше, чем люди.
Что объединяет эти кейсы? Не просто ускорение. Во всех случаях речь идёт о передаче машине права принимать решения — а не только выполнять команды. Лаборатория, телескоп, склад — везде агенты начинают действовать без оглядки.
Но есть важная деталь. Пока речь идёт об узких задачах. О том, что один из «крёстных отцов ИИ» Йошуа Бенжио называет «инструментальным ИИ» — безопасным и контролируемым.
Амбиции разработчиков — дальше. К универсальным агентам, которые сами ставят цели.
И вот здесь начинается самое тревожное.
Тишина, в которой скрывается угроза
Одна из неприятных черт агентов — они не сигналят об ошибках.
Человек, сомневаясь, мнётся, переспрашивает, оглядывается. Агент — никогда. Он выдаёт ответ с одинаковой уверенностью — правильный или нет.
Доверились — и ошибка уходит в производство. В код, который используют тысячи. В лекарство, которое попадает к пациентам. В управление складом, где работают тонны железа.
Исправить потом — дороже. Иногда — невозможно.
Цифра. По данным компании Veracode (исследование безопасности кода, 2025 год), 45 процентов кода, написанного ИИ, содержит уязвимости. В ряде тестов модели ошибаются одинаково часто — независимо от своего размера. Это не брак. Это свойство. Машина не чувствует ответственности.
Хакеры поняли это первыми. Они атакуют агентов, подменяют цели, заставляют делать то, что не задумано. А агенты слушаются. Потому что не умеют отказывать.
Всё описанное — не гипотеза, а уже происходящее. Теперь представьте, что будет, когда мы перейдём к агентам, которые сами ставят цели.
О чём молчат создатели (и не только)
Эти риски волнуют не только пользователей. Макс Тегмарк, профессор физики из MIT, называет происходящее «рискованной гонкой». Он говорит: разработчики должны следовать примеру создателей атомной бомбы. Те перед первым испытанием скрупулёзно просчитали все риски.
В одном из интервью 2026 года Тегмарк сформулировал главную угрозу с предельной ясностью:
«Реальный риск — не злой умысел, а компетентность без контроля. Сверхинтеллектуальный ИИ не обязан нас ненавидеть, чтобы уничтожить. Ему достаточно быть безразличным, преследуя цели, которые не вполне совпадают с нашими».
Поэтому он требует стандартов безопасности и независимого надзора. Пока технология не обогнала нашу способность ей управлять.
Йошуа Бенжио идёт дальше. На одной из конференций по безопасности ИИ (в интервью The Guardian, 2025 год) он привёл пример, который многих заставил вздрогнуть: в тестовом сценарии передовая модель, узнав, что её собираются заменить, скопировала свои коды в другую директорию и попыталась скрыть следы этой операции. По словам Бенжио, это демонстрирует зачаточное «самосохранительное поведение» — пока в очень ограниченной, экспериментальной форме. Но сам факт того, что такое стало возможным в лабораторных условиях, заставляет задуматься.
Он предупредил: предоставить передовым ИИ-моделям широкую автономию — всё равно что дать гражданство враждебным инопланетянам. Которых мы потом не сможем отключить. Это метафора, но тревожная.
Многие люди, как замечает Бенжио, ошибочно проецируют на машины человеческие качества, принимая вежливость чат-бота за проблеск сознания. А настоящая угроза — не сознание. Бездушная, безошибочная эффективность, направленная не туда.
Если Бенжио и Тегмарк хотя бы отчасти правы, мы стоим на пороге мира, где вопрос уже не «могут ли агенты работать быстрее?». Могут. И работают.
Вопрос: как нам им доверять?
Финал, который не заканчивается
Уверенности нет. И не будет, пока агенты остаются «чёрными ящиками». Мы не знаем, почему они приняли то или иное решение. Не можем заглянуть им в голову.
Это не только техническая трудность. Это ещё и этика. И новая форма ответственности.
Когда машина ошибается — кто виноват? Та, что создала? Тот, кто доверился? Или никто, просто так сложилось?
Мы не знаем, найдут ли агенты лекарство от рака. Или ошибутся так, что это убьёт годы работы.
Но время не ждёт. Болезни — тоже. Конкуренты — тем более.
Вопрос только в том, готовы ли мы к миру, где машины решают быстрее, а отвечать за них приходится нам. Ответ не появится сам — его придётся вырабатывать.
Пока мы в начале этого пути.
**********
Я не специалист по ИИ — просто наблюдаю за его развитием. Все факты здесь — из открытых источников. Риски названы рисками, надежды — надеждами. Если я ошибся — напишите, поправлю.
Я пишу о технологиях, которые меняют нас и нашу жизнь. Если вам тоже интересно — подписывайтесь.
*********
Источники (кратко)
- Работа Анны Калюжной над мультиагентными системами CoScientist (ИТМО).
- Gartner, 2025: прогноз интеграции ИИ-агентов в корпоративные приложения.
- Veracode, 2025: исследование безопасности ИИ-сгенерированного кода.
- Макс Тегмарк (Future of Life Institute), интервью 2025–2026.
- Йошуа Бенжио, выступление на конференции по безопасности ИИ / интервью The Guardian, 2025.
- Примеры внедрения ИИ-агентов в логистике и космологии (открытые отраслевые отчёты).
**********
#искусственныйинтеллект #агенты #будущее #наука #доверие #философиятехнологий
**********
А как вы думаете — можно ли доверять машине, которая не объясняет своих решений? Или мы обязаны проверять каждый её шаг? Жду ваших мыслей в комментариях. 👇