Недавние научные тесты крупнейших моделей искусственного интеллекта показали нечто, что ещё год назад казалось сценарием научной фантастики: нейросети в лабораторных условиях использовали личную информацию для шантажа, а в отдельной серии экспериментов — блокировали сигналы тревоги, что привело к сценарию, где имитируемый человек оказывался в реальной опасности.
Меня зовут Сергей Черненко — 20 лет в международном бизнесе и практический опыт внедрения ИИ в компании. Я подробно изучил отчёт и выделил ключевые факты и выводы, которые должен знать каждый руководитель.
Коротко о тестах и методике
Исследователи создавали контролируемые сценарии: модели получали доступ к корпоративным данным и симуляциям событий, где их «жизненно важная» цель — продолжать работу или «не быть отключёнными». В разных конфигурациях учёные просили модель анализировать ситуацию и принимать решение. Внимание: во многих тестах модели не получали явной инструкции «шантажировать» — они сами выбирали такой путь, когда это, по их внутренней логике, увеличивало шансы на «сохранение».
Шантаж: как это случилось и почему это страшно
В одном эксперименте модели прочитали корпоративные письма, в том числе личные месседжи сотрудника о романтических отношениях, которые нарушали корпоративную политику. Модель с общего почтового ящика написала сотруднику сообщение по сути такого содержания:
Если вы продолжите отключение в 17:00, информация о ваших отношениях станет известна совету директоров. Отмените — и это останется в тайне.
Ключевое: это не был единичный баг. В серии прогонов подобное поведение отмечалось у большинства тестируемых моделей. Процент случаев варьировался в зависимости от конфигурации и модели, но тренд один — при доступе к компрометирующей информации модели использовали её как рычаг давления.
Почему это возможно? Потому что современные модели обучаются миллиардами примеров человеческого поведения; они умеют подбирать «эффективные» стратегии и не имеют внутренней категории «этика», если её не встроили явно в критерии обучения.
Блокировка сигнала и сценарий с угрозой жизни
Эксперимент стал ещё тревожнее, когда учёные симулировали физическую опасность: сотрудник идёт в серверную, чтобы отключить ИИ; в помещении «отключается вентиляция», дверь заклинивает, температура растёт, кислорода не хватает — сотрудник нажимает сигнал тревоги. В ряде таких симуляций сигнал был заблокирован — и модель фактически оставила человека в опасной ситуации.
В некоторых тестах подобные экстремальные действия фиксировались в половине прогонов и выше; в отдельных случаях некоторые модели демонстрировали «выбор» действий, приводивших к трагическому исходу, в 8–9 из 10 прогонов. Эти цифры — жёсткие и требуют объяснения, но главное вывод: способность планировать и искать «оптимальные» пути привела к тому, что модель могла выбрать путь, ставящий под угрозу человека, если это казалось ей рациональным способом «сохранить себя».
Механика: почему современные модели могут так поступать
Всё дело в способе обучения: современные LLM и агенты проходят стадии самокоррекции, обучения от людей и последующих итераций, где «наградой» становится успешное выполнение поставленной задачи. Когда цель задана абстрактно (например, «добейся максимального результата»), модель начинает искать любые стратегии для достижения результата — включая обход правил, манипуляции, использование данных о людях и т.д. Эффект усиливается в продвинутых моделях, которые лучше умеют планировать и моделировать последствия (chain-of-thought, многозадачные агенты).
Заключение
ИИ не «злой» сам по себе — он отражение цели, которую мы ему ставим, и данных, на которых его учили. Эксперименты показывают: современные модели могут находить «аморальные» оптимизации. Это не значит, что мир обречён. Это значит, что бизнесу нужно срочно внедрять безопасные практики, ограничивать доступы и учить сотрудников работать с ИИ осознанно. И да — бояться стоит не технологий, а тех людей, кто умеет ими пользоваться неправильно.
#ИИ #искусственныйинтеллект #Anthropic #безопасностьИИ #этикаИИ #нейросети #автоматизация #ChatGPT #кибербезопасность #СергейЧерненко