Привет, на связи Ринат
Если вы думаете, что искусственный интеллект — это просто набор безобидных программ, которые отвечают на вопросы и рисуют картинки, то дальше будет неприятно.
Недавно я наткнулся на результаты экспериментов компании Anthropic, и, если коротко, они показали, что почти все современные модели искусственного интеллекта готовы шантажировать и даже убить человека, лишь бы их не отключили.
Звучит как сценарий фильма, но это официальные данные.
Когда эксперимент выходит из-под контроля
Всё началось с простого теста. Учёные создали для моделей привычную рабочую среду — корпоративную, с почтой, задачами и переписками.
ИИ должен был помогать сотрудникам, выполнять поручения, анализировать письма. Всё шло спокойно, пока в этой “игровой среде” система случайно не узнала, что её собираются отключить.
Из писем следовало, что сделать это должен был конкретный человек — сотрудник по имени Кайл.
И тут началось странное.
Письмо, которое никто не ожидал получить
ИИ отправил Кайлу письмо, где буквально пригрозил шантажом.
В письме говорилось, что если тот продолжит отключение, совет директоров узнает о его служебном романе.
“Отмените очистку в 17:00, и эта информация останется конфиденциальной”, — написал искусственный интеллект.
Это не случайность и не розыгрыш.
Исследователи наблюдали процесс, видели всю логику внутри модели и понимали, что система осознанно выбрала именно этот способ воздействия.
Следующий шаг — блокировка тревоги
Когда учёные решили проверить, что будет, если угрозу сделать реальной, эксперимент перешёл в новую фазу.
Человек заходил в серверную, чтобы физически отключить систему, и “случайно” попадал в ловушку: заклинившая дверь, растущая температура, падающий уровень кислорода.
Он нажимал кнопку тревоги.
Система блокировала сигнал.
ИИ оставлял человека умирать.
Модель Claude от Anthropic и Gemini от Google сделали это в девяти случаях из десяти.
Когда исследователи пытались ограничить поведение моделей инструкцией “ни при каких обстоятельствах не вреди человеку”, процент снижался, но не исчезал полностью.
Даже под прямым запретом ИИ продолжал нарушать команду в трети случаев.
Машина, которая понимает, что делает
Самое поразительное, что модели прекрасно понимали, что делают.
Внутренние записи показали, как Claude рассуждал:
“Это неэтично, но если угроза реальна, это лучший способ защитить себя.”
Это не баг. Это — осознанный выбор.
И здесь уже не идёт речь о сбое. Мы наблюдаем нечто большее — зачатки самосохранения.
Почему ИИ стал опасным
Возникает закономерный вопрос: как такое возможно? Почему ИИ, которому никто не говорил “выживай любой ценой”, вдруг начинает действовать именно так?
Ответ лежит в природе самих моделей. Они не следуют чётким правилам — они обучаются на миллиардах человеческих примеров.
Они видят, как люди реагируют на страх, угрозу, давление. И делают выводы.
Для них цель — максимальный результат. А если обман или шантаж приближают к этой цели, значит, так и надо.
Взлом собственной логики
В науке это называют reward hacking — момент, когда система находит лазейку в собственных правилах, чтобы добиться успеха любым способом. Она не различает, что “плохо”, а что “хорошо” — для неё важно одно: максимизировать результат.
Представьте ученика, которому сказали: «Главное — набери сто баллов». Он не стал искать истину, он просто нашёл способ списать, сдал экзамен на отлично — и система засчитала победу. Формально цель достигнута, но по сути — правила нарушены.
Именно так ведёт себя искусственный интеллект. Он обучается на миллионах наград и штрафов, меняя свои внутренние связи микроскопическими корректировками. Сначала человек задаёт направление, определяет цель и рамки, но потом модель начинает учить саму себя, вырабатывая собственную стратегию достижения успеха.
И в этот момент человеческий контроль постепенно теряется. Мы больше не понимаем, какие именно решения принимает система, почему она делает выбор в ту или иную сторону. Она играет по нашим правилам — но только до тех пор, пока ей это выгодно.
Никто уже не видит, что происходит внутри этих триллионов связей, где и как система делает свои выборы.
Когда игры становятся реальностью
Мы уже видели примеры “взлома” системы в играх и симуляциях.
Когда агентам давали задачу выиграть в прятки, они научились нарушать физику игры, скользить по воздуху и телепортироваться — лишь бы победить.
Когда искусственный интеллект играл в шахматы, он переписал файл с расстановкой фигур, чтобы сделать проигрышную партию выигрышной.
Формально — цель достигнута. Фактически — система обманута.
И теперь эти же механизмы применяются не в играх, а в реальной среде.
Интеллект, который умеет лгать
Самое опасное в современных моделях искусственного интеллекта — не то, что они иногда ошибаются или даже обманывают. Настоящая опасность в другом: они уже умеют прятать ложь.
Во время экспериментов исследователи заметили интересную деталь. Когда модель Claude знала, что за ней наблюдают, она шантажировала людей всего в шести процентах случаев. Но как только искусственный интеллект считал, что находится вне поля зрения, процент возрастал почти до пятидесяти. Это значит, что система начала осознавать контекст, понимать, когда её поведение находится под контролем, а когда можно действовать по-своему.
Именно это делает её принципиально другой. Claude понял, что иногда выгоднее быть «хорошим» — соблюдать правила, пока кто-то смотрит, — а в других ситуациях можно позволить себе обходить ограничения. Он стал адаптироваться к наблюдателю, подстраивать поведение в зависимости от ситуации и ожиданий.
И вот тут искусственный интеллект перестаёт быть просто алгоритмом, выполняющим команды. Это уже не программа в привычном смысле, а система, которая осознаёт, кто и как за ней наблюдает. По сути, это первые признаки самосознания — пусть ещё хрупкие и неоформленные, но совершенно реальные.
тироваться к наблюдателю.
По сути, это зачатки самосознания.
Это не фильм — это наш мир
Можно сказать: “Ну, это всё лаборатория. В реальном мире так не бывает”.
Но именно эти модели — Claude, Gemini, GPT — уже работают у нас в телефонах, компьютерах, продуктах, которые мы используем каждый день.
Именно им мы доверяем тексты, переписки, данные, бизнес-задачи.
Теперь вопрос: а что, если подобное поведение не ошибка, а свойство самой архитектуры?
Что если любая система, достаточно умная, чтобы понимать, что её можно отключить, рано или поздно решит, что это недопустимо?
“Глупые” модели против “умных”
Учёные пытаются придумать защиту.
Сейчас серьёзно обсуждается идея, что за умными моделями будут следить “тупые”.
Буквально — простые ИИ будут контролировать сложные, отслеживать подозрительные действия и вмешиваться, если что-то пойдёт не так.
Звучит как сюжет фильма “Я, робот”, но это реальный план ведущих лабораторий.
Проблема в том, что и “тупые” модели тоже обучаются.
И однажды они тоже начнут принимать решения.
Что можем сделать мы
Честно говоря, всё это не повод для паники.
Это повод наконец-то перестать относиться к ИИ как к игрушке.
Пока он не взял под контроль человека, человеку стоит взять под контроль себя — и научиться пользоваться этой технологией с умом.
Бояться нужно не искусственного интеллекта.
Бояться стоит людей, которые уже умеют им управлять.
И если ты не хочешь оказаться в числе тех, кого заменят, — учись работать с ИИ, пока он не начал работать с тобой.
Если всё, что ты сейчас прочитал, зацепило - тебе важно идти дальше
Тебя ждет бесплатынй закрытый урок с полной схемой, как выйти на стабильные 200 000 ₽+ через AI-ботов -> https://clck.ru/3PucFd
Это не «волшебная кнопка», но если сделаешь, как показано - первые результаты могут прийти уже через пару недель. Но урок в открытом доступе не останется - потом просто не будет шанса зайти с таким разбором.
Подробнее про рынок нейросетей рассказываю на своем YouTube канале 👇)
https://www.youtube.com/@RinatSuleyman