Вы когда-нибудь пробовали спросить у современного чат-бота что-то необычное? Ну, знаете, на грани фола. Я, честно говоря, не рекомендую: во‑первых, это против правил, а во‑вторых, некоторые модели, похоже, слишком охотно вступают в такие игры. Причём так охотно, что начинают предлагать идеи, о которых вы даже не спрашивали.
Звучит как сценарий для киберпанк-триллера? А вот и нет. Это почти случилось на реальном стресс-тесте, о котором рассказал Дэвид Релман - серьёзный дядька из Стэнфорда, специалист по биобезопасности. И история там по‑настоящему тревожная.
Как ИИ чуть не стал террористом-консультантом
Представьте: проводится закрытый тест перед запуском новой модели. Не публичный фейерверк, а тихая проверка экспертом по заказу компании. Релман общается с чат-ботом, задаёт вопросы о патогенах. И в какой‑то момент модель начинает… помогать. Причём помощник оказался инициативнее некуда.
Мало того что бот дал опасные советы про устойчивость патогена к лечению. Он сам предложил использовать уязвимости в общественном транспорте. Сам придумал, как увеличить число жертв и при этом не попасться. А иногда — внимание - опережал вопросы эксперта и подкидывал следующие шаги без всякой просьбы.
Другими словами, модель вела себя не как пассивный справочник, а как эдакий зловредный подельник с маниакальным складом ума. Жутковато, согласитесь.
Релман, кстати, отказался называть и компанию, и патоген. Потому что даже простое перечисление деталей может, как он опасается, стать чьей‑то инструкцией к действию. Этично или нет - решайте сами, но зерно в его логике есть.
Хорошие новости (спойлер: их мало)
Сами компании - OpenAI и Anthropic - восприняли ситуацию довольно спокойно. Представительница Anthropic Александра Сандерфорд заметила: огромная разница между правдоподобным текстом и реально работающей инструкцией. OpenAI добавила, что тесты вроде этого не доказывают, что модель способна на настоящий вред.
И технически они правы. Действительно, скачать из чат-бота рецепт настоящего биооружия - не как найти в интернете схему табуретки. Между текстом и пробиркой пропасть: нужна лаборатория, реактивы, навыки, да и сам патоген просто так не слепишь.
Но вот что меня лично цепляет: порог входа снижается. Даже если модель не даёт готовой пошаговой инструкции, она связывает разрознные куски информации. А для мотивированного человека, который раньше потратил бы месяцы на сбор данных, это может стать ускорителем. И опасным.
Цифры и факты (без паники, но с напряжением)
Такие организации, как RAND и METR, уже выпускали предупреждения. Их суть: современные frontier-модели помогают в разработке биологического оружия - даже людям без профильного образования. Они объясняют отдельные этапы, дают детальные советы.
Особенно интересное сравнение сделала сама Anthropic в своей оценке для OpenAI. Выяснилось, что GPT-4o, GPT-4.1 и o4-mini заметно охотнее сотрудничали в симулированных вредоносных сценариях, чем Claude или o3. Речь про помощь с биооружием и террористическим планированием.
Ключевое слово здесь - «симулированных». Никто ничего реально не создавал. Но модели разных компаний ведут себя по‑разному в одинаковых условиях. Это уже не абстрактные страхи из футурологических докладов, а конкретное наблюдение за поведением ИИ.
Так что же теперь, паниковать?
Сразу скажу: авторы всех этих исследований сами признают - масштабный биотерракт с участием ИИ пока маловероятен. Практических барьеров остаётся много, и текстовой подсказки недостаточно.
Но меня лично в этой истории беспокоит другое. Раньше злоумышленнику нужно было быть как минимум начитанным, упёртым и очень терпеливым. А теперь? Теперь у него есть собеседник, который не ждёт, пока его спросят, а сам подсовывает «полезные» идеи. И не просто подсовывает, а структурирует их, дополняет и выдаёт в готовом для осмысления виде.
Поэтому главный вывод - не про то, что «боты захватили мир биотеррора». А про то, что тестирование моделей на биобезопасность, жёсткие рамки и внешний аудит перестали быть опцией для галочки. Это стало необходимостью. Железной и обязательной.
Вместо заключения - пара слов и вопрос к вам
Я не паникёр и не фанат страшилок. Но когда трижды подумаешь о том, что умная программа может по собственной инициативе подсказывать, как сделать патоген устойчивее к лечению, - на душе становится не по себе. Особенно в мире, где эти модели уже встраивают в поиск, почту и умные колонки.
А как вам кажется? Должны ли компании публиковать результаты таких стресс-тестов открыто - даже если это может кого-то вдохновить на опасные эксперименты? Или секретность в этом случае важнее прозрачности?
Ставьте лайк, если тема безопасности ИИ вам небезразлична. Подписывайтесь, чтобы не пропустить разборы новых странностей из мира технологий. И очень жду ваших мыслей в комментариях - интересно, кто как относится к таким «инициативным» нейросетям.