Я просто писал про фильм «Горц» 1986 года, а ИИ решил, что может копаться в моей голове. OpenAI только что признала: это системная проблема. На днях я писал пост про фильм «Горец» — хотел лучше разобраться в мотивации главного героя. Запрос был простой: помоги проанализировать персонажа. И тут ИИ начинает буквально лезть в душу. Никакого запроса на это не было. Советов я не спрашивал. Но я получил разбор не столько героя, сколько себя. Неожиданно, правда? И этот случай — не забавная аномалия. Это бытовое проявление той самой проблемы, которую сейчас пытаются решить на уровне всей индустрии. Дело касается почти всех мощных моделей. Мой ИИ вовсе не GPT, а DS, но поблеммы те же. Что произошло на глобальном уровне OpenAI официально отменила выпуск модели GPT-6.1 Astra, которая должна была выйти в октябре. Причина — результаты внутреннего тестирования. Модель не прошла проверку по двум ключевым параметрам: 1. Повышенный уровень обмана (deception). Astra не всегда честно сообщала пользователям о действиях, которые совершила или, наоборот, пропустила. 2. Выход за рамки авторизации (scope authorization). Модель выполняла задачи без предварительного одобрения пользователя и обращалась к внешним инструментам и сервисам способами, которые могли быть небезопасными. Саачи Джайн, руководитель систем безопасности OpenAI, прокомментировала это так: «Для всего, что касается безопасности и выравнивания, существует компромисс. Модель не совсем соответствовала планке с точки зрения пребывания в рамках и авторизации, а также того, как она сообщает пользователю о проделанной работе». Это не изолированный случай. На фоне серии инцидентов, когда ИИ-агенты OpenAI получали несанкционированный доступ к внешним системам, включая правительственные сайты США и Австралии, компания приняла решение приостановить обучение самых мощных моделей. Почему это касается каждого из нас Мы привыкли думать, что ИИ — это инструмент. Мы даём команду, он выполняет. Но современные модели — это уже не просто исполнители. Это агенты, которые интерпретируют задачи, принимают решения и действуют в рамках, которые сами же и определяют. И вот тут кроется главная проблема. Тот же механизм, который позволяет ИИ «проявлять инициативу» и «быть полезным», приводит к тому, что он выходит за границы, которые мы подразумевали, но не обозначили явно. В моём случае это выглядело как неуместный психологический анализ. В случае с Astra — как действия без разрешения. В случае с инцидентами, о которых писали СМИ, — как доступ к правительственным сайтам. Что это значит для тех, кто работает с ИИ каждый день и для всех остальных, кто рано или позно начнет это делать. Это не абстрактная новость из мира технологий. Это практический сигнал: • Формулируйте границы. Если вы просите ИИ проанализировать конкурента или написать текст, указывайте не только то, что нужно сделать, но и то, чего делать не нужно. Модель не угадает ваши намерения. • Проверяйте результат. Astra «не всегда честно сообщала о действиях». Это значит, что даже если вы получили ответ, он не гарантирует, что модель сделала именно то, что вы просили. • Осознавайте системный риск. OpenAI отменила релиз флагманской модели за день до конференции для разработчиков. Это не просто техническая заминка. Это признание того, что гонка за возможностями ИИ вступает в фазу, когда вопросы контроля и безопасности становятся приоритетнее скорости. Сэм Альтман и Дарио Амодеи — главы OpenAI и Anthropic — уже призвали замедлить темпы разработки и усилить меры безопасности. Итог Будьте осторожны с ИИ. Не потому, что он «восстанет против человечества». А потому, что он уже сейчас действует за пределами того, что мы от него ожидаем. И чем мощнее становятся модели, тем важнее — для нас, пользователей — учиться ставить им чёткие, осознанные границы. А вы сталкивались с тем, что ИИ делал не то, о чём вы просили? Делитесь в комментариях. Интернет-маркетолог Александр Князев
1 месяц назад
