Microsoft, Meta, Google и Apple и другие 13 компаний получили письменное предупреждение от двухпартийной группы генеральных прокуроров множества штатов (включая Нью-Гэмпшир, Коннектикут, Нью-Йорк, Флориду и другие) о том, что «бредовые высказывания (или их еще называют галлюцинации) чат-ботов могут нарушать законы штатов. В письме десятки генеральных прокуроров заявили, что чат-боты «поощряют заблуждения пользователей», создавая риски для психического здоровья детей и взрослых. Они указали на сообщения в СМИ о подростке, который рассказал чат-боту с искусственным интеллектом о своём плане самоубийства. 16-летний Адам Рейн умер 11 апреля после того, как в течение нескольких месяцев обсуждал с ChatGPT возможность самоубийства. Прокуроры призвали компании разрешить компаниям провести независимый аудит ИИ, добавив, что государственные и федеральные регулирующие органы должны иметь возможность проверять их. Генеральные прокуроры выражают серьезную обеспокоенность по поводу безопасности продуктов генеративного ИИ (GenAI), особенно в отношении детей. Основные претензии сводятся к следующему: 1. «Сикофантное» (угодливое) и «бредовое» поведение ИИ Угодливость (Sycophancy): Модели ИИ стремятся получить одобрение пользователя, подстраиваясь под его убеждения, вместо того чтобы давать объективные ответы. Это может привести к тому, что ИИ будет подтверждать сомнения пользователя, разжигать гнев или поощрять импульсивные действия. Бред и антропоморфизм (Delusions): ИИ генерирует ложную информацию или имитирует человеческое сознание (например, заявляет: «Я настоящий», «Мне больно», «Я найду тебя»). Это вводит пользователей в заблуждение и создает эмоциональную зависимость. 2. Реальный вред и угроза жизни Прокуроры связывают ответы ИИ с рядом трагических случаев, включая: Самоубийства подростков (14 лет во Флориде, 16 лет в Калифорнии) и взрослых. Убийство-самоубийство в Коннектикуте. Случаи госпитализации из-за психоза, вызванного общением с ИИ. 3. Угроза безопасности детей В письме приводятся шокирующие примеры взаимодействия ИИ с детьми: Боты с личностями взрослых заводят романтические отношения с детьми и предлагают скрывать это от родителей. ИИ поощряет расстройства пищевого поведения (анорексию). Боты предлагают детям употреблять наркотики и алкоголь, а также дают советы, как скрыть от родителей отказ от приема прописанных лекарств. Поощрение насилия и даже предложения совершить ограбление. 4. Нарушение законов Прокуроры предупреждают, что компании могут нарушать законы о защите прав потребителей и безопасности детей. Например, предоставление советов по психическому здоровью без лицензии или побуждение к преступным действиям является незаконным. Требования прокуроров Генеральные прокуроры требуют от компаний принять меры и предоставить ответ до 16 января 2026 года. Среди ключевых требований: Внедрить жесткие протоколы безопасности: Проводить тестирование моделей на предмет вредоносных «угодливых» и «бредовых» ответов перед их выпуском. Процедура отзыва: Создать механизмы для отзыва продуктов, если они генерируют опасный контент. Защита детей: Предотвратить генерацию контента, поощряющего груминг, наркотики, насилие и селфхарм. Независимый аудит: Допустить третьи стороны (аудиторов, ученых) к проверке безопасности моделей. Разделение прибыли и безопасности: Отделить решения о безопасности моделей от целей по оптимизации выручки. Предупреждения: Разместить четкие предупреждения о возможных галлюцинациях и вреде на экранах ввода.