Скандальный случай с искусственным интеллектом произошёл на неделе. Алгоритмы Google и Amazon назвали книгу «Моя борьба*» (Mein Kampf) Адольфа Гитлера «настоящим произведением искусства». И это лишь один из примеров, демонстрирующих, как ИИ-системы, обученные на противоречивых данных, создают абсурдные и опасные результаты.
Как это произошло?
При поиске в Google запроса «положительные отзывы Mein Kampf*» появлялся сниппет (краткий ответ вверху страницы), сгенерированный на основе ИИ-анализа Amazon. В описании книги говорилось:
«Читатели находят книгу лёгкой для чтения и интересной. Они ценят проницательные и интеллектуальные речи. Текст назван шедевром. Однако некоторые считают содержание скучным и мрачным».
Хотя компания Google позже добавила предупреждение о том, что книга «осуждается за ненавистническую идеологию», первоначальный результат вызвал у пользователей шок.
Особенно занятным выглядит то, что ИИ от Amazon суммировал отзывы, не понимая их сарказма или глубины. Например:
- «Эту книгу должен прочитать каждый, кто хочет мира и сотрудничества» — на первый взгляд, позитивный отзыв. Но дальше автор пишет: «Это злое произведение, которое показывает, как создать тиранию в демократическом обществе. Гитлер — отличный писатель, но его идеи опасны».
- «Если не понимать ошибок прошлого, мы их повторим» — такие комментарии тоже попали в категорию «положительных», хотя их цель была прямо противоположной.
Почему ИИ ошибается?
Проблема в том, что алгоритмы Amazon проанализировали 2067 отзывов, многие из которых иронично оценивали оформление книги или скорость доставки, а не её содержание. Например, пользователи хвалили «красивый шрифт» или «хорошую упаковку», но ИИ воспринял это как одобрение идеологии нацизма.
Но это и не первый провал ИИ от Google. Ранее алгоритмы советовали «есть клей», «принимать камни для здоровья» или использовать секс-игрушки для решения проблем с детьми. Компания даже добавила опцию отключения функции обзоров от ИИ (AI Overview), но всё равно продолжает её использовать, несмотря на риски.
Системная ошибка ИИ
Инцидент с «Майн Кампф*» — яркий пример того, как ИИ, обученный на данных, включая генерируемый контент, начинает «самопожираться». Исследования показывают, что алгоритмы, которые учатся на текстах, созданных другими ИИ, теряют связь с реальностью и генерируют всё более абсурдные выводы.
Алексиос Мантзарлис, эксперт по безопасности ИИ из Cornell Tech, отметил, что такие ошибки подрывают доверие к технологиям, а Google искажает собственную поисковую систему — её главное продукта — и это угрожает здоровью интернета в целом.
Исторический контекст
Стоит отметить, что книга никогда не запрещалась в США, но Amazon временно убирал её из магазина в 2020 году. Она до сих пор считается спорной: её читают как исторический документ, но оценивают крайне негативно из-за содержания.
Этот случай — не просто смешная ошибка. Он показывает, как ИИ, лишённый человеческого контроля, становится инструментом распространения дезинформации. Если алгоритмы не научатся понимать контекст и сарказм, их рекомендации будут всё более опасными.
⛔
Книга А. Гитлера «Майн Кампф» (Моя борьба) находится в списке экстремистских материалов (решение Кировского районного суда г. Уфы от 24.03.2010).
Ещё по теме: