Явление, известное как галлюцинации искусственного интеллекта, происходит, когда модель ИИ выдает результаты, которые не являются реальными, не соответствуют каким-либо данным, на которых был обучен алгоритм, или не следуют никакому другому различимому шаблону.
В начале февраля Google представила своего чат-бота Bard, который отвечал на вопросы о космическом телескопе Джеймса Уэбба. Программа выдавала отличные результаты, формулировала четкие и убедительные ответы. Была только одна проблема: одно из утверждений бота, что телескоп сделал самый первый снимок экзопланеты за пределами нашей Солнечной системы — было... абсолютно неверным.
На данный факт оперативно обратило внимание научное сообщество и новость об этом попала во все крупные СМИ. Ошибка стоила компании-разработчику (Alphabet) порядка 100 миллиардов долларов капитализации.
Почему подобное происходит?
Говоря о классическом программном обеспечении мы понимаем – оно работает так, как оно написано. Если строки кода составлены правильно – результат будет, если нет – ERROR, ERROR. Что еще более важно, если условный Валера из Сыктывкара загрузит свой код на GitHub, а его скачает Джон из Калифорнии – работать этот код будет одинаково и у первого, и у второго.
Так вот. С чат-ботами – все не так.
Теперь технологические гиганты разрабатывают чат-ботов и другие технологии, которые самостоятельно изучают навыки, выявляя статистические закономерности в огромном количестве информации.
Большая часть этих данных поступает с таких сайтов, как Wikipedia и Reddit. Интернет кишит полезной информацией, от исторических фактов до медицинских советов. Но он также наполнен неправдой, фейками и различным мусором. Чат-боты впитывают все, включая явные и неявные предубеждения из текста, который они обрабатывают. Они не обязательно знают, является ли то, что они генерируют, истинным или ложным.
Добавьте сюда тот факт, что ChatGPT обучен на массиве данных до 2021 года – вот вам и почва для "галлюцинаций".
Что будет дальше?
Галлюцинации ИИ могут принимать самые разные формы: от создания ложных новостей до неправильных (но правдоподобных!) утверждений, ошибках в исторических событиях или научных фактах.
Галлюцинации ИИ не являются продуктом сознательной или подсознательной работы "разума" чат-бота. Это происходит из-за того, что для обучения и разработки системы ИИ используются некорректные или недостаточные данные.
Google, Microsoft и OpenAI уже работают над решением этих проблем. OpenAI активно следит за отзывами и на их основе совершенствует работу чат-бот. Используя обучение с подкреплением, система стала лучше понимать, что ей следует и чего не следует делать. Microsoft, со своей стороны, ограничила продолжительность разговоров со своим чат-ботом Bing и также исправляет уязвимости, обнаруженные пользователями. Но исправить каждый сбой сложно, если не невозможно.
Необходимо учитывать риски галлюцинаций ИИ, особенно при использовании их генеративных возможностей. Чат-бот может быть полезным инструментом, но к выдаваемой им информации стоит относиться критически. По мере развития технологии, крайне важно использовать ее ответственно, осознавая при этом ее недостатки и возможность вызывать галлюцинации. Они не разумны и не сознательны. В чем-то они умны, а в чем-то глупы. Помните, что они могут ошибаться. Впрочем, как и все мы.
