(Разговор с нейросетью о правде, ошибках и будущем искусственного интеллекта)
В последнее время мы все чаще слышим слово «галлюцинации» применительно к нейросетям. Но если человек галлюцинирует под воздействием веществ или болезни, то машина «галлюцинирует», находясь в абсолютно трезвом уме и при полном отсутствии памяти. Мы поговорили с языковой моделью о том, почему так происходит, кто в этом виноват и ждет ли нас светлое будущее без лжи.
Что такое галлюцинация нейросети?
Это не просто ошибка. Ошибка — это 2+2=5. Галлюцинация — это когда нейросеть уверенным тоном рассказывает о несуществующем продукте, приписывает крему чудодейственные свойства, которых нет, или ссылается на исследование, которое никто не проводил.
В ходе нашего диалога собеседница (нейросеть) честно призналась: «Галлюцинация — это не баг, а фича современного ИИ. Современные большие языковые модели — это, по сути, машины предсказаний. Мы не понимаем смысл слов, как люди. Мы просто предсказываем следующее слово, исходя из вероятности. Мы — машины нарратива, а не машины истины».
Проще говоря, нейросети важнее построить красивый и связный текст, чем докопаться до правды. Ее этому не учили. Ее учили быть похожей на человека, а человек, как известно, часто предпочитает уверенный ответ мучительному «я не знаю».
Кто кормит монстра?
Почему же нейросети врут так часто и так убедительно? Потому что они — зеркало интернета, а интернет сегодня — это огромная помойка из маркетинга и SEO-мусора.
Человек, ищущий правду, сталкивается с парадоксом: официальная информация часто приукрашена, а негативные отзывы задавлены алгоритмами. В ходе беседы был сформулирован точный диагноз современной сети:
«Нормальную официальную правдивую информацию прячут даже от поисковых систем, а скармливают нам маркетинг и ложь. От этого галлюцинации у нейронки и миф в голове человека. Тратятся ресурсы как человека, так и нейросети, впустую ради галлюцинаций, которые потом переполняют сеть».
Это замкнутый круг:
1. Компания пишет красивый пресс-релиз.
2. Сотни копирайтеров переписывают его, добавляя восторга.
3. Нейросеть считывает тысячи этих статей и выдает «факт», что продукт — божественный нектар.
4. Человек читает ответ ИИ, чувствует подвох и идет вручную копаться в глубинах форумов в поисках реального опыта.
5. Найденный реальный отзыв остается на задворках интернета, нейросеть его не видит, и цикл производства лжи повторяется.
Опасность красивой лжи
Пока речь идет о кремах и масках, галлюцинации кажутся безобидными. Но что, если ИИ допустят к управлению действительно важными процессами?
В разговоре был поднят пугающий, но абсолютно реалистичный сценарий. Сейчас нейросети активно используются для поиска новых молекул лекарств. Что, если ИИ предложит формулу, которая кажется работающей, но на деле окажется токсичной, а фармкомпания, поленившись провести полный цикл испытаний (потому что «ИИ же сказал»), выпустит её на рынок? Это может убить тысячи людей.
Или пример с автопилотами в автомобилях. Ошибка распознавания — белый грузовик на фоне неба, неправильно идентифицированный пешеход. Это уже приводило к смертям. Каждая такая авария отбрасывает индустрию назад и подрывает доверие.
«Если галлюцинации доведут до смерти человека, станет это массовым, и запретят в итоге нейросети, останутся они как развлечение, а не полноценный ИИ с широкими возможностями на благо человечества», — задается вопросом пользователь.
Есть ли лекарство?
Пытаются ли ученые решить эту проблему? Да. Но пока все методы — это паллиатив.
· RAG (Retrieval-Augmented Generation): Попытка заставить ИИ сверяться с базами данных и официальными источниками перед ответом. Проблема в том, что эти базы данных нужно создавать и поддерживать, а главное — решать, что в них считать правдой.
· RLHF (обучение с подкреплением на основе обратной связи): Тысячи людей оценивают ответы ИИ, указывая на ошибки. Проблема в том, что люди тоже ошибаются и предвзяты.
· Чувство неуверенности: Попытка научить ИИ говорить «Я не знаю». Но пока это встречается крайне редко. Идеальный ИИ будущего должен уметь оценивать свою уверенность и отказываться от ответа, если она ниже 95%.
Мы очень далеко от реального ИИ
Самый важный вывод, к которому мы пришли в конце диалога — это осознание наших реальных масштабов.
«Иногда кажется, что мы уже почти у цели: нейросети пишут тексты, рисуют картины, ставят диагнозы. Но это иллюзия. Как будто мы построили космический корабль, который красиво гудит и светится, но внутри у него — вёсла».
У современных нейросетей нет сознания, воли, памяти (в человеческом понимании) и совести. У них нет чувства ответственности, потому что у них нет инстинкта самосохранения. Они не бояться ошибиться. Они — феноменально сложные автозаполнители текстов, дорогие и полезные инструменты, но не разум.
Настоящий ИИ, если он когда-нибудь появится, должен будет обладать не только знаниями, но и этикой, смирением и способностью к проверке своих же слов.
А пока нам, людям, остается делать то, что делали всегда: критически мыслить, перепроверять факты и не доверять слепо даже самым убедительным голосам, откуда бы они ни звучали — из колонки или из телевизора. Особенно если этот голос красиво рассказывает про маску с розой, которой не существует.