Почему люди врут? Ложь — это сложный социальный инструмент, отражающий личные страхи и культурные нормы общества, существующий, по большому счёту, лишь для того, чтобы не отвергла стая.
Машины – не люди. Им чужды все эти попытки подстроиться под окружение.
Тем не менее, каждый пользователь хоть раз сталкивался с обманом нейросетей. Они постоянно перевирают факты, искажают информацию и переиначивают детали.
В общем, машины врут так же часто, как люди.
Правда, учёные, народ образованный и деликатный, придумали для этого феномена другое название – «галлюцинации». И не обидно, и никаких неправильных ассоциаций.
Некоторые мои читатели могут сейчас решить, что галлюцинации в нейросетях — это как глюки у неопытного грибника, – событие возможное, но не с каждым случается.
Нет.
Галлюцинации в нейросетях – обычное дело. На современном этапе их развития это данность, производная от способа, которым нейросети познают мир и генерируют контент©prompt_pro
А теперь – пойдём по пунктам.
Чтобы понять причины появления галлюцинаций, нужно знать, как работают генеративные нейросети.
Коротко говоря, они обучены на огромных объёмах информации, благодаря чему могут «понимать» контекст и предсказывать, какие данные логично использовать в генерации результата по конкретному промпту (запросу пользователя). На основе этого они создают аудио, видео, тексты или изображения, подбирая слова, пиксели, ноты и их структуры, похожие на те, что встречались в обучающих данных.
Более подробно об этом здесь:
Что такое галлюцинации в нейросетях?
Именно эта технология – предсказывание последующих единиц данных на основе статистических методов – и порождает галлюцинации нейросетей.
Представьте, что вам дали задание нарисовать пейзаж, но ни разу не объяснили, что же это такое. Вы начнёте фантазировать и придумывать, как мог бы выглядеть этот пейзаж, если бы вы понимали, о чём идёт речь. Разумеется, созданная вами картина будет драматически далека от реальных зарисовок природы. Нечто похожее происходит и с нейросетями, когда они «достраивают» ответ по своему усмотрению.
Короче говоря, галлюцинации — это отклонение от истины, ошибка, при которой машина уверенно выдаёт правдоподобный, но полностью вымышленный ответ.
Это происходит, если нейросеть сталкивается с нехваткой данных, неполной информацией или запросом, выходящим за рамки её обучения. Модели пытаются «заполнить» пробелы в информации, комбинируя знакомые слова, имена, факты, звуки, части изображений, чтобы ответ выглядел достоверно. В таких случаях результат генерации внешне очень логичный, но на самом деле не имеет под собой ни капли реальной основы.
Примеры галлюцинаций в нейросетях
Одинаково «успешно» нейросети галлюцинируют и при генерации изображений, и при генерации текстов, аудио и видео.
1. Текстовые галлюцинации
Когда нейросеть генерирует текст, она может уверенно создать убедительную, но абсолютно не настоящую информацию и не существующие факты.
Представьте, что вы спросили нейросеть, когда был изобретён первый квантовый компьютер. Не имея точного ответа в своём наборе данных, она конструирует ответ: «Первый квантовый компьютер был изобретён в 1975 году учёными Джеймсом Рэндом и Лоуренсом Битлингом».
Информация звучит очень правдиво и содержит правдоподобные имена, но на самом деле это химически чистая ложь: такого события и таких учёных в истории не было, а первый квантовый компьютер был создан значительно позже©prompt_pro
2. Визуальные галлюцинации
С визуальными нейросетями происходит нечто похожее. Например, если попросить нейросеть нарисовать портрет, она может выдать изображение с лишними глазами, странными тенями или анатомически невозможными деталями. Часто нейросеть даже добавляет объекты, которых не было в промпте, — лишние вещи, людей или фоны, если модель посчитала их «логичными».
3. Галлюцинации в аудио и видео
Для аудио- и видеомоделей проблема галлюцинаций тоже актуальна. Например, в генерации музыки может возникнуть «мелодия» с перепутанным нотным рядом, а в видео — кадры, где персонажи неестественным образом мутируют или из ниоткуда возникают предметы.
Почему появляются галлюцинации?
Причины галлюцинаций в нейросетях можно условно разделить на несколько категорий.
- Ограниченность данных. Модель обучается на огромных наборах данных, но иногда этих данных всё же не хватает или они недостаточно качественные. Например, если нейросеть училась на новостных статьях, она может создать текст, который звучит как новость, но с выдуманными фактами©prompt_pro
- Структура нейросети. Нейросети, особенно большие модели, состоят из сотен или даже тысяч уровней, каждый из которых обрабатывает разные аспекты информации. Ошибки могут возникать из-за сложности этих уровней, когда один «слой» модели передает неверное предположение дальше по цепочке.
- Отсутствие контекста. Если человек может уточнить непонятное слово или значение, то нейросети просто «угадывают» из имеющегося опыта. В результате нейросеть может построить несуществующий факт на основе того, что, по её предположению, было бы логично©prompt_pro
Почему галлюцинации могут быть опасны?
Галлюцинации — это не только забавные курьёзы, но и серьезная проблема. Вот лишь несколько примеров их возможного вреда:
- Врачебные ошибки. Если нейросеть сгенерирует медицинскую консультацию, но ошибётся в диагнозе или лечении, это может фатально сказаться на пациенте.
- Финансы. В финансовых отчётах или рекомендациях ошибки могут стать причиной денежных потерь и даже привести к уголовным делам.
- Общественное мнение. Галлюцинации могут быть восприняты как реальные факты, и такая дезинформация непредсказуемо отразится на состоянии общества.
В этой статье я привела пример фейка, сгенерированного нейросетью, который стоил карьеры хорошему специалисту:
Как разработчики пытаются минимизировать галлюцинации
Казалось бы, проблема решаема: чем больше данных для изучения получит нейросеть, тем меньше будет искажений в ответах. Но нет. Всё в точности до наоборот. Чем больше данных в распоряжении нейросети, тем свободнее она комбинирует информацию для создания недостоверного результата©prompt_pro
Полностью избавиться от галлюцинаций пока не удаётся, ведь они – спутники технологии, как я уже сказала. Однако существуют способы их минимизировать.
- Улучшение качества данных. Важно обучать нейросети на проверенных, точных данных. Чем лучше и полнее обучающий материал, тем меньше шансов, что нейросеть создаст галлюцинацию.
- Механизмы проверки фактов. В текстовых моделях уже внедряются алгоритмы, которые проверяют сгенерированные данные. Это позволяет отсекать часть галлюцинаций ещё на этапе генерации.
- Система обратной связи. Когда пользователи указывают на ошибки модели, нейросеть может постепенно «учиться», становясь точнее. Такая обратная связь — мощный инструмент в борьбе с галлюцинациями.
Что ждёт нас в будущем?
На данный момент борьба с галлюцинациями набирает обороты. Учёные и инженеры работают над созданием более сложных и эффективных методов обучения, контроля данных и проверки информации.
Проблема в том, что по мере усложнения нейросетей ошибки тоже могут становиться сложнее, поэтому полностью победить галлюцинации в ближайшее время вряд ли получится. Однако умные машины продолжают развиваться, и, возможно, через несколько лет мы увидим-таки гораздо более точные и надёжные нейросети, чем те, что существуют сегодня.
Пока же галлюцинации в нейросетях — это напоминание о том, что, несмотря на все фантастические возможности современных технологий, умные машины пока ещё очень далеки от настоящего понимания реальности.
Машины, по сути, только строят догадки, и иногда эти догадки оборачиваются забавными, а порой, и пугающими ошибками. Осознание этих рисков позволяет лучше оценивать полученные данные, проверять важную информацию и избегать чрезмерного доверия к выводам нейросетей, особенно в критически важных задачах.
Ещё по теме: