Галлюцинации ИИ — одна из самых распространенных проблем новых генеративных нейросетей. Некоторые эксперты считают, что полное избавление от нее может навредить созданию креативного контента
А в чем тренд?
Люди все чаще используют искусственный интеллект в профессиональной и повседневной жизни. Эта технология может заменить или дополнить работу человека почти во всех случаях, когда решение нужно принять на основе предыдущего опыта. Разработчики нейросетей предсказывают грандиозный скачок в их развитии в ближайшие пять лет.
Дилемма галлюцинаций
По мере развития ИИ возникла одна серьезная проблема — «галлюцинации». Так называются генерируемые ИИ результаты, которые не имеют под собой никакой реальной основы. Они могут быть самыми разными: от мелких ошибок до странной и выдуманной информации. Это чем-то похоже на ответы ребенка, который только познает мир.
Исследователи изучают различные подходы к решению проблемы галлюцинаций. Например, предлагают использовать большие массивы проверенной информации, чтобы обучить нейросети отличать факты от вымысла. Но некоторые эксперты утверждают, что полное избавление от галлюцинаций потребует подавить творческий потенциал ИИ.
Почему ИИ галлюцинирует
Галлюцинации возникают из-за метода, по которому генеративные системы создают текст. Отвечая на запрос пользователя, ИИ предполагает вероятное следующее слово, основываясь на массиве предыдущих данных. По похожему, но очень упрощенному, принципу выстроены подсказки в мессенджерах смартфонов.
Крис Каллисон-Берч, профессор компьютерных и информационных наук в Университете Пенсильвании, отмечает: «Вероятность, что одни слова следуют за другими, является не очень надежным способом убедиться, что итоговое предложение соответствует действительности. ИИ может собрать вместе термины, которые звучат правдоподобно, но не являются точными».
Сложности с арифметикой
Проблемы ChatGPT с базовой математикой подчеркивают недостатки подхода генеративных систем к созданию текста. Когда ее просили сложить два числа из обучающих данных, например «два плюс два», она отвечала корректно. Однако это происходило, поскольку ChatGPT с большой долей вероятности определяла слово «четыре», следующее за фразой «два плюс два равно», а не потому, что понимала математические концепции чисел и сложения.
Этот пример показывает, как зависимость системы от шаблонов в обучающих данных может привести к сбоям при решении задач, требующих подлинных рассуждений. Каллисон-Берч констатирует: «Если взять два очень длинных числа, которые система никогда раньше не видела, она просто сгенерирует произвольное практически лотерейное значение».
Методы уменьшения галлюцинаций
Хотя полноценно устранить галлюцинации, скорее всего, невозможно, были разработаны методы, которые эффективно снижают их распространенность, отмечает Каллисон-Берч. Один из многообещающих подходов называется «поиск, дополненный генерацией». Вместо того, чтобы полагаться только на существующие обучающие данные и контекст от пользователя, ИИ может искать соответствующую информацию в «Википедии» и на других веб-страницах.
Другой подход к уменьшению галлюцинаций — использование «причинного ИИ». Он позволяет нейросетям тестировать различные сценарии, изменяя переменные и рассматривая проблему с разных точек зрения. Тони Фернандеш, основатель UserExperience.ai, поясняет: «Правильный набор данных и установление границ разумных результатов может предотвратить галлюцинации. Однако независимо от того, насколько сложным является ИИ, люди должны сохранять над ним надзор».
Влияние на творчество
По словам Каллисон-Берч, в ситуациях, когда важна точность, например, при диагностике заболеваний, предоставлении финансовых консультаций или обобщении новостных событий, галлюцинации ИИ могут быть проблематичными и даже вредными.
Но в сфере творческих занятий, таких как писательство, искусство или поэзия, галлюцинации ИИ могут стать ценным инструментом. Факт, что они отходят от существующей фактической информации и «погружаются в воображение», может стимулировать креативный процесс и создавать инновационные идеи.
Галлюцинации и воображение
Связь между галлюцинациями и творчеством в системах ИИ аналогична процессам в человеческом воображении. Люди часто приходят к творческим идеям, позволяя своему разуму блуждать за пределами реальности. Модели ИИ, генерирующие наиболее инновационные и оригинальные результаты, также склонны иногда создавать контент, не основанный на реальных фактах.
Кьелл Карлссон, руководитель отдела стратегии ИИ в Domino Data Lab, отмечает: «Мы можем и должны устранять галлюцинации на уровне конкретного приложения ИИ — чтобы оно принесло пользу, оно должно вести себя так, как задумано. Однако иногда мы также можем снимать эти ограничения, предоставлять меньше контекста и использовать нейросети для развития нашего творческого мышления».