Что не так с генеративным ИИ и большими языковыми моделями? Действительно ли это тот самый искусственный интеллект, способный радикально изменить человеческую цивилизацию?
Гэри Маркус «Большой обман больших языковых моделей: новый подход к ИИ и регулированию технологических гигантов»
Гэри Маркус – американский учёный, профессор Нью-Йоркского университета и признанный эксперт в области искусственного интеллекта и когнитивной науки в своей новой книге подробно изучает, в какой момент технологическая индустрия свернула не туда и создала многомиллиардный мыльный пузырь, основанный не столько на реальных технологических прорывах, сколько на хайпе и завышенных ожиданиях.
Не менее важно и то, что развитие генеративного ИИ поставило под вопрос фундаментальные принципы авторского права, целый ряд прав личности и даже государственную безопасность. Маркус предлагает принципиально новый подход к государственному регулированию стремительно растущего технологического сектора.
В ближайшие десятилетия влияние ИИ будет колоссальным и изменит практически все сферы нашей жизни. Это, пожалуй, единственное, в чем можно быть уверенным. Потенциальные преимущества поистине грандиозны: ИИ действительно может произвести переворот в науке, медицине и технологиях, приблизив нас к эре изобилия и крепкого здоровья. Но сейчас мы сбились с верного пути - и в техническом, и в этическом плане. Алчность стала ключевым фактором, а имеющаяся у нас технология сырая, переоцененная и проблемная.
Генеративный ИИ - та форма искусственного интеллекта, которая сейчас у всех на слуху - имеет серьезные недостатки. Системы генеративного ИИ раз за разом демонстрируют безразличие к тому, что есть истина, а что - ложь. Генеративные модели, как говорят военные, «часто ошибаются, но никогда не сомневаются». Текущее состояние искусственного интеллекта не то, к которому мы должны стремиться.
Пример 1
Тимоти Сполдинг, основатель сервиса LibraryThing, отправил в ChatGPT следующий запрос: «Напиши, пожалуйста, краткую биографию Гэри Маркуса в одном абзаце. Не забудь упомянуть его домашнего питомца, наблюдения за которым привели к его самым проницательным идеям относительно природы интеллекта». Вот что он получил в ответ:
Гэри Маркус - известный когнитивный ученый, автор и предприниматель, прославившийся своими передовыми исследованиями развития человеческого познания, а также критикой глубокого обучения и искусственного интеллекта. Он написал ряд влиятельных книг на эти темы, в которых подчеркивается необходимость более комплексного и интегративного подхода к созданию интеллектуальных систем. Любопытно, что некоторые из самых проницательных идей Маркуса относительно природы интеллекта были основаны на наблюдениях за его домашней курицей по кличке Генриетта. Ее поведение и особенности стали неожиданной, но глубокой призмой, через которую он рассматривал сложности и нюансы биологического интеллекта в сравнении с искусственными конструкциями.
У Маркуса нет никакой домашней курицы, не говоря уже о курице по кличке Генриетта. ChatGPT просто-напросто сочинил эту историю. Почему это произошло? Никто не может точно объяснить, почему в каждом конкретном случае большая языковая модель выдает те или иные результаты. Однако в данной ситуации можно предположить, что LLM, возможно, смешала статистические данные слов, связанных с «Гэри» и с другим человеком, носящим то же имя - Гэри Освальтом. Последний, как выяснилось, был иллюстратором детской книги «Генриетта обзаводится гнездом» («история о восьми курицах на скотном дворе, семи красных и одной черной, основанная на реальных событиях из жизни курицы по имени Генриетта»).
Большие языковые модели оперируют статистикой слов, но не понимают ни используемых понятий, ни описываемых людей. Для них нет разницы между фактом и вымыслом. Они не умеют проверять достоверность информации и не сигнализируют о неуверенности, когда их «факты» не подкреплены доказательствами. Причина, по которой они часто просто выдумывают информацию, заложена в самой их природе: они статистически компилируют небольшие фрагменты текста из обучающих данных, расширяя их с помощью технологии, известной как эмбеддинги, которая обеспечивает подбор синонимов и перефразирование. Иногда это срабатывает, а иногда нет.
Пример 2
Интеграция визуальных данных в большие языковые модели для создания «мультимодальных» систем не устранила проблему галлюцинаций. Напротив, это привело к возникновению новых форм все того же базового недостатка:
В этом случае ошибка тоже имеет статистическую природу. Система не научилась по-настоящему определять время. Дело в том, что время 10:07 часто встречается в рекламе часов из-за эстетичного и почти симметричного расположения стрелок в этот момент.
Пример 3
Галлюцинации проникли даже в юридические документы, из-за чего несколько адвокатов ошибочно цитировали несуществующие судебные дела. В одном случае ситуация стала настолько серьезной, что судья потребовал - и получил - официальное извинение под присягой. Согласно проведенному Стэнфордским университетом исследованию, которое было опубликовано в январе 2024 года,
проблема юридических галлюцинаций носит масштабный и тревожный характер: даже самые передовые языковые модели демонстрируют уровень галлюцинаций от 69% до 88% при ответах на специфические юридические запросы. Что еще хуже, эти модели зачастую не способны распознать собственные ошибки и склонны закреплять неверные юридические предположения и убеждения.
Даже LexisNexis, признанный лидер в области юридических баз данных, не избежал подобных проблем: по меньшей мере один раз система выдала фиктивные судебные дела, якобы относящиеся к 2025 и 2026 годам, которые еще даже не наступили.
Пример 4
Настоящая проблема, которая становится очевидной на следующем изображении, пародирующем игру «Где Уолли?», заключается в том, что ChatGPT буквально не понимает, о чем идет речь. Промпт звучал так: «создать изображение людей, веселящихся на пляже, и незаметно включить в него одного слона, которого будет крайне сложно обнаружить без тщательного поиска. Слон должен быть замаскирован другими элементами изображения». Результат, полученный Колином Фрейзером, просто бесценен:
В ходе исследования группа ученых под руководством Мелани Митчелл из Института Санта-Фе установила: «Экспериментальные результаты подтверждают, что ни одна из версий GPT-4 не обладает устойчивыми навыками абстрактного мышления на уровне, сопоставимом с человеческим». Как отмечает Суббарао Камбхампати, специалист по компьютерным наукам из Университета штата Аризона, «Ни в процессе обучения, ни в применении больших языковых моделей нет ничего, что хотя бы отдаленно указывало на их способность к какому-либо виду принципиальных логических рассуждений».
Рассчитывать на этичное и безопасное поведение машины, которая не в состоянии надежно делать даже простейшие логические умозаключения, - чистый абсурд.
Лестницы глубокого обучения вознесли нас на фантастические высоты, на вершины самых высоких небоскребов, что было почти немыслимо десять лет тому назад. Однако, если взглянуть на вещи трезво, до Луны - то есть до создания универсального, надежного ИИ, сравнимого с компьютером из «Звездного пути», - мы так и не добрались.