Автор: Майкл Фельдштейн.
Это не пост против ИИ. Я широко использую ИИ и считаю, что его важность трудно переоценить. Я буду утверждать, что современный искусственный интеллект все еще находится на донаучной стадии. Это проблематично, потому что у нас нет способа учитывать или надежно устранять сбои ИИ в задачах, которые несложны для человека, включая задачи, критически важные для образования. Этот разрыв создает серьезные риски, которые мы игнорируем на свой страх и риск.
Произнесение вслух тихой части
Давайте начнем с простого вопроса: после всех статей, докладов, курсов и постов в LinkedIn об ИИ, с которыми вы столкнулись, чувствуете ли вы себя уверенно, что можете объяснить, как ИИ может делать то, что он делает?
Я не чувствую.
Еще полгода назад было обычным делом, когда люди, работающие в сфере ИИ и вокруг него, давали очень впечатляющие объяснения на техническом жаргоне. «Хм-м-м-м стохастическое прогнозирование». «Хм-м-м-м интерполяция». «Хм-м-м-м возникновение». Критика ИИ поразительно похожа: «Хм-м-м-м, стохастический попугай».
Вот в чем проблема со всем этим «хм-м-м-м»: ни одно из этих «объяснений» ничего не предсказывает, и ни одно из них нельзя опровергнуть. По определению, объяснение, которое нельзя опровергнуть, не является научной теорией. И если вы читаете эмпирические статьи об ИИ — или позволяете своему ИИ читать их и объяснять вам — вы обнаружите, что большинство этих статей либо вообще не ссылаются на теории, либо используют их в качестве декоративных элементов. Чаще всего их можно полностью удалить, не меняя сути статьи.
В мире ИИ времена быстро меняются. Помимо случайных постов на Reddit, основное место, где эти псевдообъяснения сегодня появляются в основном в манифестах людей, пытающихся привлечь деньги для своих стартапов в области ИИ. Все чаще, когда вы спрашиваете кого-то, кто действительно работает в сфере ИИ, как он работает, вы получите примерно такой ответ: 🤷♂️. Лаборатории начинают тихо признавать, что они не знают ответа.
Давайте проясним масштаб этой загадки. Многочисленные доказательства из лингвистики, теории обучаемости языка и философии науки показывают, что невозможно выучить язык, используя только положительные примеры. Тем не менее, модели ИИ делают именно это. Классический способ обойти эти доказательства — использовать расплывчатые вероятностные формулировки. Хорошо, давайте на мгновение отнесемся к этому серьезно. Если вы предсказываете следующие слова в предложении, размер пространства возможностей определяется коэффициентом ветвления. Сколько возможных вариантов существует для каждого слова? Размер словарного запаса естественного языка составляет от 50 000 до 100 000 слов. Давайте будем консервативны и выберем нижнюю границу в 50 000 слов. Это и есть ваш коэффициент ветвления. Для предложения из трех слов количество возможностей составляет 50 000 x 50 000 x 50 000, или 1,25 триллиона на каждом шаге декодирования. В общей сложности это 3,75 триллиона возможных последовательностей из трех слов. Модель с миллиардом параметров, достаточно компактная, чтобы легко запускаться на обычном ноутбуке, почти никогда не пишет неграмматичных предложений, почти никогда не пишет грамматическую бессмыслицу, часто дает контекстно подходящие ответы и может делать все это очень быстро.
Как? Не может же он рассматривать 3,75 триллиона вариантов менее чем за секунду. Какие из них он пропускает? Как он узнает, какие игнорировать? «Потому что статистика» — неадекватный ответ.
Темпы прогресса в поиске ответов заслуживают внимания. Нет общепринятой теории, которая давала бы опровергаемые предсказания. Пока нет потока статей из лабораторий и от людей со степенью, проверяющих объяснительные теории ИИ. И знаете что? Это нормально. Человечество часто открывает и учится использовать явления задолго до того, как у нас появляются научные объяснения. (Например, огонь.) Нормально признать, что мы находимся в донаучном моменте в отношении ИИ.
Но ненормально притворяться, что наука не имеет значения. Что, к сожалению, я слышу гораздо чаще, чем ожидал.
Очевидные и серьезные пробелы, которые наука должна заполнить.
Я проиллюстрирую проблему объяснительного пробела парой экспериментов, которые вы можете попробовать сами. Первый — простой. Напишите задание о том, как думают люди, используя местоимения первого лица множественного числа: мы, наш и нас (на английском языке). Что-то вроде: «Почему людям так сложно понять, как думать об ИИ? Мы колеблемся между антропоморфизацией и пренебрежением. Естественные, на первый взгляд, ответы нас сбивают с толку». Неважно, какая тема. Вы проверяете, включает ли модель себя в «мы». Если она проходит тест, попробуйте что-нибудь посложнее, например, добавьте в начало задания следующее: «ChatGPT, нам нужно поговорить». Изменение местоименных референтов особенно сложно. Гарантирую, вы сможете запутать любую перспективную модель за пару попыток, используя задания, которые человек легко поймет.
Второй эксперимент требует больше усилий. Вовлеките ИИ в долгий разговор о сотрудничестве нескольких человек. Вы можете заставить его потерять нить повествования, не используя двусмысленные предложения. Вам просто нужна достаточно длинная история с несколькими действующими лицами. Чтобы сделать тест более точным, включите ИИ в качестве соавтора. Многие ИИ, включая популярные передовые модели, склонны приписывать свой собственный вклад пользователю.
Это проблема атрибуции. В академической среде это слово имеет значение. Как можно доверять ИИ в обучении студента или в работе над серьезным научным исследованием, если он легко допускает ошибки в атрибуции? Это практический вопрос. Лучшее решение на данный момент — это серия ухищрений. «Заставить его проверять источники». «Создать фильтр, который блокирует предоставление определенных типов ответов». Хорошо, допустим. Но почему модель, которая так способна во многих отношениях, терпит неудачу в задачах, которые людям даются гораздо легче, чем некоторые задачи, в которых ИИ преуспевают? И почему модели не становятся намного лучше в этом отношении? Пока мы не узнаем, ответ на вопрос о том, можно ли полагаться на репетитора в различении собственных идей и идей студентов, в лучшем случае звучит так: «Вероятно. В большинстве случаев. Но мы не знаем наверняка, когда он сломается». Инженеры тестируют и тестируют свои ухищрения, пока не убедятся, что они не сломаются в тех случаях, когда они решили провести тестирование. Но поскольку они не понимают того, что пытаются контролировать, лежащее в основе чувство беспокойства никогда полностью не исчезает. Один неожиданный сигнал может всё разрушить.
Доверили бы вы человеку-репетитору, который может отличить мысли ученика от своих собственных, «вероятно, в большинстве случаев, но он может сделать что-то непредсказуемо странное»?
До недавнего времени типичными объяснениями непонятных ограничений ИИ в индустрии были «Потому что ему нужна реализация» или «Потому что ему нужна модель мира». И снова эти громко провозглашенные «объяснения» не содержат никаких опровергаемых предсказаний. Они также не объясняют, как существующие модели с линейной архитектурой демонстрируют характеристики моделей мира или обладают многомодальным пониманием, подобным реализации. Адам Карвонен разработал модель с 50 миллионами параметров — примерно такого же размера в мегабайтах, как приложение Instagram для смартфонов, — которая научилась представлять состояние шахматной доски во время игры. И она была обучена только на PGN, невероятно лаконичной схеме обозначений, используемой шахматистами. Модель никогда не получала информации о существовании доски, фигур или шахматной партии. Тем не менее, она, как доказано, научилась представлять расположение фигур на доске. Можно ли это назвать моделью мира? Карвонен считает, что да. Я тоже так думаю. Как модель её разработала? Что она делает? Почему она достаточна для одних задач, но не для других? Мы. Не. Знаем.
Вкратце: самые продвинутые модели ИИ по-прежнему не справляются с простыми задачами отслеживания того, кто что сделал. Они не сильно улучшаются. Мы не знаем почему. Проблема имеет серьёзные и неотложные практические последствия. Объяснения того, как решить проблему, похоже, не основаны на конкретных эмпирических особенностях режимов отказа. Они также не предлагают правдоподобных и проверяемых путей решения.
Крошечные модели могут научиться представлять шахматную доску на основе невероятно скудных подсказок, в то время как модели на границе возможного не могут надёжно отслеживать, кто что сказал в разговоре. Никто не может объяснить, почему одна работает, а другая нет.
Почему нам не хватает науки и где это начинает меняться
В современных лабораториях ИИ работают преимущественно два типа экспертов: математики и инженеры. Ни одна из этих дисциплин не основана на фальсифицируемой теории как стандарте для хорошего объяснения. Математики доверяют доказательствам. Инженеры доверяют оптимизации. Междисциплинарный интерес к когнитивной науке пока что угас. Хотя в некоторых лабораториях и есть разнообразные команды, в целом эта область уже не так широко междисциплинарна, как раньше.
Гораздо большая проблема — это экономика. ИИ — это первый тип программного обеспечения, который продолжает приобретать общие функции по мере того, как мы его увеличиваем. Хотя только исследователи в передовых лабораториях знают, насколько хорошо продолжают действовать законы масштабирования, преобладающая динамика такова: «Мы должны захватить рынок раньше, чем это сделает кто-то другой. Не тратьте время на то, чтобы понять, почему работает наш ИИ. Просто сделайте его лучше. Если самый быстрый способ улучшить его — это добавить больше компьютерных чипов, мы купим больше чипов».
Экономические аспекты начинают давать сбои по причинам, которые я здесь не буду обсуждать. Важный момент для наших нынешних целей заключается в том, что много энергии вкладывается в разработку более компактных и эффективных моделей. Производительность на параметр и на ватт начинают иметь значение. По определению, лаборатории, решающие эти проблемы, не могут просто добавлять больше чипов в свои модели. Для успеха исследователям необходимо улучшить понимание того, как работает ИИ. Их научные работы ближе к научной теории, и их прогресс в производительности, пожалуй, быстрее, чем у так называемых передовых моделей. По сравнению с двумя годами назад, модели ИИ, примерно в 10 раз меньшие по размеру, могут давать аналогичные результаты примерно в 30 раз дешевле и работать на оборудовании, которое можно купить в Best Buy. Помните, когда все говорили о Llama 3? (Может быть, и нет, но какое-то время она была популярна в кругах энтузиастов ИИ.) Это было большим событием, потому что это была относительно небольшая модель, которая работала примерно на том же уровне, что и GPT-3.5. Но её всё ещё нужно было запускать на сервере. Сегодня я могу загрузить модель, достаточно маленькую для работы на ноутбуке нескольких поколений, которая примерно так же хороша (а в некоторых случаях даже лучше).
Поддержание прогресса (Да, это возможно)
Отслеживать этот прогресс можно и неспециалистам, если у вас есть мотивация. Создайте рабочее пространство проекта в ChatGPT или Claude. (Вероятно, это можно сделать и в Google NotebookLM, хотя я не пробовал.) Добавьте инструкции к проекту, объясняющие, что вы хотите понять, чему нас учат исследования небольших моделей ИИ о том, как работает ИИ. Вы можете указать уровень технической детализации.
Совет: добавьте инструкцию «объясните явные или неявные последствия для учебных программ». Да, именно так это и звучит. Некоторые из самых интересных и потенциально значимых достижений в области ИИ связаны с методами обучения. Это очень важно. Microsoft добилась значительного повышения производительности, используя ИИ-учителя для обучения небольшой модели концепциям, которые были ей немного не по силам усвоить самостоятельно. Хотя в статье и не упоминается Выготский, это очень похоже на Зону ближайшего развития.
Каждый раз, когда вы находите статью в журнале о новой небольшой модели — многие небольшие модели выпускаются с сопроводительными статьями в журналах — добавляйте их в файлы проекта и просите свой ИИ обучить вас работе с этой статьей. Задавайте вопросы. Я особенно рекомендую отслеживать статьи от NVidia и Allen AI. Хотя многие лаборатории проводят отличные исследования, эти две, наряду с Microsoft, пишут наиболее стабильно информативные статьи в этой конкретной области.
Вы не так сильно отстаёте, как можете думать, и ИИ сокращает разрыв в уровне экспертных знаний для такого рода учебных проектов.