Современные AI-модели рискуют стать лишь хорошими учениками, не способными к научным прорывам. Для достижения уровня Эйнштейна необходимы системы, способные задавать нестандартные вопросы и подвергать сомнению общепринятые знания. Новые критерии оценки AI должны включать оспаривание знаний и использование смелых подходов.
Новые критерии оценки AI должны включать оспаривание знаний и использование смелых подходов
Недавно на одном мероприятии я высказал спорное суждение и решил записать его в более развернутом формате: боюсь, что AI не приведет нас к «сжатому XXI веку».
Термин «сжатый XXI век» появился в эссе генерального директора Anthropic Дарио Амодеи «Машина любящей благодати». Если вы его не читали, то вам стоит это сделать — примечательная работа. В двух словах, в тексте говорится о том, что в течение года или двух у нас появится «страна Эйнштейнов внутри дата-центра», что приведет к «сжатию» XXI века, когда всего за 5-10 лет все научные открытия столетия будут совершены.
Я прочитал это эссе дважды. В первый раз оно меня поразило: «AI изменит в науке всё всего за 5 лет»! Но через несколько дней я перечитал его и понял, что большая часть текста выдает желаемое за действительное.
На самом деле, на мой взгляд, мы получим «страну вечно поддакивающих людей» (если будем продолжать в том же духе). Позвольте мне объяснить это на небольшом примере из моей личной истории.
Я всегда был отличником: вырос в маленьком городке, поступил в ведущую французскую инженерную школу, а затем получил PhD в MIT. Учёба всегда давалась мне легко. Я мог быстро понять ход мыслей преподавателя, предугадать комментарии экзаменаторов и вопросы тестов.
Поэтому, когда я стал исследователем (точнее, аспирантом), тот факт, что я довольно посредственный учёный, меня шокировал. Пока коллеги придумывали интересные идеи, у меня ничего не выходило. Я не мог выдумать ничего, помимо незначительных вариаций уже существующих теорий, если этого не было в учебниках. Более того, мне было трудно ставить под сомнение то, что я уже освоил. Я не был Эйнштейном. У меня просто хорошо получалось учиться. Вероятно, даже, что я не был Эйнштейном именно потому, что был хорошим учеником.
В истории много примеров гениев, у которых были проблемы с обучением. Томаса Эдисона учителя называли «умственно отсталым». Барбару МакКлинток критиковали за «странные идеи» — до того, как она выиграла Нобелевскую премию. Эйнштейн провалил своей первый экзамен в Швейцарскую высшую техническую школу Цюриха. И таких историй — масса.
Люди ошибаются, полагая, что Ньютон или Эйнштейн — это просто «усовершенствованная версия отличников». Они считают, что, если изобразить успеваемость на графике, гений будет находиться на той части кривой, где и 10% лучших учеников, только еще чуть дальше.
Но они упускают самое главное: способность задавать правильные вопросы и ставить под сомнение даже то, чему тебя учили. Пример реального научного прорыва — предположение Коперника о том, что Земля вращается вокруг Солнца, хотя наука его времени утверждала обратное. Если использовать метафору машинного обучения, можно сказать, что его идея шла вразрез с набором данных, на котором его тренировали.
Если мы хотим создать AI уровня Эйнштейна, нам не нужна машина, которая может ответить на любой вопрос. Нам нужна система, которая могла бы задавать вопросы, до которых никто не додумался и которые никто не решался спросить. Она должна подвергать сомнению то, что написано в учебниках, то, что говорят эксперты, и то, что лежит в плоскости здравого смысла.
Что, если все ошибаются на этот счёт?
Только подумайте о том, насколько немыслима была теория относительности и о том, сколько мужества потребовалось, чтобы сформулировать первую аксиому типа «давайте предположим, что скорость света постоянна во всех системах отсчета», бросающую вызов здравому смыслу тех дней (и даже сегодняшних...).
Или возьмем пример CRISPR, который с 80-х годов прошлого века считался адаптивной бактериальной иммунной системой, пока через 25 лет после его открытия Дженнифер Дудна и Эммануэль Шарпантье не предложили расширить возможности его использования и не применили для редактирования генов, получив за это Нобелевскую премию. Подобная идея — «мы уже много лет знаем, что XX делает YY, но что, если мы ошибались всё это время? А что, если бы мы применили его к совершенно другой концепции ZZ?» — это пример мышления, выходящего за рамки знаний, смена парадигмы, которая, по сути, и обеспечивает научный прогресс.
Такие смены парадигм происходят редко, может быть, 1-2 раза в год, и Нобелевские премии обычно присуждаются после того, как их влияние станет заметно. Как бы редко они ни случались, я согласен с Дарио в том, что именно от них зависит научный прогресс данного столетия, а все остальное — не так значительно.
Теперь давайте рассмотрим, что мы сейчас используем для оценки последних достижений AI-моделей. Современные бенчмарки вроде «Последнего экзамена человечества» («Humanity's Last Exam») или «Пограничной математики» («Frontier Math») состоят из очень сложных вопросов — обычно предложенных докторами наук — но с четкими, однозначными ответами.
Это именно тот вид экзамена, в котором я преуспел в свое время. Бенчмарки проверяют, может ли модель правильно ответить на ряд вопросов, ответ на которые нам уже известен.
Однако настоящие научные прорывы будут происходить не за счет ответов на известные вопросы, а за счет постановки новых, в том числе в отношении общепринятых концепций.
Помните «Автостопом по галактике» Дугласа Адамса? Ответ, очевидно, 42, но никто не знает правильного вопроса. Именно так и выглядят исследования.
На мой взгляд, это одна из причин, почему большие языковые модели до сих пор не сгенерировали никаких новых знаний путем соединения ранее не связанных фактов, хотя они уже хранят в памяти все знания человечества. Сейчас они в основном занимаются «множественным заполнением» — закрывают пробелы в знаниях, которые уже есть у людей, и воспринимают имеющуюся информацию как неотъемлемую часть реальности.
Сейчас мы создаём очень старательных учеников, а не революционеров. Это идеально подходит для главной цели сегодняшнего дня — производства отличных ассистентов и очень послушных помощников. Но они не совершат научной революции, пока мы не найдем способ научить их подвергать свои знания сомнению и предлагать идеи, которые потенциально будут противоречить данным обучения.
Если мы хотим совершить прорыв, нам следует перейти к измерению эффективности модели AI на основе следующих способностей
- Оспаривать знания, полученные из наборов данных, на которых они обучены;
- Использовать смелые подходы, которые противоречат фактам;
- Делать общие предложения на основе крошечных подсказок;
- Задавать неочевидные вопросы, которые открывают новые направления исследований.
Нам не нужен студент, который учится на одни пятерки и может ответить на любой вопрос на основе общих знаний. Нам нужен студент, который выучил материал на четверку и задает вопросы, до которых другие не додумались.
Как мог бы выглядеть такой бенчмарк? Можно было бы протестировать модель на недавнем открытии, о котором она еще не должна знать (современный вариант теории относительности), и проверить, может ли модель задавать нужные вопросы по теме, для которой у нее нет концептуальных рамок. Это непросто, поскольку большинство моделей обучены на практически всех доступных человеческих знаниях. Но для оценки этих моделей такой подход очень важен. Вопрос остается открытым, и я буду рад услышать ваши мысли на этот счет.
Многие говорят, что «ход 37» (ход системы AlphaGo во второй игре матча с Ли Седолем) — это доказательство того, что AI уже достиг уровня Эйнштейна. Но позвольте мне подробнее рассмотреть этот пример.
Ход 37 впечатляет, но все еще остается ответом студента-отличника на вопрос, поставленный правилами игры в го. Я уверен, что модели AI вскоре смогут придумать математическое доказательство более элегантное, чем предложения лучших математиков современности. Но это еще не сдвиг парадигмы.
Прорыв в го уровня Эйнштейна подразумевает нечто более фундаментальное — например, изобретение правил самой игры, исследование всевозможных правил для создания чего-то более захватывающего, чем существующие игры.
Возьмем математику — это более подходящая аналогия, поскольку игры, в отличие от естественных наук, созданы человеком. Научный прорыв здесь может означать «обнаружение связей между ранее не связанными математическими областями и открытие новой области математических исследований» (обычно такое открытие лежит в основе работ, удостоенных Филдсовской премии).
На мой взгляд, планка для того, что представляет собой смена научной парадигмы в духе Эйнштейна, остается очень высокой.
Томас Вольф является сооснователем и директором по науке (CSO) в Hugging Face, где он стоял у истоков инициатив в области открытого исходного кода, образования и исследований.
Томас увлечен созданием программного обеспечения с открытым исходным кодом, которое делает сложные исследования, модели и наборы данных широкодоступными (например, благодаря созданию библиотек Hugging Face Transformers и Datasets). Когда он не занят разработкой OSS-библиотек, его можно найти продвигающим открытую науку в исследованиях ИИ/МО, пытающимся сократить разрыв между академической средой и промышленными лабораториями через такие проекты, как BigScience Workshop по большим языковым моделям (LLM), который привел к экспериментам, модели и датасету BLOOM. Его текущие исследовательские интересы сосредоточены на доступности LLM, а также на измерении и преодолении существующих ограничений больших языковых моделей. Он также любит создавать образовательный контент по ИИ, МО и ОЕЯ, включая написание справочника "Natural Language Processing with Transformers", опубликованного в O'Reilly с замечательными соавторами, ведение (не так часто, как хотелось бы) своего блога и запись (также не достаточно часто) образовательных видео, таких как "The Future of Natural Language Processing".
Перевод Управления исследований и инноваций.