Экспериментальные ИИ-модели от Google DeepMind и OpenAI впервые показали результат уровня золотой медали на Международной математической олимпиаде (IMO), пишет New Scientist.
Компании называют этот момент важной вехой на пути к созданию ИИ, способных решать сложные научные и математические задачи. Однако математики настроены более скептически, поскольку не раскрыты детали результатов и принципы работы моделей.
IMO, одно из самых престижных соревнований для молодых математиков, давно считается проверкой способности больших языковых моделей (LLM) к математическим рассуждениям — сфере, в которой они традиционно испытывают трудности.
После прошлогодней олимпиады в Бате Google DeepMind заявил, что разработанные им системы AlphaProof и AlphaGeometry показали результат уровня серебряной медали, но их работы не оценивались официальным жюри конкурса.
Перед нынешним соревнованием, прошедшим в Квинсленде, Google, Huawei и владелец TikTok ByteDance, а также академические исследователи обратились к организаторам с просьбой официально оценить результаты их ИИ-моделей, рассказывает президент IMO профессор Грегор Долинар. Организаторы согласились при условии, что компании объявят результаты не раньше 28 июля, после завершения церемонии закрытия.
OpenAI также интересовалась участием, но после получения информации об официальной процедуре не ответила и не зарегистрировала заявку, говорит Долинар.
Новый ИИ от OpenAI набрал балл, соответствующий золотой медали, сообщили в компании 19 июля. Модель решила пять из шести задач за те же 4,5 часа, что и участники IMO, их выполнение проверили три призера олимпиады, то есть это была внеконкурсная оценка.
Чуть позже Google DeepMind объявил, что его система Gemini Deep Think достигла уровня золотой медали с аналогичными результатами и временными рамками. Долинар подтвердил, что эту оценку выставили официальные проверяющие IMO.
В отличие от прошлогодних AlphaProof и AlphaGeometry, созданных специально для олимпиады и работавших с вопросами и ответами на языке программирования Lean, нынешние модели Google и OpenAI использовали исключительно естественный язык.
Lean упрощает проверку ответов, но малопонятен неспециалистам, объясняет Танг Луонг из Google, участвовавший в разработке Gemini Deep Think. По его словам, возможность участия LLM в соревновании на естественном языке стала реальной благодаря прогрессу в обучении с подкреплением — методе, при котором ИИ понимает, что такое успех, и самостоятельно выясняет правила и стратегии достижения цели методом проб и ошибок. Кроме того, модель Google анализирует несколько решений одновременно («параллельное мышление») и обучена на наборе математических задач, подобных включенным в программу IMO.
OpenAI раскрыла мало деталей о своей системе, кроме того, что она также использует обучение с подкреплением и «экспериментальные исследовательские методы».
«Прогресс обнадеживает, но не представлен в контролируемом научном формате, поэтому его трудно оценить. Когда компании опубликуют статьи с данными и, надеюсь, предоставят доступ к моделям для воспроизведения результатов, можно будет говорить увереннее. Пока же мы вынуждены в основном полагаться на их заявления», — прокомментировал профессор математики Теренс Тао из Калифорнийского университета в Лос-Анджелесе.«Удивительно, каких высот мы достигли. Но раздражает, как мало информации о внутренней работе доступно сторонним экспертам», — согласился его коллега Джорди Уильямсон из Сиднейского университета.
По словам Джозефа Майерса, одного из организаторов нынешней IMO, хотя системы на естественном языке полезны для нематематиков, они могут создавать проблемы, если генерируют длинные доказательства, сложные для проверки: «Если ИИ когда-либо предложат решения значимых нерешенных задач — возможно, правдоподобные, но с незаметными критическими ошибками, случайными или намеренными из-за несовершенства ИИ, — формальное доказательство может стать ключом к доверию еще до прочтения объемного вывода».
В ближайшие месяцы обе модели-«победительницы» будут протестированы математиками и представлены широкой публике.
Лучший ИИ современности сразился с ведущими математиками
Опровергнута неизбежная победа искусственного интеллекта над человеком
Подписывайтесь и читайте «Науку» в Telegram