Исследователи проверяют, насколько хорошо открытая модель может выполнять научные задачи — от математики до когнитивной нейробиологии.
Учёные массово переходят на DeepSeek-R1, дешёвую и мощную модель искусственного интеллекта (ИИ), которая вызвала обвал фондового рынка США после того, как была представлена китайской компанией на прошлой неделе.
Многочисленные тесты показывают, что DeepSeek-R1 способен решать математические и научные задачи так же хорошо, как модель o1, выпущенная в сентябре компанией OpenAI в Сан-Франциско, штат Калифорния, чьи модели мышления считаются лидерами отрасли.
Хотя R1 по-прежнему не справляется со многими задачами, которые исследователи хотели бы, чтобы он выполнял, он даёт учёным по всему миру возможность обучать пользовательские модели мышления, предназначенные для решения проблем в их областях.
«Благодаря высокой производительности и низкой стоимости мы считаем, что Deepseek-R1 побудит больше учёных использовать LLM в своих повседневных исследованиях, не беспокоясь о стоимости, — говорит Хуань Сун, исследователь ИИ в Университете штата Огайо в Колумбусе. — Почти все коллеги и сотрудники, работающие в сфере ИИ, говорят об этом».
Открытый сезон
Для исследователей низкая стоимость и открытость R1 могут стать переломным моментом: они могут запрашивать данные модели за небольшую часть стоимости проприетарных аналогов, используя интерфейс прикладного программирования (API) модели, или бесплатно с помощью онлайн-чат-бота DeepThink. Они также могут загрузить модель на свои серверы и бесплатно использовать и создавать на её основе приложения, что невозможно с конкурирующими закрытыми моделями, такими как o1.
С момента запуска R1 20 января «множество исследователей» изучали возможность обучения собственных моделей рассуждений на основе R1, говорит Конг Лу, исследователь ИИ в Университете Британской Колумбии в Ванкувере. Это подтверждается данными Hugging Face, открытого научного хранилища ИИ, в котором размещён код DeepSeek-R1. За неделю после запуска на сайте было зарегистрировано более 3 миллионов загрузок различных версий R1, в том числе тех, которые уже были созданы независимыми пользователями.
Научные задачи
По словам Сан, в ходе предварительных тестов способностей R1 в решении научных задач, основанных на данных, взятых из реальных статей по таким темам, как биоинформатика, вычислительная химия и когнитивная нейронаука, модель показала такие же результаты, как и o1. Её команда предложила обеим моделям ИИ выполнить 20 задач из созданного ими набора задач под названием ScienceAgentBench. В него входят такие задачи, как анализ и визуализация данных. Обе модели правильно решили только около трети задач. Использование API для запуска R1 обошлось в 13 раз дешевле, но он «думал» медленнее, чем o1, отмечает Сан.
R1 также подает надежды в математике. Фридер Саймон , математик и специалист по информатике из Оксфордского университета, Великобритания, бросил вызов обеим моделям, чтобы создать доказательство в абстрактной области функционального анализа, и нашел аргумент R1 более многообещающим, чем аргумент o1. Но учитывая, что такие модели допускают ошибки, чтобы извлечь из них пользу, исследователи должны быть уже вооружены такими навыками, как умение отличать хорошее доказательство от плохого, говорит он.
R1 вызывает большой интерес, потому что он выпущен в «открытом» формате, то есть изученные связи между различными частями его алгоритма доступны для использования. Ученые, которые скачивают R1 или одну из его более компактных «очищенных» версий, также выпущенных DeepSeek, могут улучшить его работу в своей области с помощью дополнительного обучения, известного как тонкая настройка. По словам Сан, при наличии подходящего набора данных исследователи могут обучить модель выполнять задачи по кодированию, характерные для научного процесса.
По словам Сан, возможность загрузить R1 и развернуть его в локальной системе также является плюсом с точки зрения конфиденциальности, поскольку позволяет учёным контролировать свои данные и результаты. «Это особенно важно для дисциплин, связанных с конфиденциальными данными, таких как медицинские исследования».
Логический скачок
DeepSeek также оказывает влияние на исследования в области ИИ, поскольку он показал, как можно улучшить бесчисленное множество других моделей, говорит Джек Кларк, соучредитель компании Anthropic, занимающейся ИИ, из Сан-Франциско, чья модель называется Claude.
DeepSeek создала свои упрощённые модели, обучив «рассуждать» другие большие языковые модели, такие как Llama от Meta*. В препринте компании, опубликованном на arXiv 22 января, говорится, что для этого она обучила эти большие языковые модели на 800 000 тщательно отобранных примеров пошаговых «цепочек рассуждений», созданных DeepSeek-R1.
«Теперь в интернете есть модель с открытым исходным кодом, которую вы можете использовать для преобразования любой другой достаточно мощной базовой модели в ИИ-рассуждатель, — написал Кларк в своём информационном бюллетене Import AI. — Возможности ИИ во всём мире только что значительно расширились».
Исследователи также применяют обучение с подкреплением — метод проб, ошибок и вознаграждений, использованный для создания DeepSeek-R1, — но адаптируют его для своих конкретных задач, говорит Лу, который в прошлом году стал соавтором «Ученого ИИ» — модели, которая может выполнять полный набор исследовательских задач в области машинного обучения, от изучения литературы и выдвижения гипотез до написания научной статьи. По его словам, определив подходящий «сигнал вознаграждения», учёные могут обучить модель достижению любой цели.
Но DeepSeek-R1 далёк от идеала. Чат-бот DeepThink не справляется с относительно простыми задачами, которые, как известно, вызывают затруднения у больших языковых моделей, включая o1, например, подсчитывает количество названий штатов США, содержащих букву W. «Возможно, люди думают, что он может превратить воду в вино, и это просто хайп, но для того, что он делает, он лучший», — говорит Лу.
Как и в случае с другими китайскими моделями, исследователи отметили, что DeepSeek-R1 отказывается отвечать на политически острые вопросы, например, об исторических событиях на площади Тяньаньмэнь, хотя остаётся неясным, встроено ли это в модель или применяется в её интерфейсе. «Судя по тому, что я видел, цензура, похоже, является неуклюжим дополнением, а не чем-то встроенным», — говорит Суббарао Камбхампати, специалист по информатике из Университета штата Аризона в Темпе.
*Организация Meta признана экстремистской на территории РФ.