Компания Deepseek из Ханчжоу (Китай) в сотрудничестве с Университетом Цинхуа в Пекине представила новый метод оптимизации, призванный лучше согласовывать языковые модели с предпочтениями человека. По данным South China Morning Post, презентация состоялась в подходящий момент: вот-вот будет выпущена преемница успешной модели Deepseek-R1.
Представленный метод Deepseek объединяет два ранее отдельно применявшихся подхода: моделирование генеративного вознаграждения (GRM) и самосовершенствование настройки. Моделирование вознаграждений — это процесс, который помогает большим языковым моделям (LLM) определять человеческие предпочтения. Процедура дополнительной настройки позволяет модели оценивать свои собственные ответы в соответствии с усвоенными ею принципами.
По словам исследователей, цель комбинированного метода — дать возможность большим языковым моделям быстрее и точнее отвечать на открытые вопросы, не только превосходя технологические стандарты, но и удовлетворяя реальные потребности пользователей.
Согласно научной статье, опубликованной на платформе Arxiv, полученные модели глубокого поиска превзошли существующие методы. Исследователи пишут, что им удалось конкурировать с предыдущими моделями вознаграждения, что делает процедуру многообещающей альтернативой существующим подходам.
Моделирование вознаграждения является центральным компонентом разработки современного ИИ. Цель —обеспечение того, чтобы модели давали ответы, которые не только логически верны, но и социально желательны. Именно в этом случае на помощь приходит Deepseek с его новым двухэтапным подходом: одна часть оценивает предложения чисто математически, другая проверяет их в соответствии с изученными принципами. Это должно привести к тому, что ответы будут не только приходить быстрее, но и станут более обоснованными.
Параллельно с этим релизом циркулируют слухи о следующей модели компании. По данным Reuters, Deepseek-R2, преемник мощного R1, может быть выпущен в этом месяце. Официального подтверждения этой информации пока нет.
Сама компания остается верна своей стратегии: в то время как американские стартапы, такие как OpenAI или Anthropic, активны на рынке, Deepseek до сих пор инвестирует в исследования и открытый исходный код.
Тот факт, что почти никто не говорит публично об источниках финансирования, институциональных связях или политическом влиянии, подтверждает эту картину: стратегия Китая в области ИИ опирается не только на технологический прогресс, но и на контролируемую прозрачность — как внешнюю, так и внутреннюю.
Deepseek уже опубликовал несколько репозиториев кода в феврале и объявил, что в будущем продолжит разработку с «полной прозрачностью». Представленные сейчас модели GRM также будут доступны в виде открытого исходного кода. Однако исследователи не назвали точную дату, и пока неизвестно, что на самом деле означает обещание прозрачности.
Основатель Deepseek 40-летний Лян Вэньфэн в конце февраля посетил встречу с предпринимателями в сфере технологий в Пекине, на которую его лично пригласил председатель КНР Си Цзиньпин.
Неудивительно, что Deepseek там приветствовали как маяк надежды. В то время как США пытаются замедлить технологический прогресс Китая, стартап является ярким примером того, насколько серьезно Китай относится к собственной технологической независимости в секторе ИИ.
