🌟 ether0: специализированная модель с ризонингом для химии

🌟 ether0: специализированная модель с ризонингом для химии.

Ether0 - специализированная модель с 24 млрд. параметров, разработанная FutureHouse для проектирования соединений и решения сложных задач в химии.

В отличие от традиционных моделей, она не просто пересказывает теорию, а решает практические задачи: считает атомы, проверяет химическую стабильность и генерирует структуры, подходящие для синтеза, используя естественный язык для рассуждений и вывода структур в формате SMILES.

SMILES (Simplified Molecular Input Line Entry System) — это линейная текстовая нотация для описания структуры химических соединений с использованием коротких ASCII-строк. Он позволяет кодировать молекулярные графы, включая информацию о связях, атомах и хиральности, что делает его удобным для обмена данными в химинформатике.

Пайплайн инференса выглядит так: пользователь вводит текстовый запрос (например, «создай ингибитор киназы с 30 атомами»), модель запускает цепочку рассуждений. Они работают параллельно, предлагая варианты, а потом выбирается лучший результат. Это позволяет комбинировать экспертизу: одна часть системы фокусируется на структуре кольца, другая — на функциональных группах, третья — на токсичности.

Основой ether0 стала Mistral-Small-24B-Instruct-2501, которую адаптировали в несколько итераций.

Сначала исходная модель Mistral прошла стадию SFT на примерах цепочек рассуждений, сгенерированных другими моделями.

Затем ее усилили обучением на группах связанных задач предсказания растворимости и синтеза. После этого, знания объединили в общий пул через дистилляцию, а затем улучшили его с помощью общего RL.

В завершении - GRPO, который сравнивает несколько вариантов ответов на один вопрос, выбирая наиболее точные. Финальный штрих - алайнмент. Модель обучили избегать генерации опасных соединений через дополнительные данные и RL.

В тестах ether0 сравнивали с общими LLM (Claude, o1), специализированными химическими моделями (ChemDFM, TxGemma) и традиционными подходами (Molecular Transformer).

На тестовых задачах с множественным выбором (MCQ), она показала 50,1% точности в режиме zero-shot, что близко к результату o1-2024-12-17 (52,2%).

В задачах проектирования молекул (предсказание реакций) ether0 достигла 70% точности после 46 000 примеров, а MT, обученный на полном наборе данных USPTO (480 000 реакций), показал лишь 64,1%.

ether0 превзошла людей-экспертов и специализированные модели в OA, а тесты на безопасность показали, что модель отказывается от 80% опасных запросов, не теряя точности .

📌 Лицензирование: Apache 2.0 License.

🟡Статья

🟡Модель

🟡Техотчет

🟡Demo

🖥 GitHub

@machinelearning

#AI #ML #LLM #Ether0 #Chemistry #FutureHouse