Создан MetalGPT-1 – профессиональная нейросеть для металлургии

MetalGPT-1 стала первой в семействе больших языковых моделей компании с открытым исходным кодом (open source). В отличие от универсальных GPT-моделей, обученных на общих интернет-данных, MetalGPT-1 изначально спроектирована для работы с профессиональной терминологией, аббревиатурами и сложными технологическими цепочками, что повышает качество решений, принимаемых на основе рекомендаций искусственного интеллекта.

Языковая модель включает 32 миллиарда параметров и обучена на 10 гигабайтах профильных текстов по металлургии и горнодобывающей промышленности. Этот объём сопоставимом с половиной англоязычной Википедии. Ключевое конкурентное преимущество модели – уникальное качество данных, поскольку обучение проведено на более чем миллионе документов, недоступных в открытых источниках. Это технологические протоколы, внутренние регламенты и инструкции предприятий, проектная и строительная документация, патенты, отчеты НИОКР, научно-техническая литература. Все данные прошли многоступенчатую очистку и анонимизацию, что позволило использовать отраслевые знания без раскрытия коммерческой тайны. Дополнительно создано около 500 тысяч вопросно-ответных и инструктивных пар на основе реальных производственных и научных задач, чтобы модель лучше улавливала причинно-следственные связи в технологических процессах и выдавала устойчивые к ошибкам ответы.

«Металлургия – один из самых сложных отраслевых доменов со своим языком процессов, аббревиатур и терминов. Универсальные модели, обученные на общем веб-корпусе, теряют точность на таком специализированном языке, а крупномасштабные модели требуют колоссальных вычислительных ресурсов, — отметил руководитель направления по развитию искусственного интеллекта «Норникеля» Данил Ивашечкин. – MetalGPT-1 меняет правила игры: это первая в мире доменная модель на 32 миллиарда параметров, специально оптимизированная под металлургию. На промышленном бенчмарке она показывает лучший в отрасли уровень понимания металлургического языка при ресурсах, доступных для реального промышленного применения. Каждая компания теперь может адаптировать модель под свои задачи».

Для объективной оценки качества команда «Норникеля» создала промышленный бенчмарк по металлургии — набор вопросно-ответных пар, которые покрывают разные процессы горно-металлургической отрасли, на котором MetalGPT-1 стабильно превосходит открытые универсальные модели. «Норникель» выложил модель MetalGPT-1 и промышленный бенчмарк на платформе Hugging Face, предоставив всей металлургической индустрии инструменты для разработки собственных отраслевых решений и расширения экосистемы промышленных приложений.