Исследователи НИУ ВШЭ представили метод адаптации языковых моделей для работы с российской научной терминологией, повысив скорость их работы в 2,7 раза.
Отечественные исследователи разработали инновационный подход к обучению больших языковых моделей, который позволяет им эффективнее работать с российской научной терминологией. Внедрение методики позволило оптимизировать вычислительные ресурсы: адаптированная система функционирует в 2,7 раза быстрее и потребляет на 73% меньше оперативной памяти по сравнению с базовыми моделями.
Ведущий эксперт Центра стратегической аналитики и больших данных Института статистических исследований и экономики знаний Анастасия Малашина рассказала, что универсальные алгоритмы зачастую обладают поверхностными знаниями. По её словам, целью разработки было создание модели, способной «мыслить в категориях предметной области», понимать сложные взаимосвязи между понятиями и корректно интерпретировать запросы российских инженеров и ученых.
Необходимость создания специализированного инструмента обусловлена стремительным ростом объемов научной документации, патентов и отчетов. Большинство существующих нейросетей обучаются преимущественно на англоязычных массивах данных, что не позволяет им учитывать специфику научной лексики на русском языке. Для решения этой проблемы специалисты Института статистических исследований и экономики знаний НИУ ВШЭ использовали корпус данных iFORA-QA, сформированный более чем 150 экспертами на основе аналитических материалов в сфере технологий и инноваций. В ближайших планах разработчиков — интеграция дополнительных инструментов, которые минимизируют риск «галлюцинирования» нейросети и позволят ей корректно обрабатывать неоднозначную или неполную информацию. Как сообщили разработчики информационному агентству ТАСС, конечной целью проекта является создание системы интеллектуальных агентов, способных автономно выявлять скрытые закономерности в научно-технических данных, превращая искусственный интеллект в полноценного партнёра исследователя.
Ранее сообщалось, что применение ИИ в российской науке пока неоднородно. Наиболее активно инструменты искусственного интеллекта применяют представители естественных и медицинских дисциплин, а также молодые исследователи, которые выполняют прикладные задачи.