Яндекс объявил о выпуске инструмента YaFSDP с открытым исходным кодом, который способен ускорить изучение крупнейших языковых моделей на 25%. Это достигается за счет снижения потребления ресурсов графических процессоров (GPU) до 20%, необходимых для обучения. Библиотека доступна для использования компаниями, разработчиками и исследователями по всему миру.
YaFSDP разработан в первую очередь для крупнейших языковых моделей, но также может использоваться для обучения других типов нейронных сетей, в том числе тех, которые генерируют изображения. Данная технология позволяет значительно снизить стоимость оборудования для обучения моделей, что является важным фактором для стартапов и исследовательских проектов.
YaFSDP был разработан специалистами Яндекса, которые работали над созданием своей новой генеративной модели YandexGPT 3. Библиотека была протестирована на нескольких нейронных сетях с открытым исходным кодом, показав свою эффективность.
Код YaFSDP уже доступен на платформе GitHub, где вы можете найти подробные данные о тестировании и сравнительный анализ результатов. Вы также можете найти информацию о разработке библиотеки на Хабре. Все решения с открытым исходным кодом от Яндекса собраны на отдельной странице.
]]>
