Российская компания Яндекс завершила разработку и представила в свободном доступе на площадке GitHub новый инструмент под названием YaFSDP, основной задачей которого является оказание помощи организациям, работающим с технологиями искусственного интеллекта.
В частности, с помощью этого софта любая компания может оптимизировать ресурсы в процессах обучения больших языковых моделей. Разработчики к основным преимуществам своего инструмента отнесли:
- Ускорение и увеличение уровня эффективности процессов обучения больших языковых моделей. Экономия до 20% ресурсов GPU, что позволяет снизить финансовые затраты и сократить длительность всего обучения.
- Обеспечение до 26% более высокой скорости обучения, если сравнивать с предыдущими версиями софта FSDP.
Разработчики также рассказали, что YaFSDP выступает в качестве наиболее эффективного публично доступного средства, применяемого для оптимизации использования памяти GPU и улучшения связи между графическими процессами в ходе обучения больших языковых моделей.
В Яндексе также рассказали, что обучение LLM является ресурсоёмкой и трудоёмкой процедурой, в связи с чем специалисты по машинному обучению и организации, занимающиеся разработкой собственных больших языковых моделей, тратят много времени и ресурсов GPU, а значит, и большое количество денежных средств на обучение подобных моделей. Чем больше такая модель, тем больше денег и времени требуется на её обучение.
В Яндексе также подчёркивают, что применение их софта YaFSDP для обучения модели LLM, примерно с 70 млрд параметров, позволит сэкономить ресурсы приблизительно 150 GPU, что составляет примерно 500 000 — 1 500 000 долларов в месяц, в зависимости от поставщика платформы или виртуальных GPU.
В процессе тестирования инструмента YaFSDP компания Яндекс использовала современные модели LLaMa от запрещённой в России и признанной экстремистской корпорации Meta, которые известны инновациями и поддержкой открытого искусственного интеллекта. В ходе тестирования инструмент продемонстрировал впечатляющие результаты:
- На базе LLaMa 2 70B финальное ускорение обучения увеличилось примерно на 21%.
- На LLaMa 3 70B обучение было ускорено на 26%.
Разработчики отмечают, что эти показатели говорят о высоком уровне производительности инструмента YaFSDP в вопросах оптимизации ресурсов GPU и памяти в ходе тренировки больших языковых моделей.
Журналисты также рассказывают, что публикация в свободном доступе инструмента YaFSDP выступает в качестве нового вклада российской компании Яндекс в открытую экосистему искусственного интеллекта. При этом ранее разработчик выпускал и многие другие востребованные сейчас инструменты, среди которых CatBoost, Tsaurus, AQLM, Petals.
Ещё по теме: