16 подписчиков
❤️ Имба от «Яндекса» — компания открыла доступ к библиотеке YaFSDP. Она позволяет быстрее вести обучение нейронок без мощных компьютеров.
Инструмент появился при разработке YandexGPT 3. Создатели заявляют, что библиотека может ускорить процесс обучения LLM на 25%. YaFDSP способен также освободить до 1/5 мощностей визуальных процессоров, задействованных в обучении.
Библиотека использует графическую память ровно на ту часть, которая необходима для алгоритмов обучения и не замедляет обновление каналов между GPU.
«Яндекс» проверил, как YaFSDP могла повлиять на релиз нейронок от запрещённой компании Meta.
Тест показал, что pre-training модели Llama 2 с помощью библиотеки закончился бы на две недели быстрее.
Около минуты
11 июня