Российские ученые совершили прорыв в обучении искусственного интеллекта: новая библиотека алгоритмов заставляет графические процессоры обмениваться данными вдвое быстрее, сокращая простой оборудования.
Как сообщает пресс-служба «Яндекса», специализированная библиотека позволяет не только ускорить коммуникацию между GPU, но и существенно сократить объем передаваемой информации. Ключевое преимущество разработки в том, что управление данными перенесено с графических карт на центральные процессоры. Подобные решения, масштабируемые на крупные кластеры, есть только у ведущих мировых игроков — Meta*, AMD и китайских IT-гигантов.
В основе технологии лежит новый подход к передаче данных по относительно узким каналам связи. Ученым удалось оптимизировать этот процесс, что критически важно для работы мощных суперкомпьютеров, на которых обучают передовые нейросети. Инновация не только ускоряет обмен, но и снижает накладные расходы системы, активнее задействуя ресурсы CPU. Внедрение этих алгоритмов в инфраструктуру компании уже позволило сократить операционные расходы примерно на 4,8 млрд рублей в год.
Интересно, что гонка за эффективностью коммуникации GPU сегодня идет по всему миру. Недавно международная группа исследователей представила работу HetCCL — библиотеку для унификации обмена данными между GPU от разных производителей, включая NVIDIA и AMD, что особенно актуально для гетерогенных кластеров.
Еще один значимый проект, DeFT от китайских ученых, предлагает смягчать зависимости данных для более гибкого планирования коммуникаций, добиваясь ускорения до 115%.
* — корпорации Meta признана в РФ экстремистской.
Читать дальше "«Яндекс» ускорил обмен данными между GPU при обучении нейросетей" на сайте "ГИПОРТ Новости".