Учёные из Университета Иллинойса, Anyscale и Snowflake разработали систему SuperOffload.Ferra
Обычные видеокарты часто не справляются с огромными моделями из-за нехватки памяти.Ferra
Главное новшество SuperOffload — адаптивное управление весами модели: система сама определяет, где лучше хранить данные в данный момент, чтобы ускорить обучение.Ferra
Результаты: обучение стало до 2,5 раза быстрее, а на одном суперчипе теперь можно обучить модель на 25 миллиардов параметров — это в семь раз больше, чем позволяет только GPU.Ferra
