Исследовательский центр Google DeepMind выпустил новую методику в области обучения моделей ИИ, которая, по их утверждениям, существенно сокращает время обучения в 13 раз, обеспечивая при этом в 10 раз большую энергоэффективность. Новая технология, названная Jest, стала актуальна в связи с нарастающим обсуждением влияния дата-центров ИИ на окружающую среду.
Jest имеет отличия от стандартных подходов к обучению ИИ более простым методом. В отличие от обычных методов, которые фокусируются на определенных данных, Jest учится на целых собраниях данных. Он начинает с создания небольшой модели, которая даёт оценку качеству материалов, а затем сравнивает его с другими наборами данных меньшего качества. Небольшая модель Jest выбирает самые подходящие партии для обучения, после чего более крупная модель обучается на основе результатов.
Исследователи DeepMind выделяют важность направления процессов отбора материалов в сторону распределения меньших, хорошо подготовленных данных, что является ключевым элементом успеха метода Jest. В DeepMind считают, что их технология превосходит самые передовые модели, требуя в 13 раз меньше итераций и в 10 раз мощностей.
Графики показывают, что метод Jest превосходит метод обучения на парах "изображение-подпись" и другие методы по скорости и эффективности. Однако система полностью зависит от качества обучающих материалов, и без высококачественного набора данных метод может не работать.
Исследование Jest стало актуальным в связи с ростом потребления электроэнергии ИИ. В прошлом году рабочие нагрузки искусственного интеллекта потребляли примерно 4,3 гВт, что примерно соответствует годовому потреблению электроэнергии Кипра. И эта тенденция только усиливается, что ставит под угрозу энергосистему США к 2030 году.