Исследовательская лаборатория искусственного интеллекта Google, опубликовала новое исследование обучающих моделей искусственного интеллекта, в котором утверждается, что оно значительно увеличивает скорость обучения и энергоэффективность на порядок, обеспечивая в 13 раз большую производительность и в десять раз более высокую энергоэффективность, чем другие методы. Новый метод обучения JEST появился своевременно, поскольку разговоры о воздействии центров обработки данных искусственного интеллекта на окружающую среду становятся все более горячими.
Метод DeepMind, получивший название JEST или joint example selection, простым способом отличается от традиционных методов обучения моделей ИИ. Типичные методы обучения сосредоточены на отдельных точках данных для обучения, в то время как JEST обучает на основе целых пакетов. Метод JEST сначала создает уменьшенную модель ИИ, которая оценивает качество данных из источников чрезвычайно высокого качества, ранжируя пакеты по качеству. Затем он сравнивает эту оценку с большим набором данных более низкого качества. Модель small JEST определяет пакеты, наиболее подходящие для обучения, а затем большая модель обучается на основе результатов модели меньшего размера.
Исследователи DeepMind ясно дают понять в своей статье, что эта "способность направлять процесс отбора данных в сторону распространения меньших, хорошо отобранных наборов данных" важна для успеха метода JEST. Правильное слово для этого исследования - успех; DeepMind утверждает, что "наш подход превосходит самые современные модели с в 13 раз меньшим количеством итераций и в 10 раз меньшим объемом вычислений".
Конечно, эта система полностью полагается на качество своих обучающих данных, поскольку технология начальной загрузки разваливается без набора данных максимально возможного качества, подготовленного человеком. Нигде мантра "мусор на входе, мусор на выходе" не является более верной, чем этот метод, который пытается "пропустить вперед" в процессе обучения. Это делает метод JEST гораздо более сложным для любителей или разработчиков ИИ, чем большинство других, поскольку для сбора исходных данных обучения высшего качества, вероятно, требуются исследовательские навыки экспертного уровня.
Исследование JEST появилось недавно, поскольку технологическая индустрия и правительства стран мира начинают обсуждать экстремальные требования к мощности искусственного интеллекта. Рабочие нагрузки ИИ потребляли около 4,3 ГВт в 2023 году, что почти соответствует годовому потреблению электроэнергии на Кипре. И ситуация определенно не замедляется: один запрос ChatGPT стоит в 10 раз дороже, чем поиск в Google по мощности, а генеральный директор Arm оценивает, что ИИ займет четверть энергосистемы США к 2030 году.
Пока неизвестно, будут ли методы JEST приняты крупными игроками в сфере искусственного интеллекта. Сообщается, что обучение GPT-4o обошлось в 100 миллионов долларов, а будущие более крупные модели вскоре могут достичь отметки в миллиард долларов, поэтому фирмы, вероятно, ищут способы сэкономить свои кошельки в этом разрезе. Те, кто надеется, что методы JEST будут использоваться для поддержания текущих показателей производительности обучения при гораздо меньших затратах энергии, снижения затрат на ИИ и помощи планете.
Однако гораздо более вероятно, что рынок будет держать педаль нажатой, используя методы JEST для поддержания максимальной мощности для сверхбыстрого результата обучения. Экономия затрат по сравнению с масштабом выпуска, кто выиграет?
#Google #AI #ИИ #JEST #GPT #США #DeepMind #обучениеИИ #энергоэффективность #экономия
