Google придумала, как в 13 раз ускорить обучение ИИ и снизить потребление энергии в 10 раз
Google DeepMind разработала новый метод обучения искусственного интеллекта под названием JEST (Joint Example Selection), который обещает значительно повысить эффективность ИИ-систем и снизить энергопотребление — эта инновация может стать решением проблемы экологического воздействия центров обработки данных для ИИ.
Метод JEST позволяет снизить количество итераций при обучении в 13 раз и уменьшить энергопотребление в 10 раз по сравнению с существующими методами. В отличие от традиционных подходов, JEST обучается на основе целых пакетов данных, а не на отдельных частях: сначала создается меньшая модель ИИ, которая оценивает качество данных и ранжирует пакеты, затем эта модель определяет наиболее подходящие для обучения данные, и большая модель обучается на их основе.
Введение JEST совпадает с ростом озабоченности по поводу энергопотребления систем ИИ — в 2023 году рабочие нагрузки ИИ потребляли около 4,3 ГВт электроэнергии, что сопоставимо с годовым потреблением Кипра. Один запрос ChatGPT потребляет в 10 раз больше энергии, чем поисковый запрос Google.
Новая технология может быть использована для снижения энергопотребления при сохранении текущей производительности или для достижения максимальной производительности при том же уровне энергозатрат. Внедрение JEST может значительно повлиять на индустрию ИИ, учитывая высокую стоимость обучения современных моделей, таких как GPT-4, обучение которого оценивается в 100 миллионов долларов.
Что такое искусственный интеллект: