Команда ученых из Мичиганского университета представила новый способ обучения крупных языковых моделей, таких как GPT, который позволяет сократить энергопотребление до 30% без увеличения времени обучения. Это открытие может существенно снизить углеродный след технологий ИИ.
Эксперты утверждают, что данный метод может сохранить столько энергии, сколько потребуется для снабжения 1,1 миллиона домов в США к 2026 году. Снижение энергопотребления также может помочь уменьшить долю дата-центров в общемировых выбросах углекислого газа, что, по данным Международного валютного фонда, к 2027 году может составить 1,2%.
Проблема энергозатрат при обучении ИИ возникает из-за неравномерного распределения задач между процессорами — мощными чипами, которые используются для обработки огромных объемов данных. Учитывая разницу в сложности задач, некоторые процессоры могут завершать работу быстрее, но при этом потреблять больше энергии, чем необходимо, что не ускоряет процесс обучения.
Чтобы решить эту проблему, ученые создали программу Perseus, которая анализирует задачи и замедляет менее загруженные процессоры, чтобы все процессоры завершали свои операции одновременно. Это предотвращает лишние энергозатраты, делая процесс обучения эффективнее.
Как заявил профессор Машараф Чоудри, соавтор исследования, важно не тратить лишнюю энергию. Решение этой задачи не только снижает энергозатраты, но и может облегчить доступ к ИИ для стран с ограниченными ресурсами, устраняя необходимость отправлять данные на обработку в другие страны или использовать менее точные модели.