108 подписчиков
Анализ возможности продолжения масштабирования ИИ до 2030 года, учитывая различные технологические и ресурсные ограничения
Исследователи предполагают, что текущая тенденция роста ИИ, вероятно, сможет продолжиться до 2030 года
Вычислительная мощность для обучения современных моделей ИИ растет в 4 раза ежегодно
Если эта тенденция сохранится, к концу десятилетия мы увидим обучающие прогоны в 10.000 раз больше, чем GPT-4
Авторы рассмотрели 4 основных потенциальных препятствия: энергопотребление, производство чипов, обучающие данные и задержки в центрах обработки данных
a) Энергопотребление:
- Обучение модели Llama 3.1 405B использовало 16.000 GPU H100, потребляя около 30 МВт.
К 2030 году крупнейшие обучающие прогоны могут потребовать до 5 ГВт мощности
Хотя дата-центр мощностью >1 ГВт беспрецедентен, это соответствует заявленным планам отрасли
Распределенное обучение между штатами США может еще больше увеличить доступную мощность
b) Производство чипов:
- Для 10.000-кратного масштабирования по сравнению с GPT-4 потребуются десятки миллионов чипов
- Несмотря на ограничения в производстве GPU, такие компании как TSMC планируют расширение мощностей
- К 2030 году может быть доступно до 100.000.000 GPU, эквивалентных H100, для крупномасштабного обучения
c) Обучающие данные:
- Существующих индексированных интернет-текстов достаточно для значительного увеличения масштабов обучения
- Мультимодальные данные (изображения, видео, аудио) могут расширить масштаб обучения ИИ примерно в 10 раз
- Синтетические данные перспективны, но несут риски "коллапса модели"
d) Задержки:
- По мере роста моделей увеличивается количество последовательных операций на каждый пример обучения
- Современное оборудование ограничивает прогоны
- Превышение предела потребует новых сетевых архитектур или оборудования с меньшей задержкой
Несмотря на большие препятствия, оценки авторов сводятся к тому, что к 2030 году мы сможем увидеть еще один крупный скачок в масштабах, сравнимый с переходом от GPT-2 к GPT-4
Этот анализ важен для понимания будущего развития ИИ и потенциальных ограничений, с которыми может столкнуться индустрия
Он также дает представление о масштабах ресурсов и инвестиций, необходимых для продолжения текущих темпов прогресса в области ИИ
1 минута
21 августа 2024