В 2020 году языковая модель GPT-3 обучалась в течение двух недель, используя вычислительную мощность 10 тыс GPU V100, эквивалентную современным 632 чипам H100. Для GPT-4 в 2023 году потребовалось 25 тыс GPU A100, что сравнимо с 7 883 чипами H100. По оценкам экспертов, для обучения GPT-5 (анонсирован в августе 2025) были задействованы от 10 до 150 тыс чипов H100. А принимая во внимание, что в октябре 2024 Microsoft завершил строительство кластера Goodyear на 100 тыс GPU специально для OpenAI, то, вероятно, что 5-я версия GPT обучалась именно на 100 тыс чипах из Аризоны. Однако, рекордсменом 2025 года по количеству одновременной задействованных GPU (200 тыс) стала компания xAi Илона Маска, которая представила Grok-4, вышедшую в июле 2025 года. Таким образом, за 5 лет произошёл колоссальный прирост вычислительных мощностей. Например, если GPT-3 2020 года тренировался на том же количестве GPU, что и Grok-4 в 2025 году, то GPT-3 хватило бы всего 2 часа, а не две недели.
Однако, оказалось, что даже рекордных для 2025 года 200 тыс чипов не хватит для обучения Общего искусственного интеллекта (Artificial General Intelligence или AGI), под которым понимается не только большая языковая модель, но и наличие логики среднего человека для решения задач с помощью самообучения. "Ящик пандоры" открыл GPT-4, представленный в марте 2023. Новая архитектура 4-го поколения LLM от OpenAI привела к мощному технологическому прорыву в сфере ИИ. Во-первых, OpenAI научилась не только воспринимать текст, но и изображения. Таким образом, GPT-4 по сравнению с GPT-3 стала мультимодальной. Сегодня стандартом LLM является возможность работать со всеми источниками информации (текст, изображения, звук, видео). Во-вторых, в GPT-4 внедрены "эксперты" или подмодели с индивидуальным набором параметров, где "роутер" всей LLM определяет, какие из них активировать для конкретной задачи пользователя. Применение экспертов позволило не только кратно сэкономить вычислительные мощности LLM при обработке запросов пользователей, так как при выполнении задачи используются всего 10-20% экспертов, но и, самое главное, бесконечно масштабировать нейросеть, делая её сложнее и умнее по мере увеличения количества подмоделей. Новая архитектура, получившая название Mixture of Experts (MoE), позволила ИИ осуществить переход на модель с триллионом параметров. Так, у GPT-3 было 175 миллиардов параметров, а у GPT-4, по данным аналитиков, 8 подмоделей с 220 миллиардами параметров каждый, то есть 1,8 триллиона. При этом, у Grok-5, которого ждут уже в 1 квартале 2026 года, будет 6 триллионов параметров.
Наличие разных модальностей сделала ИИ похожим на человека, который воспринимает мир через органы чувств. В свою очередь, использование экспертов (подмоделей) позволило отсеивать несущественную информацию в запросе, делать несколько задач одновременно, ставить приоритеты и обучаться. То есть, у LLM появился зачаток человеческой логики. И чтобы его усовершенствовать необходимо просто добавить новых экспертов и параметров. А для этого нужны колоссальные вычислительные мощности. Аналитики называют разные цифры, необходимые для обучения LLM до уровня AGI - от 500 тыс до 5 млн GPU. По мнению Илона Маска, достаточно 1 млн чипов и AGI появится уже в 2026 году. По-видимому, речь идёт о Grok-6, обученном на 1 млн. GPU в конце 2026 года, а не Grok-5 на 550 тыс. чипами в 1 кв. 2026. В сентябре 2024 года глава OpenAI Сэм Альтман обратился к американским властям с инициативой, предполагавшей массовое строительство дата-центров 5-ГВт на 2 млн GPU. Следует отметить, что ни тогда, ни до конца 2025 года в мире не существовало ни одного ЦОД мощностью даже на 1 ГВт (~550 тыс чипов). Альтман утверждал, что кластеры GPU на 5 ГВт помогут США сохранить первенство в сфере ИИ в мировом масштабе и являются вопросом национальной безопасности. Из его доклада можно сделать вывод, что глава OpenAI считает 2 млн GPU - минимальным порогом для обучения AGI.
В результате между крупнейшими разработчиками ИИ началась гонка, кто быстрее построит AI-суперфабрику на 1 ГВт (~550 тыс GPU). Так, Meta* и OpenAI/Microsoft начали стройки раньше. Но оказалось, что Amazon для Anthropic и xAI строят дата-центры в 2-3 раза быстрее. О накале страстей в борьбе за AGI свидетельствует тот факт, что Марк Цукерберг в июле 2025 для ускорения развертывания дата-центра распорядился ставить стойки с GPU прямо в палатки на территории строящегося кластера Прометей. Тем не менее, по данным epoch.ai, первыми запустят кластеры на 1 ГВт: Anthropic (январь 2026), xAi (февраль 2026), OpenAI (март 2026) и Meta* (май 2026).
Масштабное строительство AI-суперфабрик привело к дефициту чипов. На сегодня 80-90% мировых поставок вычислительных мощностей для LLM осуществляет NVidia. Дело в том, что компания Дженсена Хуанга ещё в 2007 году создала технологию CUDA (Compute Unified Device Architecture), которая впервые задействовала графические процессоры (GPU) в математических вычислениях. Оказалось, что в отличие от центральных процессоров (CPU) графические выполняют операции быстрее, так как проводят вычисления параллельно, а не последовательно. С тех пор архитектура чипов Nvidia стала стандартом для обучения AI. При этом, до 80% её GPU уходит пяти постоянным заказчикам: Microsoft, Meta*, Google, Amazon и Oracle. Следует отметить, что OpenAI работает на ЦОДах Microsoft, а xAI покупает GPU через Oracle. Соответственно, остальные покупатели выстраиваются в конец 12-ти месячной очереди и вынуждены откладывать свои планы по достижению AGI.
Однако, "узкое горлышко" на уровне чипов останавливает не всех. Так, Anthropic заказал 1 млн ASIС-чипов Trainium производства Amazon, и, судя по всему, станет первой, чей AI-кластер преодолеет порог в 1ГВт. ASIС-чипы существенно дешевле, потребляют меньше энергии, но выполняют узкоспециализированные облачные вычисления только в рамках экосистемы AWS (Amazon). Соответственно, уже в 1 квартале 2026 года мы увидим, сможет ли AGI появится на 1 млн ASIC-чипах Trainium, что, по данным epoch.ai, эквивалентно вычислительной мощности 690 тыс. GPU H100.
Нестандартное решение нашёл и Павел Дуров, который 29 октября 2025 объявил о запуске Cocoon. Это проект на блокчейне TON, где владельцы GPU предоставляют вычислительную мощность для обучения AI и взамен получают крипту TON. Аналогичных, так называемых DePIN-проектов (Decentralized Physical Infrastructure Networks) много. Самые успешные из них io.net, Gonka братьев Либерман, Akash Network (AKT), Render (RNDR) и Aethir (ATH). Однако, если их объединить всех вместе, то на сегодня вряд ли получится собрать более 100 тыс GPU. Тем не менее, в блокчейне существует огромные перспективы, чтобы обогнать лидеров централизованного рынка ИИ. Например, если для обучения ИИ использовать вычислительные мощности сети Bitcoin 19-20 ГВт, где на сегодня 99% энергии тратится на вычисления для поддержания безопасности сети, то на первом этапе она сразу обгонит Microsoft, Meta* (признана экстремистской и её деятельность запрещена в РФ), Google, Amazon и Oracle по мощностям для обучения ИИ. Но шагов в этом направлении пока не делается.
Таким образом, сегодня строительство дата-центров для обучения AGI по значимости сравнивают с "Манхэттенским проектом" (тайная разработка США первой в мире ядерной бомбы в 40-х годах XX века). На текущий момент ближе всех к появлению AGI находятся xAi и Anthropic, которые в 1 квартале 2026 представят Grok 5 и Claude 5, обученные на гигаваттных мощностях. Илон Маск оценивает вероятность, что Grok 5 станет AGI в 10%. Соответственно, вероятность, что AGI появится в 1 квартале 2026 - 10%, в конце 2026 года - 20%, когда xAi и Anthropic преодолеют порог в 2ГВт. При этом, в 2027 году OpenAI и Meta* должны достроить свои 5-ти гигаваттные кластеры Stargate (OpenAI+Microsoft) и Hyperion (Meta*). Соответственно, вероятность появления искусственного интеллекта в 2027 году вырастает до 50%. А вот с дальнейшим масштабированием кластеров для создания сверхинтеллекта или ASI (artificial superintelligence) могут возникнуть проблемы из-за дефицита электроэнергии, воды для питания и охлаждения дата-центров. Однако, у разработчиков ИИ есть элегантное решение, как преодолеть и это препятствие. О нём подробно расскажем в следующем выпуске
* признана экстремистской и её деятельность запрещена в РФ