Стартап Илона Маска xAI, работающий в сфере искусственного интеллекта (ИИ), недавно представил один из самых мощных суперкомпьютеров, предназначенных для обучения ИИ. Этот суперкомпьютер, названный Colossus, будет использоваться для обучения крупной языковой модели (LLM) компании, получившей название Grok, и является ответом на популярный ChatGPT. Эта модель будет доступна для платных пользователей X, но многие эксперты предполагают, что Grok в будущем найдет применение в гуманоидных роботах Tesla.
Команда xAI реализовала проект Colossus в рекордные сроки, установив около 100 000 ускорителей Nvidia H100 всего за 19 дней. Этот процесс обычно занимает несколько лет, но благодаря инновационному подходу и высоким инвестициям он был реализован в считанные месяцы. Генеральный директор Nvidia дал интервью по этому поводу, подчеркнув, что никогда ранее не видел подобных масштабов, называя проект «сверхчеловеческим» и «невероятным».
Маск не собирается останавливаться на достигнутом и уже планирует добавить еще 50 000 ускорителей H200 в ближайшие месяцы, что позволит удвоить текущие мощности суперкомпьютера. xAI вложила в этот проект несколько миллиардов долларов. Учитывая стоимость одного ускорителя H100 в $25 000, можно предположить, что около $2,5 миллиардов было потрачено исключительно на закупку этих чипов.