113 подписчиков

Модель Grok 2 догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15.000 графических процессоров

xAI запустила Colossus — работающий на базе 100.000 графических процессоров Nvidia H100

Colossus был построен за 122 дня и, как планируется, вскоре его размер удвоится до 200.000 графических процессоров (50.000 H200)

Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем

А за этой точкой будет ответ:

• замедлится (например, из-за высокой стоимости вычислений)

• остановится (из-за архитектурных ограничений моделей)

• пойдет дальше (и тогда, привет ИИ сингулярности)

OpenAI предполагали достичь этой точки в 2027 году

Colossus на 2 года раньше

Около минуты

4 сентября 2024