Источник изображения: wccftech.com
Илон Маск раскрывает некоторые подробности о своём стартапе искусственного интеллекта xAI и о том, как компания готовится к запуску новой LLM модели следующего поколения. В своём последнем твите Маск объявил, что модель Grok 3 была обучена с использованием массивного кластера, состоящего из 100 000 графических процессоров NVIDIA H100 AI.
Эта новость представляется захватывающей и одновременно удивительной, поскольку использование такого количества высокопроизводительных графических процессоров для обучения ИИ-модели является беспрецедентным явлением. По слухам, модель GPT-4 компании OpenAI использует всего 40 000 графических процессоров NVIDIA A100.
Маск намекнул, что модель Grok 2, запуск которой запланирован на август, будет улучшением в плане обучения на интернет-данных, что, по его словам, создало много трудностей и было крайне трудоёмким процессом. Следующая модель Grok 3 будет основана на своих предшественниках и Маск предполагает, что она станет выдающимся продуктом для xAI.
Источник изображения: wccftech.com
Интересно, что стоимость обучения Grok 3 оценивается в 3 миллиарда долларов, учитывая использование графических процессоров NVIDIA H100. Кроме того, Маск планирует приобрести флагманские ускорители ИИ Blackwell B200 от NVIDIA, оцениваемые в 9 миллиардов долларов, что свидетельствует о масштабах инвестиций, осуществляемых в xAI.
Как отмечают эксперты, стартап Илона Маска в области искусственного интеллекта привлекает внимание своим масштабным подходом и может стать большим событием в сфере ИИ. С учётом того, что все предприятия Маска постоянно меняют технологический ландшафт, то и его последний проект xAI может изменить рынок ИИ-ботов.
