Новость о том, что OpenAI недовольна частью новых чипов Nvidia и ищет альтернативы, на первый взгляд кажется странной. Nvidia — безусловный король ИИ-железа, её ускорители стоят почти во всех дата-центрах, где обучают большие модели. Но если копнуть глубже, становится ясно: речь идёт не об обучении, а о выводе, так называемом inference. Сегодня ИИ — это уже не лабораторные эксперименты. Это миллионы запросов в секунду, постоянная нагрузка и огромные счета за электричество и вычисления. И вот тут выясняется неприятная вещь: чипы, идеально подходящие для обучения моделей, не всегда оптимальны для их повседневной работы с пользователями. Они мощные, универсальные — и при этом дорогие и прожорливые. OpenAI сейчас находится в точке, где эффективность важнее абсолютной мощности. Каждый ответ ChatGPT — это деньги. И если можно обрабатывать те же запросы быстрее, дешевле и с меньшим энергопотреблением, логично начать искать альтернативы. Отсюда интерес к специализированным чипам под inference
OpenAI ищет альтернативы Nvidia. И это тревожный сигнал для всего рынка ИИ
3 февраля3 фев
1 мин