95 подписчиков
Оптические вычисления выходят в вывод (инференс): ожидается снижение энергопотребления до 90%
Британская компания Lumai представила оптические серверы для инференса, способные выполнять вычисления для больших языковых моделей (LLM) на уровне миллиардов параметров в реальном времени. При этом их энергопотребление на 90% ниже, чем у систем с графическими процессорами (GPU).
Альтернативные архитектуры вычислений постепенно выходят за пределы лабораторных экспериментов и, похоже, вскоре будут доступны для повседневного использования.
Почему это важно для рынка:
⚡ Появляются альтернативы выводу на графических процессорах (GPU)
В настоящий момент почти весь рынок инференса построен вокруг GPU, однако с появлением новые физических подходов ситуация изменится, а значит, поменяется и структура рынка.
🔋 Энергоэффективность становится ключевым конкурентным фактором
В инфраструктуре искусственного интеллекта стоимость энергии и охлаждения начинает конкурировать с производительностью.
🧠 Инновации уходят за пределы классического silicon-стека
Развитие искусственного интеллекта стимулирует не только новые графические процессоры (GPU), но и принципиально другие вычислительные технологии.
Главный тренд: вывод становится драйвером появления новых вычислительных архитектур и, что важно, не только кремниевых.
1 минута
11 мая