105 подписчиков
⚡d-Matrix будет использовать технологию NVIDIA для масштабирования инференса искусственного интеллекта
Чип-стартап d-Matrix начнет использовать технологии NVIDIA для соединения серверов для искусственного интеллекта (ИИ), чтобы ускорить и масштабировать инфраструктуру для инференса (вывода).
По данным Reuters, речь идет о применении технологий межчипового и межсистемного соединения (chip-to-chip, system-to-system interconnect), которые позволяют связать вычислительные узлы в единую высокоскоростную среду для искусственного интеллекта.
🧠 Что происходит
d-Matrix фокусируется на инференсе больших языковых моделей (LLM), и ключевая проблема здесь — не столько графические процессоры (GPU), сколько:
• скорость обмена данными между серверами;
• задержки (latency) при распределенном инференсе;
• масштабирование моделей на кластеры;
• эффективность межчиповых соединений.
Зачем здесь NVIDIA
Использование технологий NVIDIA позволяет:
• объединять графические процессоры в единые вычислительные домены;
• снижать задержку между узлами;
• повышать пропускную способность (throughput) инференса;
• строить более плотные кластеры для искусственного интеллекта.
📈 Главный тренд
Инфраструктура ИИ все сильнее смещается от отдельных серверов с графическими процессорами к связанным вычислительным системам (AI fabric).
Сегодня конкуренция в инфраструктуре ИИ связана не столько с мощностью графических процессоров, сколько с тем, как быстро и эффективно узлы этой инфраструктуры «разговаривают» друг с другом.
1 минута
3 дня назад