Intel и SambaNova объявили о совместной «production-ready» архитектуре для AI-инференса, где разные этапы выполняет разное железо. Схема простая: GPU берут на себя «тяжёлый» старт с длинными промптами, SN50 ускоряет генерацию токенов, а Xeon 6 управляет агентами и всей оркестрацией. Компании нацелились на корпоративный сегмент. Они хотят закрыть широкий набор сценариев и отъесть долю у Nvidia и других игроков, которые сейчас доминируют в инференсе. Архитектура разделяет инференс на стадии и раскладывает их по типам вычислителей. Идея в том, что «prefill» и «decode» нагружают систему по-разному, и универсального ускорителя под всё сразу почти не бывает. ❗️ ПОДПИСЫВАЙСЯ НА НАШ КАНАЛ В ДЗЕНЕ И ЧИТАЙ КРУТЫЕ СТАТЬИ БЕСПЛАТНО Здесь важный акцент для Intel: в роли «мозга» системы выступают именно Xeon 6, а не CPU конкурентов. Для корпоративных заказчиков это часто критично, потому что вокруг x86 уже построены процессы и стек софта. Разделение инференса на prefill и decode напоминает то, как N
Intel и SambaNova собрали гетерогенную платформу для AI-инференса
3 дня назад3 дня назад
2 мин