390 подписчиков
Начинают появляться первые ASIC чипы для работы с AI, которые в десятки раз быстрее GPU
Sohu - первый в мире специализированный чип для современной архитектуры transformers, на базе которой разработано большинство нейросетей. Производительность Sohu составляет 500000 токенов в секунду для Llama 3 70B. При этом, данные чипы дешевле чем профессиональные GPU B200 (наследники Nvidia H100) и быстрее их в 20 раз.
Sohu поддерживает только генерацию ответов, будь то Llama или Stable Diffusion 3. Sohu поддерживает все сегодняшние модели (Google, Meta, Microsoft, OpenAI, Anthropic и т. д.)
Около минуты
26 июня 2024