Сегодня стало известно о новом стартапе, который может стать основой следующего поколения генеративного искусственного интеллекта. Компания Etched производит специализированные интегральные схемы (ASIC) «Transformer». Transformer представляет собой архитектуру для проектирования моделей глубокого обучения, разработанную Google, и в настоящее время является основой таких моделей, как GPT-4o от OpenAI в ChatGPT, Antropic Claude, Google Gemini и семействе Llama от Meta. Etched хотела создать ASIC на базе чипа под названием Sohu. Утверждается, что Sohu превосходит новейшие и лучшие решения NVIDIA на целый порядок. Если конфигурация сервера с восемью кластерами графических процессоров NVIDIA H100 обеспечивает модели Llama-3 70B со скоростью 25000 токенов в секунду, а новейший кластер с восемью графическими процессорами B200 «Blackwell» — 43000 токенов в секунду, то восемь кластеров Sohu способны выдавать 500000 токенов в секунду.
ASIC не только превосходит Hopper в 20 раз, а Blackwell — в 10 раз, но также показывает такое количество токенов в секунду, что позволяет создать совершенно новые приложения искусственного интеллекта, требующих вывода в реальном времени. Архитектура чипа Sohu компании Etched настолько эффективна, что может использоваться 90% FLOPS, в то время как традиционные графические процессоры могут похвастаться коэффициентом использования FLOP в 30-40%. Это приводит к неэффективности и растрате энергии впустую, которую Etched надеется решить. Учитывая, что разработка передовой модели стоит более одного миллиарда американских долларов, а затраты на оборудование измеряются десятками миллиардов долларов, наличие ускорителя, предназначенного для обеспечения работы конкретного приложения, может помочь в развитии ИИ.
