Представьте, что большие языковые модели вроде GPT-4 – это огромные заводы. Их «обучение» (тренировка) – это строительство завода. Но чтобы завод работал и выдавал продукцию (отвечал на ваши вопросы), нужны эффективные станки. Это этап инференса – когда модель уже обучена и ею пользуются миллионы людей. Сейчас эти «станки» часто делают на базе GPU (видеокарт). Но GPU – как швейцарские ножи: умеют многое, но для одной задачи (инференса) работают не идеально, потребляя кучу энергии. Корейская компания Rebellions (основана в 2020 году) решила создать специальные «станки» – нейронные процессоры (NPU), которые заточены именно под инференс. Их цель – сделать ИИ-вычисления быстрыми, дешёвыми и энергоэффективными. В 2024 году Rebellions слилась с Sapeon Korea (дочка SK Telecom) и теперь считается главным национальным ИИ-чипмейкером Южной Кореи. В компании работает ~280 человек, 80% из них – инженеры из SpaceX, Intel, Meta. Оценка стоимости – $1.4 млрд. Обычные GPU тратят много времени и энерги
АТОМ и REBEL: секретное оружие Кореи против энергетического кризиса ИИ
7 мая7 мая
2
3 мин