Tenstorrent — новый конкурент Nvidia в потребительском и серверном сегменте GPU.
У истоков компании Джим Келлер, архитектор микропроцессоров Apple, AMD, и Tesla, занимающийся этим уже 40 лет. Он был ведущим разработчиком чипа для автопилота Tesla, а также процессоров Athlon и Ryzen, позволивших AMD забрать у Intel ощутимую часть рынка.
Tenstorrent выпускают GPU на основе открытой модульной архитектуры RISC-V, с возможностью расширения набора инструкций под задачи и оптимизации разных AI моделей для запуска на их железе. Также эти GPU используют технологию network on chip для обмена данными между разными частями микросхемы с помощью сетевой архитектуры, что позволяет ускорить обработку данных и легко масштабироваться.
В отличие от Nvidia, аппаратные решения которых являются закрытыми для разработчиков, Tenstorrent полностью открывают в опенсорс программный стек, позволяя разработчикам получить доступ к железу на всех уровнях. Есть SDK для работы на софтверном уровне (TT-Buda), аппаратном (TT-Metalium), а также компилятор TT-Forge для работы с разными ML-фреймворками.
Продукты:
* Blackhole p100 ($999) — 28 ГБ GDDR6 // TDP 300 Ватт // активное охлаждение // 2-слотовая // PCIe 5 // ATX 3.1 // 16 RISC-V ядер и 120 Tensix ядер // без входа Ethernet.
* Blackhole p150 ($1399) — 32 ГБ GDDR6 // TDP 300 Ватт // активное или пассивное охлаждение // 2-слотовая // PCIe 5 // ATX 3.1 // 16 RISC-V ядер и 140 Tensix ядер // есть 4 Ethernet порта для объединения памяти нескольких видюх в общий пул.
* Wormhole n150 (от $999) — 12ГБ GDDR6 // TDP 160 Ватт // активное или пассивное охлаждение // 2 или 3-слотовая (зависит от охлада) // PCIe 4 // 72 Tensix ядра // есть 2 Ethernet порта и мосты а-ля SLI для объединения памяти нескольких видюх в общий пул.
* Wormhole n300 (от $1399) — 24ГБ GDDR6 // TDP 300 Ватт // активное или пассивное охлаждение // 2 или 3-слотовая (зависит от охлада) // PCIe 4 // 128 Tensix ядер // есть 2 Ethernet порта и мосты а-ля SLI для объединения памяти нескольких видюх в общий пул.
* TT-Quietbox Blackhole ($11 999) — рабочая станция с жидким охлаждением на базе 4 Blackhole p150 для запуска неквантованных 80B моделей или множества мельче. Внутри 128 ГБ GDDR6 // 48 RISC-V ядер и 480 Tensix ядер // 256 ГБ DDR5 // CPU AMD EPYC 8124P // 10 Гбитные Ethernet порты // 4 TB NVMe SSD.
* Есть ещё рабочая станция TT-Quietbox Wormhole ($15 000) с жидким охлаждением на базе 4 Wormhole n300 c 96 ГБ VRAM и TT-LoudBox тоже с 96ГБ VRAM, но воздушным охлаждением. Для корпоративных клиентов имеется сервер Tenstorrent Galaxy с 32 Wormhole n150 (384 ГБ VRAM) и рэковая стойка из 6 таких (2304 ГБ VRAM).
Можно погонять в облаке на Koyeb. Пока доступны только Wormhole n300 (24 ГБ) или 4xn300 (96 ГБ), причём ограниченное количество времени бесплатно. Но команда вручную апрувит доступ к ним на 2 недели, так что придётся подождать.
Есть живое сравнение n150 и 4090 на ламе 3.1 от Стаса. n150 выдаёт 26 токенов/сек, а 4090 уже 58 ток/сек, но цена первой $999, а второй значительно выше $2000 у него на видео. Так что по соотношению цена/токен получается весьма неплохо. И это ещё нет публичных тестов n300 и Blackhole серии. Надо кстати ещё иметь ввиду, что драйвера пока есть только на Ubuntu.
Из нейронок на данный момент в основном поддерживаются разные языковые модели (DeepSeek, QwQ, лама, итд). Я спросил в их дискорде про генерацию видео и картинок: сказали в тестовом режиме поддерживают SD 3.5... Так себе вариант конечно. Хотя на недавней презе показали, что Tensеorrent может гонять Mochi, что уже хорошо. Посмотрим, что будет дальше. Список готовых к запуску моделей у них на портале.
————————————————————
🔥 Создай своего цифрового двойника, оживи персонажа, или интегрируй бренд. Напиши — @AndreyBezryadin
