Найти в Дзене
Цифровая Переплавка

tinygrad и tinybox: как Джордж Хоц строит антимонополию на рынке ML-железа

Пока NVIDIA купается в триллионной капитализации, а облачные провайдеры поднимают цены на GPU-инстансы, один дерзкий стартап из Сан-Диего продаёт готовые ML-станции за $12 000 и пишет фреймворк, который обещает быть быстрее PyTorch. Встречайте tiny corp — компанию, которая хочет «коммодитизировать петафлоп и сделать ИИ доступным для всех». И нет, это не очередной пустой питч — за проектом стоит Джордж Хоц, человек, который в 17 лет первым в мире взломал iPhone. Для тех, кто не знаком: Джордж Хоц (geohot) — это своего рода анфан террибль технологической индустрии. В 2007 году он хакнул iPhone, позволив использовать его с любым оператором, а не только AT&T. Потом взломал PlayStation 3, за что Sony подала на него в суд (и проиграла в PR-битве). Затем он основал comma.ai — стартап, делающий открытую систему автопилота для обычных автомобилей (openpilot). И вот теперь — tiny corp с двумя продуктами: фреймворком tinygrad и железом tinybox. Важный момент: tinygrad уже используется в продакшен
Оглавление

Пока NVIDIA купается в триллионной капитализации, а облачные провайдеры поднимают цены на GPU-инстансы, один дерзкий стартап из Сан-Диего продаёт готовые ML-станции за $12 000 и пишет фреймворк, который обещает быть быстрее PyTorch. Встречайте tiny corp — компанию, которая хочет «коммодитизировать петафлоп и сделать ИИ доступным для всех». И нет, это не очередной пустой питч — за проектом стоит Джордж Хоц, человек, который в 17 лет первым в мире взломал iPhone.

Кто такой Джордж Хоц и почему ему стоит верить

Для тех, кто не знаком: Джордж Хоц (geohot) — это своего рода анфан террибль технологической индустрии. В 2007 году он хакнул iPhone, позволив использовать его с любым оператором, а не только AT&T. Потом взломал PlayStation 3, за что Sony подала на него в суд (и проиграла в PR-битве). Затем он основал comma.ai — стартап, делающий открытую систему автопилота для обычных автомобилей (openpilot). И вот теперь — tiny corp с двумя продуктами: фреймворком tinygrad и железом tinybox.

Важный момент: tinygrad уже используется в продакшене. Он работает внутри openpilot, заменяя проприетарный Qualcomm SNPE для запуска моделей вождения на чипе Snapdragon 845. То есть это не академическое упражнение — на этом фреймворке реальные машины ездят по реальным дорогам.

tinygrad: три операции вместо тысячи

Философия tinygrad радикальна в своей простоте. Любая нейросеть, какой бы сложной она ни была, декомпозируется до трёх типов операций:

⚙️ ElementwiseOps — поэлементные операции над тензорами: сложение, умножение, корень, логарифм, условный выбор. Берём один, два или три тензора — применяем функцию к каждому элементу

⚙️ ReduceOps — операции свёртки: сумма, максимум. На вход большой тензор, на выходе — маленький

⚙️ MovementOps — виртуальные перемещения данных: reshape, permute, expand. «Виртуальные» — ключевое слово: данные физически не копируются, а отслеживаются через ShapeTracker

И всё. Три типа. Никаких отдельных реализаций свёрток и матричных умножений — они собираются из этих примитивов. На сайте tinygrad это подано с фирменной дерзостью: «Но где ваши CONVы и MATMULы? Читайте код, чтобы разгадать эту загадку».

За счёт чего tinygrad обещает обогнать PyTorch? Три технических козыря:

🧩 Компиляция уникальных ядер — для каждой операции генерируется специализированное вычислительное ядро, оптимизированное под конкретные размерности тензоров. PyTorch чаще использует обобщённые ядра из cuDNN/cuBLAS

🧩 Ленивые вычисления — все тензоры в tinygrad «ленивые» (lazy). Пока вы не запросите результат явно, ничего не считается, что позволяет агрессивно склеивать (fuse) операции и минимизировать обращения к памяти

🧩 Минимальный бэкенд — кодовая база на порядок меньше, чем у PyTorch. Это значит, что оптимизация одного ядра ускоряет всё. Нет слоёв абстракции, в которых теряется производительность

Пока tinygrad честно признаёт, что для большинства задач он ещё не быстрее PyTorch. Критерий выхода из альфы — воспроизведение стандартного набора научных статей на одной NVIDIA GPU вдвое быстрее PyTorch. Обещанный срок — Q2 следующего года.

tinybox: что за железо и почему оно интересно

А теперь к самому вкусному — железу. tiny corp продаёт три конфигурации, и их линейка выглядит как прогрессия от «серьёзная рабочая станция» до «мини-дата-центр в контейнере»:

Источник: https://tinygrad.org/#tinybox
Источник: https://tinygrad.org/#tinybox

tinybox red v2 — «народный» ML-компьютер

💰 $12 000 — за машину с 4× AMD RX 9070XT, 778 TFLOPS FP16, 64 ГБ GPU RAM и 2 ТБ быстрого NVMe

Это RDNA-архитектура AMD, что само по себе интересно: большинство ML-рынка зациклено на NVIDIA, а здесь — сознательная ставка на конкурента. tinybox red участвовал в MLPerf Training 4.0 и, по заявлениям tiny corp, показал конкурентные результаты против машин, стоящих в 10 раз дороже. Шум — менее 50 дБ, что сравнимо с обычным разговором. Можно поставить в офис, и коллеги не убьют.

tinybox green v2 Blackwell — для серьёзного обучения

💰 $65 000 — 4× NVIDIA RTX PRO 6000 Blackwell, 3086 TFLOPS FP16, 384 ГБ GPU RAM

Тут уже Blackwell-архитектура, PCIe 5.0, RAID-массив на 4 ТБ с пропускной способностью чтения почти 60 ГБ/с. Это машина, которая в одиночку может обучать модели среднего размера или инференсить действительно большие. Единственный минус — 65 дБ на расстоянии 10 метров: это уже ощутимый шум, скорее для серверной.

exabox — безумие в контейнере

💰 ~$10 000 000 (ожидается в 2027) — 720× RDNA5 GPU, почти 26 ТБ GPU RAM, ~1 EXAFLOP FP16

Это 20-футовый контейнер весом 9 тонн, потребляющий 600 кВт, с требованием «бетонная плита» вместо «стойка». По сути — маленький дата-центр, который вся система tinygrad видит как один гигантский GPU. Цифры впечатляют: 1244 ТБ/с пропускной способности GPU-памяти, 480 ТБ RAID, 3.2 ТБ/с на масштабирование. Если tiny corp удастся реализовать обещанное — это будет один из самых плотных по вычислениям объектов на рынке.

Почему это важно: контекст рынка

Чтобы понять значение tinybox, нужно посмотреть на рынок ML-железа в целом. Сегодня у вас по сути три пути:

🌐 Облако — удобно, но дорого на длинной дистанции и создаёт зависимость от провайдера. Час на A100 в AWS стоит ощутимых денег, а обучение серьёзной модели занимает недели

🖥️ Собрать самому — дешевле, но мучительно: совместимость, драйверы, охлаждение, оптимизация софта. Классический «сэкономил на железе — потерял на зарплате инженера»

🏢 NVIDIA DGX / корпоративные решения — работает прекрасно, стоит как квартира в Москве

tinybox пытается занять нишу между вторым и третьим вариантом: готовое, протестированное решение с предустановленной Ubuntu 24.04 и оптимизированным софтом — за цену подержанного автомобиля (в случае red) или нового (в случае green). При этом политика tiny corp подкупает своей прямолинейностью: никакой кастомизации, только wire transfer, никаких онбординг-форм для закупочных отделов. «Если вы не можете заказать через сайт — простите, мы не сможем помочь». Для корпоративного мира это дикость, но для стартапа — способ держать цены и качество.

Моё мнение

Я вижу в tiny corp одну из самых интересных ставок на рынке ML-инфраструктуры. И вот почему:

Рынок ИИ-железа сейчас чудовищно монополизирован. NVIDIA контролирует ~80% рынка GPU для ML, и это отражается на ценах и условиях. Любой проект, который серьёзно работает над альтернативой — будь то на уровне софта (tinygrad vs PyTorch/CUDA) или железа (AMD/RDNA в tinybox red vs NVIDIA в DGX) — объективно полезен для всей экосистемы.

При этом у tiny corp есть риски, которые нельзя игнорировать. tinygrad всё ещё в альфе, и обещание «2× быстрее PyTorch» пока именно обещание. exabox с его 720 GPU и единым программным образом «одного GPU» — это колоссальная инженерная задача, которая может легко сдвинуться по срокам. А ставка на AMD RDNA5 означает, что экосистема вокруг ROCm (AMD-аналог CUDA) должна дозреть, что пока происходит не так быстро, как хотелось бы.

Но Джордж Хоц — из тех людей, которые уже неоднократно делали то, что другие считали невозможным. И даже если tinygrad не станет «убийцей PyTorch», сам факт существования конкурентоспособной альтернативы толкает весь рынок вперёд.

Петафлоп действительно пора коммодитизировать. И если кто-то может это сделать через чистую дерзость и хороший код — tiny corp в списке главных кандидатов.

Источники

📎 Официальный сайт tiny corp / tinygrad: https://tinygrad.org

📎 Раздел продуктов tinybox: https://tinygrad.org/#tinybox

📎 GitHub-репозиторий tinygrad: https://github.com/tinygrad/tinygrad

📎 Страница вакансий и баунти: https://tinygrad.org/#jobs