Маленькая коробка от AMD за 1500 долларов запускает модель на 235 миллиардов параметров прямо на столе

Маленькая коробка от AMD за 1500 долларов запускает модель на 235 миллиардов параметров прямо на столе

На презентации глава AMD Лиза Су подняла в одной руке мини ПК и запустила на нем вживую модель на 235 миллиардов параметров. Без дата центра, без облака, без арендованной видеокарты.

Секрет в чипе Ryzen AI Max+ 395. Это первый x86 процессор, где CPU и GPU делят одну общую память на 128 GB. Именно поэтому маленький корпус тянет модели, которым раньше нужна была серверная стойка.

Главное тут объем памяти под GPU. Из 128 GB под видеоядро на Linux можно отдать больше 110 GB. Для сравнения, у RTX 5090 это 32 GB, у RTX 4090 всего 24 GB. То есть памяти в три с лишним раза больше, в корпусе размером с толстую книгу.

На практике такая коробка уже крутит модель Qwen3 на 235 миллиардов параметров локально, со скоростью около 11 токенов в секунду.

Зачем это нужно? Пользователь сейчас платит за подписки. Claude Code Max, ChatGPT Pro, Cursor, Gemini, в сумме это тысячи долларов в год. Локальная коробка покупается один раз, дальше работает без оплаты за каждый запрос. Данные не уходят с вашей машины и никто не режет лимиты ночью.

Сейчас схема меняется, устанавливаете например Ollama, скачиваете модель, направляете на нее Claude Code через localhost. Интерфейс тот же, что и был, только теперь все считается у вас дома.

Важно понимать, это не замена облачным моделям один в один. Скорость ниже, чем у топовых сервисов и под самые большие модели все равно нужно подбирать конфигурацию. Но порог, за которым серьезный ИИ переезжает на личный стол, стал намного ниже.

@bykorolev