Найти в Дзене
TehnObzor

Самый мощный мини-суперкомпьютер Tiiny AI – Запуск LLM 120 млрд параметров локально и без GPU

Американский deep-tech стартап Tiiny AI вывел на рынок устройство, которое, похоже, собирается переписать правила игры в индустрии искусственного интеллекта. Речь о Pocket Lab — персональном суперкомпьютере, который умещается на ладони, но при способен «тянуть» большие языковые модели (LLM) полностью автономно, без облачных серверов. Гаджет уже успел попасть в Книгу рекордов Гиннесса как самый мощный миниатюрный компьютер в своём классе, а его главная миссия — вернуть пользователю контроль над данными и избавить от «цифрового поводка» дата-центров. Внешне новинка до боли напоминает привычный внешний аккумулятор, однако внутри скрывается начинка, позволяющая локально обрабатывать модели с 120 млрд параметров. И это, заметьте, без использования громоздких дискретных видеокарт (GPU) или массивных систем охлаждения. Официальный анонс состоялся 10 декабря, став своего рода ответом на запрос рынка о приватности вычислений. Читайте: NVIDIA DGX Spark – Самый маленький в мире AI-суперкомпьютер
Оглавление

Американский deep-tech стартап Tiiny AI вывел на рынок устройство, которое, похоже, собирается переписать правила игры в индустрии искусственного интеллекта. Речь о Pocket Lab — персональном суперкомпьютере, который умещается на ладони, но при способен «тянуть» большие языковые модели (LLM) полностью автономно, без облачных серверов.

Гаджет уже успел попасть в Книгу рекордов Гиннесса как самый мощный миниатюрный компьютер в своём классе, а его главная миссия — вернуть пользователю контроль над данными и избавить от «цифрового поводка» дата-центров.

Внешне новинка до боли напоминает привычный внешний аккумулятор, однако внутри скрывается начинка, позволяющая локально обрабатывать модели с 120 млрд параметров. И это, заметьте, без использования громоздких дискретных видеокарт (GPU) или массивных систем охлаждения.

Официальный анонс состоялся 10 декабря, став своего рода ответом на запрос рынка о приватности вычислений.

Читайте: NVIDIA DGX Spark – Самый маленький в мире AI-суперкомпьютер мощностью 1000 трлн операций

Технологический суверенитет в кармане

В Tiiny AI не скрывают амбиций: их продукт позиционируется как прямая альтернатива традиционной архитектуре вычислений.

-2

Аргументы у разработчиков весомые: здесь и вопросы экологии (облачные вычисления потребляют колоссальные ресурсы), и растущие счёта за электроэнергию, и, разумеется, постоянные риски утечек информации с удалённых серверов.

«Облачный ИИ, безусловно, обеспечил гигантский скачок прогресса, но цена этому — наша уязвимость и зависимость от инфраструктуры, — довольно категорично высказался Самар Бходж (Samar Bhoj), директор по стратегии выхода на рынок (GTM) Tiiny AI.

— С помощью Pocket Lab мы хотим доказать: интеллект не должен быть прерогативой бетонных коробок дата-центров, он должен принадлежать конкретным людям. Это лишь первый шаг к тому, чтобы сделать передовые технологии по-настоящему личными и приватными».

Сценарии использования и безопасность

Целевая аудитория у гаджета вырисовывается весьма пёстрая: от программистов и исследователей данных до контент-мейкеров.

-3

Устройство заточено под серьёзные задачи — оно поддерживает сложные логические цепочки рассуждений (chain-of-thought), глубокий контекстный анализ и запуск автономных агентских процессов. Важнейший нюанс: для всего этого не нужен интернет.

Инженеры сделали особый упор на безопасности. Поскольку данные не покидает периметр устройства, переписка, документы и персональные настройки защищены шифрованием банковского уровня.

Разработчики уверяют, что девайс идеально закрывает «золотой стандарт» повседневных задач, оперируя моделями от 10 до 100 млрд параметров (что покрывает около 80% реальных кейсов).

При необходимости система масштабируется до уровня GPT-4 (120 млрд параметров), обеспечивая впечатляющую для карманного формата производительность.

«Железо» и архитектура

Под скромным корпусом скрывается 12-ядерный процессор на архитектуре ARMv9.2 с теплопакетом (TDP) 65 Вт.

-4

Впрочем, секрет эффективности здесь кроется не столько в «кремнии», сколько в оптимизации софта. Чтобы добиться производительности уровня GPU на таком энергопотреблении, в Tiiny AI применили две любопытные технологии.

  1. Во-первых, это TurboSparse — алгоритм, который, словно опытный дирижёр, активирует при обработке запроса только необходимые нейроны, отсекая лишнее и снижая нагрузку без потери качества.
  2. Во-вторых, используется Powerinfer — движок с открытым исходным кодом (у проекта, кстати, уже более 8 тысяч звёзд на GitHub). Он грамотно распределяет задачи между центральным процессором (CPU) и нейрочипом (NPU), выжимая максимум из доступных ресурсов.

Экосистема и доступность

Примечательно, что стартап не стал запирать пользователей в «золотую клетку» проприетарного ПО.

-5

Напротив, ставка сделана на открытую экосистему. Популярные open-source модели, как Llama, Qwen, DeepSeek, Mistral или Phi, устанавливаются буквально в один клик. То же касается и настройки ИИ-агентов, включая OpenManus и ComfyUI.

Компания обещает не оставлять продукт без поддержки, регулярно выпуская обновления софта и прошивки «по воздуху».

Пока, правда, мы видели лишь анонс: полноценная коммерческая премьера и демонстрация всех возможностей вживую запланированы на выставку CES, которая традиционно пройдёт в январе 2026 года.

Остаётся дождаться зимы, чтобы проверить, соответствует ли реальность этим смелым обещаниям.

Хочу первым узнавать о ТЕХНОЛОГИЯХ – ПОДПИСАТЬСЯ на Telegram

Читать свежие обзоры гаджетов на нашем сайте – TehnObzor.RU