Atomic Chat позволяет запускать локально и полностью офлайн мощные ИИ-модели на потребительских устройствах, включая MacBook Air с 16 ГБ ОЗУ. Ключевая технология — метод сжатия TurboQuant от Google Research. Он снижает требования к оперативной памяти в 6 раз и ускоряет вычисления до 8 раз без заметной потери качества. Это достигается за счёт эффективного представления данных и встроенной коррекции ошибок. Atomic Chat использует llama.cpp и интерфейс jan, обеспечивая простой доступ к технологии. Пользователи могут запускать модели уровня Qwen3.5-9B с длинными промптами без обращения к облаку. • Работа полностью офлайн • Поддержка моделей с большими промптами • Доступно для macOS https://dzen.ru/id/5c0e38ff46ef5c00aaa80527
Atomic Chat запускает LLM на обычных ноутбуках
31 марта31 мар
1
~1 мин