llama.cpp - это лёгкий, высокопроизводительный C/C++-фреймворк для запуска больших языковых моделей (LLM) локально - на ноутбуке, рабочей станции или сервере - без обязательной зависимости от облака. Проект изначально был создан для работы с моделями семейства Meta LLaMA, но сегодня поддерживает десятки архитектур. Главная идея: запустить современную LLM на обычном железе, используя квантизацию и оптимизации под CPU и GPU. Что такое llama.cpp и как он работает llama.cpp реализует: Работает напрямую с весами модели без PyTorch и Python-стека, что делает его: История создания llama...