В последнее время большие языковые модели (LLM) стали невероятно популярны. Многие уже пользуются облачными сервисами, но все чаще возникает вопрос: а можно ли запустить такую нейросеть прямо у себя дома, на обычном компьютере? Ответ – да, и вариантов для этого немало. Разберемся, какие решения существуют, сколько ресурсов потребуется, как долго ждать генерации и, главное, насколько это сложно настроить. Зачем вообще запускать LLM локально? Прежде чем погружаться в технические детали, давайте разберемся,...

Локальный запуск языковых моделей (LLM) может быть полезным для разработки и тестирования проектов без доступа к облачным ресурсам или GPU. Для этой цели существуют несколько программных инструментов, таких как LM Studio и Jan. LM Studio предоставляет более обширные настройки для моделей, в то время как Jan обладает более удобным и приятным интерфейсом. Однако стоит отметить, что разработчики LM Studio решили проблему отсутствия AVX инструкций на процессорах без GPU, предоставив бета-релиз для их использования. Скачать этот релиз можно здесь. В LM Studio также доступна возможность совместной...