Для запуска нейросетей я пользуюсь LM Studio — это графическая оболочка над нейросетями с поддержкой API | Делать софт правильно