Мне кажется, сейчас в запуске локальных моделей нет особого смысла, если у вас нет прямого и понятного ответа на вопрос "зачем?". Пытаться запускать модели локально — это дорого. Не "ну я там докуплю видеокарту", а скорее от 100к рублей на железо просто для того, чтобы запустить какую-нибудь простую модель. И результат все равно, скорее всего, будет кратно хуже, чем у любой нормальной облачной модели по подписке. Почему же тогда я занимаюсь этими расточительными страданиями? Для начала мне это просто интересно. Но есть и нормальные причины в моем случае: Во-первых, мне за это платят напрямую...