Мне кажется, сейчас в запуске локальных моделей нет особого смысла, если у вас нет прямого и понятного ответа на вопрос "зачем?". Пытаться запускать модели локально — это дорого. Не "ну я там докуплю видеокарту", а скорее от 100к рублей на железо просто для того, чтобы запустить какую-нибудь простую модель. И результат все равно, скорее всего, будет кратно хуже, чем у любой нормальной облачной модели по подписке. Почему же тогда я занимаюсь этими расточительными страданиями? Для начала мне это просто интересно. Но есть и нормальные причины в моем случае: Во-первых, мне за это платят напрямую. Рекламодатели платят за мои ролики на YouTube. Во-вторых, мне за это платят косвенно. После роликов про локальные модели ко мне приходят люди на платные консультации, чтобы я рассказал им, как бессмысленно запускать локальные модели. То есть сейчас я говорю вам это бесплатно :) В-третьих, нам в Wormsoft за это тоже платят косвенно. Люди смотрят материалы, приходят в наш облачный сервис ai.w