Я сейчас веду агентов на трёх моделях - Qwen 3.5 2B, 4B и 9B. Всё локально.
Честно говоря, когда первый раз запустил - не ожидал что будет так хорошо. Маленькие модели для агентских задач работают отлично. Не для всего, но для точечных задач - более чем.
👉 И вот что мне в них нравится
- Я не завишу ни от чьих серверов, ни от лимитов токенов, ни от того что завтра Anthropic или OpenAI поднимут цены вдвое. Запустил, настроил и при необходимости дообучил под свой проект - и все работает.
Выбор моделей сейчас огромный. Под каждую задачу можно подобрать своё. Нужно что-то узкое и специфическое - берёшь и тюнишь под себя. Это то, что с GPT-4 или Claude не сделаешь.
Большинство из нас придут к локальным моделям.
- Когда облачные подорожают до уровня когда половина ЗП будет уходить на подписки - все начнут смотреть на локальные варианты.
Лучше разобраться с этим сейчас пока нет давления.
💡 Кстати, я записал бесплатный урок на эту тему
- На нем собираем локальную базу данных с ИИ-поиском по своим документациям и файлам. Без облака и подписок.
Получить урок можно через бота: ССЫЛКА НА БОТА
#нейросети · @larchanka
