FunctionGemma + Unsloth: Создаём собственный агент с функциями инструментов
Google выпустил FunctionGemma, компактную версию Gemma на 270 миллионов параметров, специально разработанную для файн-тюнинга под задачи работы с инструментами (tool calling)
Это не диалоговая модель, а основа для создания агентов, способных взаимодействовать с тулами и АПИ, благодаря ее маленькому размеру, она может работать практически на любом устройстве, от смартфона до сервера
Технологический стек
1. Unsloth - инструмент для сверхбыстрого файн-тюнинга
- Оптимизирует LoRA-обучение
- Снижает потребление VRAM
- Поддерживает NVIDIA, AMD и Intel GPU
2. FunctionGemma - модель
- 270M параметров
- Специализация на tool calling
- Идеальна для edge-устройств
3. LM Studio - платформа для запуска моделей локально
- Удобный GUI интерфейс
- OpenAI-совместимое API
- Поддержка GGUF формата
Процесс обучения в 5 шагов
Шаг 1: Настройка Unsloth
Можно использовать Google Colab, готовый шаблон уже включает всё необходимое
Шаг 2: Файн-тюнинг
Шаблон проведёт вас через:
- Подготовку данных
- Обучение модели с оптимизированным LoRA
- Тестирование результатов
Шаг 3: Конвертация в GGUF
Два варианта:
- Вариант A: Нативная конвертация через Unsloth (Q8_0, F16, BF16)
- Вариант B: Сохранение merged-модели для локальной конвертации
Шаг 4: Импорт в LM Studio
Через CLI команду:
lms import <path/to/model.gguf>
Шаг 5: Запуск локального API
lms load <model identifier>
lms server start
Результаты: До и После
До обучения:
Модель не справлялась с простыми запросами и не могла использовать инструменты.
После обучения:
Модель успешно распознаёт необходимость использования инструментов и корректно их вызывает
результаты показаны после всего 10 минут обучения, для лучших результатов рекомендуется обучать минимум 1 час
скрины прикрепил к посту
LM Studio: работа с инструментами
