🤖 TINYAGENT: КАК МАЛЕНЬКАЯ МОДЕЛЬ ПЕРЕГОНЯЕТ GPT-4-TURBO НА ЛОКАЛЬНОМ EDGE
Знаешь, что круто? Большие языковые модели умеют управлять инструментами через обычный язык, но требуют облака — а это проблемы с приватностью и связью. Представь, если такой помощник работал бы прямо на твоём устройстве?
Важно потому, что локальное исполнение — это конфиденциальность, минимальные задержки и работа офлайн. Мы показали, что маленькая модель TinyAgent-1.1B (1 млрд параметров) обученная правильно, может лучше GPT-4-Turbo в умении выстраивать вызовы функций (например, создаёт событие в календаре, вызывая нужные скрипты).
Как? Мы собрали 80К «планов вызовов функций» — задача: понять, какие команды запускать, в каком порядке и с какими аргументами — и дообучили TinyLLaMA. Итог — успех с точностью до сложности оркестрации вызовов вырос с 12% до 79%! А 7B модель вообще переплюнула GPT-4-Turbo по точности.
Ещё круче — мы оптимизировали запросы за счёт Tool RAG: модель сама выбирает нужные инструменты, чтобы
