Tool-Former: языковая модель, меняющая правила игры

Поскольку языковые модели продолжают развиваться, в игру вступил новый игрок. Tool-Former — это языковая модель, предназначенная для самообучения и использования инструментов, чтобы превзойти более крупные модели требований в определенных последующих задачах. Что отличает Tool-Former от конкурентов, так это его способность получать доступ к гораздо большему набору инструментов, что делает его революционным в мире языковых моделей.

Сила интеграции

Одним из наиболее интересных аспектов Tool-Former является его возможность интеграции с другими языковыми моделями. Например, представьте себе возможности, которые могут открыться, если Tool-Former интегрируется с ChatGPT. Интеграция этих двух моделей создаст для пользователей массу возможностей, позволяя им с легкостью получить доступ к широкому спектру инструментов.

Проблема с предыдущими инструментами

По словам исследователей, предыдущие инструменты требовали большого количества человеческих аннотаций или ограничивали использование внешних инструментов для конкретных задач. Это препятствовало использованию языковых моделей для более широких инструментальных приложений.

Решение: формирователь инструмента

Благодаря подходу Tool-Former языковые модели теперь могут управлять различными инструментами и решать, какой инструмент использовать, когда его использовать и как его оптимизировать для принятия решений в автономном режиме. Tool-Former также может интегрировать результаты, полученные в процессе, на примерах, прогнозируя будущие токены, если задана какая-то модель базы данных.

Как это работает

Для точной настройки своей модели исследователи попросили языковую модель изучить несколько написанных человеком инструкций для каждого API. Затем они использовали около 25 тысяч примеров для каждого API для обучения модели. После изучения языка модель смогла автоматически и успешно использовать API этого системного калькулятора для вопросов и ответов, две разные поисковые системы, включая поиск в Википедии, систему перевода и календарь, в зависимости от текстовой задачи.

Результаты

Способность Tool-Former работать с инструментами значительно улучшила производительность моделей GPT-J с нулевым выстрелом. Всего модель имела 6,7 млрд параметров, что позволило ей превзойти гораздо более крупную модель ГПТ-3 со 175 млрд параметров в отдельных конкретных задачах. Несмотря на то, что у модели примерно на 775 миллионов параметров меньше, модель работала одинаково с инструментами и без них.

Ограничения

Хотя использование внешних инструментов может помочь в решении фундаментальных проблем больших языковых моделей, таких как надежное решение математических задач или проверка фактов, у Tool-Former все же есть свои ограничения. Например, инструменты нельзя использовать последовательно, используя выходные данные одного инструмента в качестве выходных данных для следующего.

Заглядывая вперед

Несмотря на то, что у Tool-Former все еще есть некоторые ограничения, возможности интеграции с другими языковыми моделями впечатляют. По мере того, как все больше компаний будут внедрять эту технологию, функциональность языковых моделей будет значительно расширяться, что принесет пользу всем.

В заключение, Tool-Former меняет правила игры в мире языковых моделей. Его возможность доступа к широкому спектру инструментов в сочетании с потенциалом интеграции делает его мощным инструментом как для исследователей, так и для разработчиков.