Во время обучения исследователи предоставили Toolformer небольшой набор примеров, демонстрирующих использование каждого API, а затем предложили составить перечень потенциальных вызовов API для большого массива данных языкового моделирования.3DNews
Предыдущие языковые модели нуждались в большом количестве аннотаций программистов или ограничивались использованием внешних инструментов под конкретные задачи.3DNews
Toolformer основан на предварительно обученной модели GPT-J с 6,7 млрд параметров.3DNews
По данным исследователей, производительность Toolformer выше, чем у гораздо более крупной модели GPT-3, которая содержит 175 млрд параметров.3DNews