В четверг, 18 июля, компания OpenAI сообщила о выпуске новой уменьшенной версии языковой модели GPT-4o mini. В чат-боте ChatGPT она заменит модель GPT-3.5 Turbo. Уже сейчас она доступна бесплатным пользователям сервиса и обладателям платных тарифов ChatGPT Plus или Team. На следующей неделе она появится и в тарифе ChatGPT Enterprise.
GPT-4o mini представляет собой мультимодальную модель, как и её старшая версия, представленная в мае. Это означает, что здесь поддерживается ввод изображений. В будущем GPT-4o mini научится анализировать изображения, текст и аудио, а также будет уметь генерировать изображения.
GPT-4o mini поддерживает 128 тыс. токенов контекста и знания вплоть до октября прошлого года. Стоимость этой модели на 60% ниже по сравнению с GPT-3.5 Turbo, составляя 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов. Токены представляют собой фрагменты данных, используемые языковыми моделями ИИ для обработки информации.
В GPT-4o mini впервые применяется техника «иерархия инструкций», которая даёт одним командам приоритет над другими. Это затруднит использование модели для злоумышленников, которые хотят проводить атаки с инъекцией подсказок или джейлбрейков.
Производитель говорит о высоком уровне производительности в тестах, таких как MMLU (знания на уровне бакалавра) и HumanEval (кодирование). Впрочем, в реальной жизни полезность этих тестов может быть ограниченной.
OpenAI является не первым разработчиком, который представил уменьшенную версию уже существующей языковой модели. Такие уменьшенные модели решают более простые задачи по более низкой цене, не проводя глубокого анализа данных. Обычно они имеют меньше параметров и меньшую нейронную сеть, что не всегда негативно сказывается на точности результатов.
