Исследователи из Apple и Университета штата Огайо разработали новую гибридную языковую модель. Как сообщает 9 to 5 Mac, она может генерировать тексты до 128 раз быстрее других существующих моделей. Исследовательская группа видит в этом подходе большой потенциал для экономии ресурсов.
Новый подход открывает большие возможности для генерации текста. Фото: MUNGKHOOD STUDIO / ShutterstockКрупные языковые модели, такие как ChatGPT, являются авторегрессионными. Они генерируют текст шаг за шагом – токен за токеном. Каждое новое слово основано на вводе пользователя и ранее сгенерированных словах. Таким образом, модель всегда «видит» весь текст на данный момент и на его основе вычисляет, как его можно логически продолжить. Этот процесс обеспечивает высокую связность (по сути, качество текста), но сам процесс создания материала сравнительно медленный, поскольку каждое слово должно генерироваться одно за другим.
Так называемые диффузионные модели используют другой подход. До сих пор они использовались в основном для генерации изображений. Эти модели также не создают весь контент сразу, но могут генерировать несколько токенов параллельно и улучшать их в течение множества небольших итераций, пока результат не станет осмысленным и грамматически правильным. Хотя этот подход обычно даёт высококачественные результаты, он также требует больших вычислительных затрат, поскольку в зависимости от запроса могут потребоваться сотни или даже тысячи шагов.
Модели Flow Matching — это дальнейшее развитие ИИ. Они направлены на сокращение длительного итерационного процесса диффузионных моделей. Вместо того, чтобы работать шаг за шагом над готовым текстом, модели Flow Matching обучаются генерировать желаемый текст за один проход.
В своей статье исследователи из Apple и Университета штата Огайо описывают новую модель, называемую Few-Step Discrete Flow-Matching (FS-DFM). Этот подход сочетает в себе точность диффузионных моделей с эффективностью метода Flow Matching. Особенность FS-DFM заключается в том, что для генерации текстовых фрагментов, качественно сопоставимых с моделями, требующими более тысячи шагов, требуется всего восемь этапов уточнения. Это может значительно ускорить генерацию сложных текстов.
По сравнению с известными моделями, FS-DFM смогла создавать более точные и качественные тексты даже при значительно меньшем количестве параметров. По сравнению с другими распространёнными моделями, новая модель оказалась примерно в 128 раз быстрее.
📃 Читайте далее на сайте
Intel оснастит ускоритель Crescent Island чипом базе архитектуры Xe3P и 160 ГБ памяти LPDDR5X
Рост заказов на чипы ИИ может сделать NVIDIA главным клиентом TSMC