Новый трансформатор: быстрее и эффективнее стандартных моделей
arXiv cs.CL · 29 Jun 2026
Махеш Годаварти представил новую архитектуру нейронной сети — context-ready transformer. В отличие от стандартных трансформаторов, эта модель предварительно контекстуализирует каждый элемент текста (токен) перед его обработкой. Во время генерации текста сеть объединяет данные о прошлом контексте с текущим токеном — благодаря этому токен попадает в блок уже «подготовленным». Модель показывает лучшие результаты по сравнению со стандартными трансформаторами: например, однослойная модель (D=1) при K=10 превосходит 6‑слойный трансформатор, ускоряя вывод в 2,6 раза. При этом архитектура особенно хорошо работает с длинными текстами и широким представлением данных.
🔗 Читать на сайте #arxivcscl #ИИ #технологии
