Google представила T5Gemma 2: Модель с большим контекстом

Компания Google представила T5Gemma 2 – обновленную версию модели T5, предназначенную для работы с текстом и изображениями. Основное улучшение заключается в повышении эффективности обработки длинного контекста и мультимодальных задач.

Разработчики внедрили связанные векторные представления слов (tied word embeddings) для энкодера и декодера, а также объединили механизмы self-attention и cross-attention в единый слой. Это позволило уменьшить использование памяти и ускорить обработку больших объемов данных.

T5Gemma 2 доступна в трех вариантах: с 270 миллионами, 1 миллиардом и 4 миллиардами параметров, что делает ее применимой как для научных исследований, так и для промышленных приложений. Модель поддерживает контекст до 128 000 токенов, значительно расширяя возможности по обработке больших документов, длительных диалогов и сложных мультимедийных данных. Кроме того, T5Gemma 2 поддерживает 140 языков и умеет анализировать изображения, обеспечивая мультимодальное понимание информации.

В ходе тестирования новая версия T5Gemma продемонстрировала превосходство над предыдущей Gemma 3 в задачах, связанных с длинным контекстом, программированием и мультимодальным анализом. Это выражается в заметном увеличении точности и стабильности.

T5Gemma 2 уже доступна для исследователей на платформах Hugging Face и Kaggle. Google акцентирует внимание на эффективности, масштабируемости и мультимодальности модели, подчеркивая ее важность для современных проектов в области искусственного интеллекта.

В итоге, T5Gemma 2 – это еще один шаг на пути к созданию ИИ-моделей, способных обрабатывать огромные массивы данных, понимать различные типы информации и решать сложные задачи. Ну, как будто у нас их мало, правда?