📝Автогенерация резюме из Google-документов

Google-документы теперь автоматически генерируют резюме их содержания. резюме содержания, когда они доступны. Хотя все пользователи могут добавлять сводки, автоматически созданные предложения в настоящее время доступны только бизнес-клиентам Google Workspace. 

Это достигается за счет ML-моделей понимания естественного языка (NLU) и генерации естественного языка (NLG), особенно Transformer и Pegasus. Популярным методом объединения NLU и NLG является обучение модели машинного обучения с использованием обучения от последовательности к последовательности, где входными данными являются слова документа, а выходными данными — итоговые слова. Затем нейронная сеть учится сопоставлять входные токены с выходными токенами. Ранние приложения парадигмы последовательности к последовательности использовали рекуррентные нейронные сети (RNN) как для кодировщика, так и для декодера.

Внедрение Transformers обеспечило многообещающую альтернативу RNN благодаря внутреннему вниманию для лучшего моделирования длинных входных и выходных зависимостей, что имеет решающее значение при резюмировании документов. Тем не менее, эти модели требуют больших объемов размеченных вручную данных для достаточного обучения, поэтому одного появления Transformers было недостаточно, чтобы значительно продвинуться вперед в области суммирования документов.

Комбинация Transformers с самоконтролируемой предварительной подготовкой (BERT, GPT, T5) привела к крупному прорыву во многих задачах NLU, для которых доступны ограниченные размеченные данные. В предварительном обучении с самоконтролем модель использует большие объемы немаркированного текста, чтобы изучить общие возможности понимания языка и генерации. Затем, на последующем этапе тонкой настройки, модель учится применять эти способности к конкретной задаче, такой как подведение итогов или ответы на вопросы.

Работа Pegasus продвинула эту идею еще на один шаг вперед, введя предтренировочную цель, приспособленную к абстрактному обобщению. В предварительном обучении Pegasus, также называемом прогнозированием пробелов в предложениях (GSP), полные предложения из немаркированных новостных статей и веб-документов маскируются от входных данных, и модель требуется для их восстановления в зависимости от оставшихся немаскированных предложений. В частности, GSP пытается замаскировать предложения, которые считаются важными для документа, с помощью различных эвристик, чтобы сделать предварительную тренировку как можно ближе к задаче подведения итогов. Компания Pegasus добилась самых современных результатов на разнообразном наборе наборов данных для суммирования. 

Используя преимущества Transformer и Pegasus, исследователи Google AI тщательно очистили и отфильтровали данные тонкой настройки, чтобы они содержали обучающие примеры, которые были более последовательными и представляли связное определение резюмирующего текста. Несмотря на уменьшение количества обучающих данных, это привело к более качественной модели. Затем была решена проблема обслуживания высококачественной модели в производстве. Хотя версия Transformer архитектуры кодер-декодер является доминирующим подходом к обучению моделей для задач последовательного преобразования последовательностей, таких как абстрактное суммирование, она может быть неэффективной и непрактичной для использования в реальных приложениях. Основная неэффективность связана с декодером Transformer, где токен выходной сводки генерируется последовательно посредством авторегрессионного декодирования. Процесс декодирования становится заметно медленнее, когда сводки становятся длиннее, поскольку декодер обрабатывает все ранее сгенерированные токены на каждом этапе. RNN представляют собой более эффективную архитектуру для декодирования, поскольку при использовании предыдущих токенов отсутствует внутреннее внимание, как в модели Transformer.

После переноса знаний из большой модели в более эффективную модель меньшего размера, чтобы преобразовать модель Pegasus в гибридную архитектуру кодировщика Transformer и декодера RNN, для повышения эффективности было уменьшено количество слоев декодера RNN. В полученной модели улучшены задержки и объем памяти, сохранив исходное качество. 

https://ai.googleblog.com/2022/03/auto-generated-summaries-in-google-docs.html