В сентябре было представлено обновление языковой модели YandexGPT 2. Она уже применяется в Алисе и улучшает качество генерации, помогает с написанием текстов и структурированием информации. Обновление модели привело к существенному улучшению качества ответов. Давайте разбираться, какие обновления получил этот чат-бот.
Преимущества новой модели
Для начала важно понимать, что оценка моделей происходит в различных контекстах. Одна и та же модель может проявлять высокую производительность в одном сценарии, в то время как в другом оказываться менее эффективной. Вопрос заключается в том, как определить уровень общего интеллектуального превосходства.
Разработчики подошли к этой проблеме следующим образом: собрали 500 крайне разнообразных задач, чтобы оценить их разнообразие. Затем они предоставили как предыдущей, так и обновленной моделям эти задачи и проанализировали их ответы. Это позволит определить точные значения превосходства новой модели над старой. Если 2-я версия лучше справляется в большем количестве задач, то ее считают более интеллектуальной. YandexGPT 2 показала превосходство в 67 % случаев.
Понимание оценки модели в целом ясно. Но как она проявляет свои способности в рамках конкретных сценариев, которые чаще всего применяют пользователи? Чтобы выяснить это, все задачи разделили по группам, которые соответствуют разным сценариям. Далее сделали замер того, как изменяется качество ответов в каждом из них:
- текстовая генерация – отвечает лучше в 69 % случаев;
- анализ предоставленного текста и его пересказ – 68 %;
- генерация идеи и ее анализ – 66 %;
- изменение текста под определенный – 62 %;
- ответы на вопросы – 62 %.
Разработчики исследовали идеи и выбрали те, которые оказались наиболее полезными. Вот несколько из них:
- разработали классификатор для низкокачественного текста. Он может обнаруживать ошибки в кодировке, HTML-разметке, повторах предложений и т. д.;
- разработали классификатор для определения полезного текста, который выглядит хорошо и содержит ответы на запросы пользователей «Яндекс Поиска»;
- увеличили количество текстов с высокой цитируемостью;
- улучшили алгоритм по удалению дубликатов: теперь дубли составляют менее 0,5 % текстов;
- создали инструмент для оценки «фактовой полноты». Мы использовали реальные запросы, извлеченные из «Поиска», и измерили, какая часть из них получила ответ из претрейна. Удалось увеличить этот показатель с 70 % до 80 %.
Где попробовать
Новая модель доступна в устройствах «Яндекс Станция» и телевизорах с Алисой. Также можно пользоваться данной языковой моделью в приложениях и браузере «Яндекс». В поисковой системе также обновлен YandexGPT 2. Компания стремится интегрировать нейросеть во все сервисы, где она может быть востребована.
В целом это отличные результаты, которые показывают, что языковая модель постоянно развивается. Возможно, в ближайшем будущем ее можно будет использовать для улучшения качества продвижения сайтов.