33 подписчика
#Яндекс представил третье поколение больших языковых моделей YandexGPT.
❗️ Первая из третьего поколения нейросетей — YandexGPT 3 Pro — уже доступна по API на сайте Yandex Cloud, в том числе в бесплатном демо-режиме. Кроме того, теперь появилась возможность дообучить новую нейросеть самостоятельно.
Для оценки качества работы новой нейросети разработчики использовали сразу несколько тестов. Например, YaMMLU_ru, локализованной версии международного бенчмарка MMLU (результаты этого тестирования показаны на картинке).
Также был разработан русскоязычный тест на базе бенчмарка IFEval — он проверяет, насколько ответы нейросети соответствуют заданному в запросе формату. Результаты показывают, что по сравнению с прошлым поколением качество ответов Yandex GPT 3 Pro улучшилось на 10%, а их консистентность увеличилась в два раза. Это значит, что модель лучше понимает, как отвечать на разные по формулировке, но одинаковые по сути запросы.
Около минуты
28 марта 2024