Компания «Яндекс» позиционирует нейросеть в качестве аналога ChatGPT, поэтому нам стало интересно сравнить эти инструменты. В качестве тестового спарринг-партнера для Алисы использовался ChatGPT-3,5.
Сначала идем в отечественный продукт и просим Алису написать короткий рассказ про утро. Результат вполне приличный.
Теперь просим продолжить текст. Здесь выясняется недостаток языковой модели — она не может поддерживать беседу. Каждый ответ не учитывает предыдущий контент и общий контекст беседы. Это серьезный недостаток для случаев, когда требуется большой объем текста.
Теперь переходим в ChatGPT и задаем аналогичный промпт. Получаем довольно объемный рассказ — больше чем выдал YaLM 2.0. Но если посмотреть внимательнее, качество текста ниже: есть несостыковки, язык повествования «кривой». В плане изложения на грамотном русском языке отечественная нейросетка выглядит предпочтительнее.
Просим нейросеть продолжить повествование. Она продолжает, причем даже с учетом оборванного на полуслове предложения. Это однозначно плюс.
В целом пока отечественная нейросеть проигрывает аналогу. Из преимуществ можно отметить только способность YaLM 2.0 писать на более грамотном русском языке. В остальном эта языковая модель пока уступает ChatGPT. Хотя команда «Яндекс» постоянно занимается обучением и развитием нейросети, а значит вскоре она станет значительно лучше.