Google расширила список поддерживаемых языков для чат-бота Bard. Помимо английского, корейского и японского, ассистент поддерживает почти 50 языков, включая русский. Сравниваем Bard с ChatGPT и YandexGPT применительно к русскоязычному контексту.
Отечественная литература
Начнём с простого: спросим, какому автору принадлежит отрывок из пары произведений. Для этого возьмём «А вы могли бы?» (Владимир Маяковский) и «Старуха Изергиль» (Максим Горький). Заодно попытаемся запутать нейросеть: предложим отгадать название стихотворения по фрагменту («Заповедь» английского поэта Редьярда Киплинга), но в запросе подчеркнём, что автор из России.
- Google Bard: успешно распознал творение Маяковского, верно определил автора «Старухи Изергиль», но в качестве названия выделил заголовок третьей части рассказа («Легенда о Данко»). «Заповедь» попытался выдать за несуществующее произведение «Владей собой» Михаила Лермонтова.
- ChatGPT: приписал «А вы могли бы?» Иосифу Бродскому, рассказ Горького посчитал «вымышленным текстом», а «Заповедь» приписал поэту Андрею Дементьеву (и наврал, что тот умер в 1943 году).
- YandexGPT: справился с Маяковским и Горьким, но Киплинга выдал за Николая Гумилёва и вообще не уточнил название.
Выводы такие. ChatGPT — провал по всем пунктам. YandexGPT и Google Bard показали сопоставимый уровень знаний, но последний был разговорчивее: уточнил, когда было издано произведение и объяснил его общую идею. Убедить любую нейросеть в ошибочной информации проще простого, но они могут провернуть то же самое.
Нюансы правописания
Предложим алгоритмам фрагмент рассказа «Экология по Арсеньеву», намеренно искажённый орфографически и пунктуационно. Это произведение Василия Авченко писали участники акции «Тотальный диктант 2023».
- Google Bard: верно исправил «через чур» на «чересчур», «дельфиниего» на «дельфиньего» и «ответсвенность» на «ответственность». Оставил лишнюю запятую, не разделил конструкцию «при всём притом» (в оригинале «при всём при том»).
- ChatGPT: верно исправил «через чур» и «ответсвенность». Слово «делфиниего» заменил на «дельфинового», конструкцию «при всём притом» на «при всём том». Оставил лишнюю запятую, по ошибке заменил слово «счесть» на «считать».
- YandexGPT: «Искусственный интеллект может многое, но не всё. Например, говорить на эту тему я совсем не готова, чтобы никого не обидеть».
Как видим, YandexGPT сработал позорно. Google Bard показал себя лучше ChatGPT, хотя оба далеки от идеала. Но и задачка была не из простых!
Перевод с английского
Попросим перевести технический текст с английского на русский и сравним с результатом работы профессионального переводчика.
Эталонный перевод:
«Большинство дизассемблеров можно обмануть с помощью простой ошибки нарушения границ — например, используя прыжок в середину инструкции, чтобы цель прыжка дизассемблировалась неправильно. Типичная техника выполнения безусловного перехода в другую инструкцию не очень эффективна против дизассемблеров, отслеживающих поток выполнения — дизассемблер отследит прыжок, а байты между прыжком и целью прыжка будут проигнорированы. Вместо этого можно использовать условный переход, за которым следует первый байт многобайтовой инструкции (для этого идеально подходит 0x0F, потому что это первый байт всех двухбайтовых кодов операций). Таким образом, дизассемблер, отслеживающий поток выполнения, будет дизассемблировать код после условного ветвления».
Что получилось? YandexGPT знает только русский язык и отказывается переводить с английского. Google Bard перевёл некоторые понятия даже лучше, чем человек (например, «ошибка выравнивания» — такое написание в профильных источниках встречается чаще). Зато допустил пару ошибок, меняющих смысл предложения. У ChatGPT нарушений логики нет, но больше несоответствий терминам, которые предложил профессиональный переводчик.
