Найти в Дзене

НеШедевры от Шедеврума или почему нейросеть Яндекса плохо говорит по-русски

Интересным получился опыт использования нейросети для создания картинок YandexART (приложение «Шедеврум»). Как мы знаем, «Яндекс» — это российская компания, осуществляющая серьезные, масштабные и, в том числе, новаторские проекты в отрасли информационных технологий.  Но вот почему российская нейросеть для создания картинок демонстрирует столь слабое знание российских реалий и, очевидно, работает «через посредника» – непонятно. То есть, сначала переводит запрос на английский язык и лишь затем генерирует изображение. Гораздо быстрее и точнее, кстати, она обрабатывает запросы сразу на английском языке. Если бы я не была переводчиком с английского языка, то многие результаты повергли бы меня в недоумение. Итак, давайте посмотрим, что не так с шедеврами от Шедеврум: Начнем с простого. Слова «балалайка» эта нейросеть просто не знает. Да и зачем ей русский народный музыкальный инструмент и один из символов русской культуры? Следующий запрос - «верба». Результат запроса озадачивает. Однако,

Чьи уши торчат у нашей нейросети?
Чьи уши торчат у нашей нейросети?

Интересным получился опыт использования нейросети для создания картинок YandexART (приложение «Шедеврум»).

Как мы знаем, «Яндекс» — это российская компания, осуществляющая серьезные, масштабные и, в том числе, новаторские проекты в отрасли информационных технологий. 

Но вот почему российская нейросеть для создания картинок демонстрирует столь слабое знание российских реалий и, очевидно, работает «через посредника» – непонятно. То есть, сначала переводит запрос на английский язык и лишь затем генерирует изображение. Гораздо быстрее и точнее, кстати, она обрабатывает запросы сразу на английском языке.

Если бы я не была переводчиком с английского языка, то многие результаты повергли бы меня в недоумение. Итак, давайте посмотрим, что не так с шедеврами от Шедеврум:

Начнем с простого. Слова «балалайка» эта нейросеть просто не знает. Да и зачем ей русский народный музыкальный инструмент и один из символов русской культуры?

Балалайка заметно эволюционировала
Балалайка заметно эволюционировала

Следующий запрос - «верба».

Так вот ты какая, веточка вербы
Так вот ты какая, веточка вербы

Результат запроса озадачивает. Однако, после небольшого исследования, всё оказалось вполне объяснимо. Нейросеть перевела слово «верба» как «willow» (неточный перевод, основное значение - ива), и выдала результат - некую американскую певицу по имени Willow Smith, видимо, потому, что в англоязычном сегменте это слово чаще употребляется применительно не к деревьям, а именно к данной знаменитости (небинарной персоны, кстати).

Ну, и раз речь зашла о Пасхе, давайте посмотрим, что предлагает нейросеть к Светлому празднику?

Пасхальный кролик и здание, напоминающее католическую церковь
Пасхальный кролик и здание, напоминающее католическую церковь

Согласно сайту Яндекса, «YandexART обучена на миллиарде специально отобранных красивых картинок». Возникает вопрос: кем же был отобран этот «миллиард красивых картинок», если у российской нейросети не нашлось изображения пасхального кулича и вербы, зато нашлось изображение кролика, который является символом Пасхи для католиков. (Крашеные яйца тоже присутствуют просто потому, это общий элемент празднования Пасхи и на Западе, и в России.)

Не валяй дурака, нейросеть, это не неваляшка
Не валяй дурака, нейросеть, это не неваляшка

Еще один показательный пример. И снова небрежный перевод. В некоторых контекстах «неваляшка» можно перевести как tumbler, однако более частое значение этого слова - стакан.

Ложный друг переводчика
Ложный друг переводчика

В английском языке слово «vinaigrette» означает: заправка для салата из уксуса, прованского масла и пряностей. Нейросеть отработала на отлично, но, к сожалению, не учла, что в России слово имеет совсем иной смысл. Так кто же твоя целевая аудитория, уважаемая Yandex ART?

Рубль? Какой рубль?
Рубль? Какой рубль?

Для нейросети Яндекса валюта одна – на втором фото. Кстати, с долларом она знакома куда более близко:

Доллар показан без запинки
Доллар показан без запинки

Ну а ниже – подборка картинок со словом «родной». Забудьте, что для нас «родной край» – это «то берёзка, то рябина». По мнению «нашей» нейросети, мы - североамериканские индейцы (родной - native - туземец, абориген, коренной житель)

Что стоишь, как неродной?
Что стоишь, как неродной?

Вот моя деревня, вот мой дом родной…
Вот моя деревня, вот мой дом родной…

Так вот вы какие, коренные москвичи
Так вот вы какие, коренные москвичи

А вот картинка ниже имеет следующее происхождение: один из вариантов перевода слова «букварь» - primer. В свою очередь primer – это (в том числе) «основа под макияж».

«Мне теперь не до игрушек, Я учусь по букварю…»
«Мне теперь не до игрушек, Я учусь по букварю…»

А вот богатырь и какой-то демонический рыцарь Тевтонского ордена – это для «русской» нейросети примерно одно и то же.

«Постоим за Землю Русскую!»
«Постоим за Землю Русскую!»

Ну, и, напоследок, моё любимое:

Скорее, в кокоснике…
Скорее, в кокоснике…

Слово «кокошник» (русский народный женский головной убор) в словарике нейросети, видимо, отсутствует за ненадобностью.

Получается, Яндекс взял некую англоязычную начинку, обклеил её отечественными обоями, и преподнёс как российский проект. Так, может быть, будем называть вещи своими именами? Это никакая не разработка российской компании, а всего лишь русскоязычная адаптация американской модели.

Остаётся надеяться, что со временем нейросеть поднатореет и разберётся, наконец, чем отличается кокошник от кокоса.

В любом случае, мне кажется, Яндекс должен был озаботиться пополнением словарного запаса и ассоциативного ряда своей нейросети, раз уж приходится работать через переводчика. Если что, могу предложить переводческие услуги, если виртуальный специалист с объёмом работы не справляется). 😉

А вот это – Наше. Кадр из к/ф «Василиса Прекрасная»
А вот это – Наше. Кадр из к/ф «Василиса Прекрасная»

Продолжение: Часть 2, Часть 3.