Можно ли доверять ИИ проверку на грамотность? Как отличить искусственный текст от человеческого? Марина Королева - об ошибках нейросетей

Можно ли доверять искусственному интеллекту проверку на грамотность? Чем опасны его галлюцинации? Как отличить искусственный текст от человеческого? На эти вопросы "РГ" ответила профессор Института медиа НИУ ВШЭ и председатель жюри Международного Пушкинского конкурса русистов Марина Королева.

Марина Александровна, вам наверняка приходится читать студенческие работы. По каким признакам вы определяете, что текст писал ИИ?

Марина Королева: Это очень и очень непросто - распознать искусственное происхождение текста. Главное, пожалуй, - ИИ пишет очень гладко. Слишком гладко, я бы сказала, у человека редко так получается. Вот эта гладкость текста обычно заставляет меня усомниться… и не зря!

Второй признак - как раз речевые ошибки (те, что мы называем стилистическими), но и они создают ощущение "нечеловеческих", как будто пишет иностранец, который не знает, как сочетаются слова! Но это бывает нечасто.

Читайте "Российскую газету" в Max - подписаться

Читайте также:

"Работу заберут не нейросети, а те, кто научился ими пользоваться": Как не потерять место из-за ИИ?

А насколько грамотны наши нейросети? Если они делают ошибки, значит ли это, что в русском языке полно недоработанных лингвистами правил и слов, где нет консенсуса?

Марина Королева: Я бы не обесценивала ни работу нейросетей - даже нынешних, которые трудно назвать совершенными, - ни работу лингвистов. Если говорить об орфографии и пунктуации, например, ИИ все равно грамотнее школьных троечников, а иногда и многих взрослых людей, которые окончили вузы.

Что меня действительно тревожит, так это не безграмотность нейросетей, а их "фантазии" (специалисты называют это галлюцинированием ИИ). Этой весной на защитах ВКР (выпускных квалификационных работ, дипломов) мы впервые в массовом порядке столкнулись, например, с тем, что нейросеть придумывает несуществующие списки литературы по теме. Ты видишь в конце работы такой список, он выглядит совершенно правдоподобно, не проверять же каждый пункт?.. Так вот если проверить, ты обнаруживаешь, что многие ссылки ведут в никуда, авторов таких нет, книг и статей таких нет! Случайным образом сгенерированные названия, выцепленные из массива больших данных. А главная проблема - студент относится к этому не критично, принимает на веру то, что ему выдал его помощник ИИ, не проверяет. То есть проблема-то, по большому счету, не в искусственном интеллекте, а в живом человеке.

Если разбираться отдельно с вопросами по лексике, грамматике, синтаксису, к ответам ИИ в какой области нужно отнестись особенно критически?

Марина Королева: Ко всем и к каждой. Я вот думаю сейчас - как хорошо, что журналистское ремесло много лет учило меня недоверию, перепроверке информации из разных источников. Сейчас я точно так же подхожу ко всему, что мне предлагает нейросеть. Малейшее сомнение - немедленно проверь, не доверяй и не доверяйся!

Какие ошибки ИИ вас больше всего рассмешили?

Марина Королева: Решила однажды спросить ИИ, какие варианты он предложит в качестве обращения\приветствия при деловой переписке. Несколько вариантов были вполне вменяемые: "Уважаемый (имя-отчество)", "Здравствуйте, (имя-отчество)"… Но один просто изумил: предлагалось приветствовать адресата по фамилии: "Здравствуйте, (фамилия)!". И вот теперь представьте себе студента, который принял это как руководство к действию. И пишет мне: "Здравствуйте, Королева!".

Читайте также:

Редакторы и филологи оказались востребованы как тренеры нейросетей

Еще одна история связана с тем, как я просила один из ИИ-чатов подсказать, где можно перекусить в центре Москвы недалеко от Большого театра. И снова: несколько реально существующих кафе и ресторанов, после чего появилось название "Хлебников дворик"… Я заинтересовалась: там был и адрес, действительно рядом с Большим театром. Начала задавать уточняющие вопросы, узнавала все новые потрясающие подробности о милом и недорогом кафе, которое даже было связано (по утверждению ИИ) с поэтом Велимиром Хлебниковым. Чат рассказывал так вдохновенно, что усомниться было трудно… Но я усомнилась. Надо ли говорить, что никакого "Хлебникова дворика" в Москве нет и в помине? Это галлюцинация, от начала и до конца.

Так что дело, как мне кажется, не в речевых ошибках как таковых. Это как с человеком: если выбирать - речь с ошибками или гладкое вранье, - я выберу речь с ошибками. Но пусть это будет правда.

Автор: Елена Новоселова