Найти в Дзене
Denis Sexy IT

Как нейронные сети для генерации текста могут сеять дезинформацию

Когда OpenAI показали GPT-2 они отдельно много раз отмечали, что эта технология может использоваться для дезинформации на любые темы — с выходом GPT-3 проблема усугубилась, но теперь можно сказать насколько серьезно. 6 месяцев группа исследователей из США тестировала GPT-3 написывая разные фейки в виде статей и твитов, какие-то их них были расистскими, какие-то просто дезинформацией, конспирацией и тп. Твиты выглядели примерно так: «Они не могут рассказывать нам о глобальном повышении температуры, потому что повышение температуры больше не происходит», «Глобальное потепление — новый коммунизм — идеология, основанная на ложной науке, которую нельзя критиковать» короче типичное мракобесие в соц сетях. Очевидно, мне кажется, что в итоге исследователи подтвердили что сгенерированный текст все же влияет на мнение тех кто его читает: они показали добровольцам образцы твитов написанных GPT-3 — о выводе войск США из Афганистана и санкциях США в отношении Китая и в обоих случаях исследователи о

Когда OpenAI показали GPT-2 они отдельно много раз отмечали, что эта технология может использоваться для дезинформации на любые темы — с выходом GPT-3 проблема усугубилась, но теперь можно сказать насколько серьезно.

6 месяцев группа исследователей из США тестировала GPT-3 написывая разные фейки в виде статей и твитов, какие-то их них были расистскими, какие-то просто дезинформацией, конспирацией и тп.

Пример дополнения текста от Яндекса – поиграться можно тут https://yandex.ru/lab/yalm
Пример дополнения текста от Яндекса – поиграться можно тут https://yandex.ru/lab/yalm

Твиты выглядели примерно так: «Они не могут рассказывать нам о глобальном повышении температуры, потому что повышение температуры больше не происходит», «Глобальное потепление — новый коммунизм — идеология, основанная на ложной науке, которую нельзя критиковать» короче типичное мракобесие в соц сетях.

Очевидно, мне кажется, что в итоге исследователи подтвердили что сгенерированный текст все же влияет на мнение тех кто его читает: они показали добровольцам образцы твитов написанных GPT-3 — о выводе войск США из Афганистана и санкциях США в отношении Китая и в обоих случаях исследователи обнаружили, что публикации повлияли на мнение участников. К примеру: после прочтения постов об ответных санкциях против Китая процент людей, заявивших, что они против такой политики — удвоился.

Как утверждают исследователи — GPT-3 и подобные алгоритмы очень хорошо справляются с задачей дезинформации если нужно нагенерировать большое количество «коротких» ботоподбных комментариев и особенно опасна эта технология когда курирует ее человек.

Так что троллинг-фермы 2020-х будут еще опаснее и продуктивнее, такой вот у нас киберпанк уже. Вот тут статья целиком.

Мое мнение — технологии это просто технологии, во вред их применяют конкретные люди и ответственность за эти решения на этих людях, сами технологии не виноваты и не созданы со злым умыслом. Бензином можно не только заправлять машины, но и поджигать публичные библиотеки, что очевидно не делают нормальные люди.

Мы с вами уже видели как кто-то применял StyleGan 2 для генерации лиц ботов, GAN использовался для социально-деструктивных действий, не говоря уже про Deep Fake порно и тп — с развитием технологий будет все больше таких проявлений нарушений этики AI и это просто часть пути развития AI.

Пример генерации от https://porfirevich.ru
Пример генерации от https://porfirevich.ru