«Яндекс» обучает свои нейросети определять нецензурные слова, намеренно написанные неправильно, и блокировать такие сообщения на различных сервисах. Это следует из полученного компанией патента. Разработка может быть использована, в частности, в интернет-фильтрах для детей. В описании изобретения к патенту указано, что технология подходит для любых веб-ресурсов, разделов комментариев новостных статей, соцсетей и чатов игровых платформ.
В опубликованном на портале Роспатента документе отмечается, что «Яндекс» в борьбе за комфортную для пользователей среду разработал способ обучения нейросетей нецензурным словам и выражениям из русского и других языков.
«Всегда имеется небольшое количество пользователей, которые менее вежливы и формируют неприемлемый контент, такой как контент, наполненный оскорбительными выражениями (ругательствами, неприемлемыми выражениями и тому подобным), – пишет автор изобретения Михаил Либман. – Подход на основе чёрного списка требует создания базы данных, что требует больших затрат времени и энергии. Кроме того, злонамеренный пользователь может обойти такой фильтр, намеренно неправильно написав нецензурное слово».
В одной из статей Либман также рассказывал, что сервисы «Яндекс.Кью», «Яндекс.Район» и «Яндекс.Карты», где пользователи публикуют свой контент и общаются, стали привлекать мошенников, спамеров и матерщинников: «Люди очень творчески и разнообразно подходят к вопросу оскорбления друг друга, и этот “длинный хвост” действительно тяжело научиться находить».
В качестве примеров обхода слабых фильтров ненормативной лексики и «шифрования» он приводит замену букв русского алфавита английскими, использование сокращений и символа звёздочка, перестановку и пропуск букв и другие приёмы. Система машинного обучения должна оценить степень непристойности слова в процентах, определив вероятность того, что оно относится к запрещённым ругательствам. Если пороговое значение (его может установить администратор приложения) превышено, это указывает на то, что слово является запрещённым ругательством. В этом случае следует удаление оскорбления или неправильно написанного нецензурного слова до публикации сообщения либо непубликация сообщения целиком.
Утверждается, что технология подходит для любых веб-ресурсов, разделов комментариев новостных статей, приложений соцсетей и чатов игровых платформ. Управлять нейроцензурой можно с помощью сервера, принимая запросы от компьютеров или смартфонов.
Подчёркивается, что многое зависит от контекста: то, что считается ругательством на одном форуме, не обязательно будет таковым на другом. Например, на веб-ресурсе, имеющем отношение к медицине.
В описании к патенту некоторые примеры приводятся на английском языке, некоторые – на русском: «Нет чёткой линии, которая разделяет слова на нецензурные и не являющиеся нецензурными, поскольку некоторые слова могут быть “субъективно нецензурными”. Например, некоторые люди могут посчитать так называемое смягчённое ругательство, такое как “чёрт” (darn), нецензурным словом, в то время как другие – нет. Хотя в настоящей технологии упоминается понятие “нецензурное слово”, следует понимать, что это сделано для простоты понимания и никоим образом не предназначено для ограничения».
Научить нейросеть определять неправильно написанные матерные слова возможно, считает IT-эксперт, бывший генеральный директор платёжной системы ChronoPay Дмитрий Артимович. По его мнению, технология будет оптимальной для детского интернет-фильтра – в последние годы ведущие отечественные IT-гиганты активно развивают это направление. На рынке появились интернет-фильтры для детей, средства контент-фильтрации для школ и библиотек и другие продукты.
Учитель русского языка и литературы Светлана Васильева в беседе с «Октагоном» замечает, что блокировка и отслеживание нецензурных слов и выражений в интернете окажет положительное влияние на культуру речи сначала взрослых, а впоследствии детей и подростков. Однако глобально проблему технология не решит.
– В последнее время матерные слова люди всё чаще стали использовать не только для выражения своих эмоций, но и в качестве дискурсивов (слов-паразитов). Часть взрослых и очень большое количество детей и подростков матом разговаривают, а не ругаются. У школьников такое нецензурное общение как в устном, так и в письменном виде сейчас в моде. Если раньше брань регулярно использовали в основном хулиганы, то теперь этим грешат девочки-отличницы, и они, кстати, употребляют подобные слова даже чаще, чем мальчики, – делится собеседница.
По мнению Васильевой, нынешней плачевной ситуации во многом поспособствовала фактическая легализация нецензурных слов в обществе – публично выругаться позволяют себе в том числе политики и известные артисты, блогеры.
Затем норма распространилась на общение людей в интернете.
– Потенциальная блокировка мата в соцсетях приведёт к тому, что подростки будут пытаться её обойти, придумывать новое написание, которое поймут в их сообществе, но не распознает алгоритм. Глобально это не так уж и плохо – какой-никакой, а всё же мыслительный и литературный процесс. Взрослые вряд ли будут этим массово заниматься, поэтому есть шанс, что люди вновь начнут приучаться к тому, что в публичном пространстве употреблять ругательства не допустимо и не принято, – надеется учитель.
В России запрещено использование нецензурной лексики в общественных местах, СМИ, рекламе и кино (такие фильмы разрешены только на DVD и кинофестивалях). Нарушителям грозит широкий диапазон санкций – от штрафа в размере 500 рублей до уголовного наказания за оскорбление бранными словами чувств верующих или социальной группы. Запрет также действует в интернете: например, Роскомнадзор штрафует зарегистрированные интернет-СМИ за мат в комментариях.
✏️Александр Колесников ✏️Тарас Подрез
🅾️Все материалы: octagon.media