«ВКонтакте» приступила к работе над искусственным интеллектом для автоматического распознавания материалов с хейтспичем — враждебными высказываниями. Технология призвана ускорить время обработки жалоб и помочь пользователям реже сталкиваться с проявлениями нетерпимости.
Сервис поможет быстрее находить материалы с враждебными высказываниями, а также публикации, которые провоцируют аудиторию проявлять агрессию. Нейросеть учится определять самые разные категории оскорблений и угроз. Среди них — проявления ксенофобии, расизма, гомофобии, сексизма и других предрассудков, а также оскорбления на почве религиозной принадлежности, возраста, внешности или наличия заболеваний.
Чтобы усилить модерацию по теме языка ненависти и обучить искусственный интеллект, «ВКонтакте» добавила новую категорию жалоб — «Враждебные высказывания». Пользователь может выбрать её, если нажмёт кнопку «Пожаловаться» у оскорбительной публикации. После этого материал попадёт на рассмотрение к модераторам. Эта категория позволит точнее откалибровать уже существующие инструменты и собрать датасет для новых решений на основе нейросетей. При этом команды модерации и поддержки не только реагируют на жалобы, но и проводят проактивный внутренний мониторинг — в частности, с помощью механизмов автоматического поиска, технологии цифровых отпечатков и нейронных сетей.
«Мы разделяем позицию наших пользователей и партнёров касательно языка вражды и прославления насилия. Модераторы ВКонтакте ежедневно обрабатывают огромный объём контента, в том числе с использованием искусственного интеллекта — большинство опасных материалов удаляются ещё до того, как их кто-то увидит. Если же вы заметили оскорбительную публикацию, пожалуйтесь на неё. С проявлениями нетерпимости эффективнее бороться вместе — и мы призываем пользователей присоединяться к нам в этой борьбе», — рассказывает Иван Корнеев, руководитель команды модерации «ВКонтакте».
За первую половину 2020 года на платформе было удалено 520 тысяч единиц контента по теме разжигания вражды и ненависти, а также заблокировано 1340 профилей и 2470 сообществ, распространяющих враждебные высказывания.
Информация опубликована в новом разделе «Центра безопасности» под названием «Нормы платформы». В нём команда «ВКонтакте» подробно рассказывает о том, как борется с проявлениями нетерпимости, а также описывает, какие именно высказывания считаются неприемлемыми на платформе.