Закроют ли Дзен? Отключат ли Ленту Рекомендаций? Уберут монетизацию? Сейчас на Дзене новый глас вопиющего в пустыне: 1 октября 2023 вступает в силу закон о рекомендательных системах. У Роскомнадзора появится новое направление, что он будет регулировать. Что реально произойдёт и стоит ли нам переживать? А ещё, что вообще такое рекомендательные алгоритмы и системы на их основе? Во всех этих вопросах разбираемся в этом обзоре.
Всё пропало? Или ничего не случится?
Думаю, ничего существенного не произойдёт. Это моё мнение.
Всё как работало, так и будет работать дальше. Да, владельцам информационных ресурсов, где используются рекомендательные алгоритмы, добавится чуток бумагомарательной работы. По счастью, документы сейчас уходят в цифру — деревья сохраняются. Если раньше достаточно было лишь грамотной политики по обработке персональных данных (тоже заморочка ещё та), то сейчас добавится ведение ещё пары документов и сопроводительных журналов к ним. Нужно будет ещё добавить примечание на сайте, что используются рекомендательные алгоритмы, а также опубликовать политику и правила системы по части рекомендаций. Изначально хотели обязать сделать там рубильники, но финальная версия закона вышла уже без этого. В целом же существенных перемен не будет.
Закон вообще получился небольшим и достаточно простым по форме.
Были истории в нашей стране, когда пытались вводить фильтры и контроль за рекомендательными системами и информационными ресурсами. Возьмём Яндекс.Новости (сейчас это часть Дзена). Пробовали ограничивать показы «плохих новостей» в главной ленте с топом новостей. Проводились проверки. Выяснилось, что это завязано на читательский спрос, хотя и ввели такую вещь, как ручная фильтрация редакторами. От этого Яндекс одно время открещивался, но такое дело есть: при необходимости могут убрать те или иные новости (фейки, к примеру) из ленты новостей. Могут снизить накал негатива в отдельные горестные дни.
👉 Ленты новостей, кстати, являются одним из примеров рекомендательных систем.
🤔 Был и другой случай. РКН боролся с Телеграмом и Павлом Дуровым. Весело, но выиграл последний, хотя РКН из-за этого готов был положить половину Интернета в стране. Больше того, совершенно не российский мессенджер теперь используется почти везде. Странная бывает тема: боремся, типа, с дядей Сэмом, но отдаём по итогам всё деду Карлу и компании (арабы и их компании — под контролем англичан).
Ещё одна причина, почему вряд ли что-то случится
А причина — в процедуре принятия законов в стране. Прежде чем закон принять, он проходит массу экспертиз. Да, иногда получается ерунда, как с новым законом о рекламе в Интернете. Тем не менее, приглашаются ключевые представители отраслей. Такие игроки, как Яндекс и VK всегда участвуют в обсуждении законопроектов. Никто не даст принять закон, полностью выключающий тот или иной вид бизнеса.
Да, государству нужен дополнительный механизм по «регулированию». К примеру, Центральный Банк активно мониторит и регулирует банки, страховые и прочие финансовые организации. Там такие меры бывают, что РКН и не снились. В случае рекомендательных алгоритмов добавятся дополнительные, в основном бюрократические, меры. Но никто в здравом уме ничего не будет отключать.
💡 На основе рекомендательных систем построено огромное количество интернет-сервисов, в том числе и таких, о которых многие и не догадываются. Вырубить в один момент их все? Кто же такое придумает!
Что вообще такое рекомендательная система?
Теперь перейдём к ключевой теме — что вообще такое рекомендательная система и как она работает.
🧐 Рекомендательная система или рекомендательные алгоритмы — это программы, предлагающие (рекомендующие) те или иные информационные материалы на основе неких вводных параметров. Информационные материалы — это может быть что угодно: ссылки на статьи, ссылки на товары, услуги; рекомендации к действиям и т. д. Результат выдачи ещё называется рекомендательной выборкой.
🤓 В рекомендательной системе всегда есть база данных, содержащая перечень информационных материалов. А ещё есть некие внутренние правила (алгоритмы), что их выдают. Вот именно эти правила, эти алгоритмы, и должны описываться в специальном документе, что может запросить Роскомнадзор. Ещё РКН может запросить дополнительно доступ на чтение, чтобы промониторить ситуацию лично. Правда, это мера второго-третьего уровня, когда случился конкретный инцидент. Так это тоже не проблема. Уже давно такое делается.
Какими бывают рекомендательные алгоритмы?
Вот очень интересный вопрос. Вариантов может быть несколько. Возможно и сочетание. Перечислю некоторые самые популярные из них.
🔰 Хардкод. Не путаем с хардроком. Это закодированное прямо в текст программы правило, что при таких-то вводных ВСЕГДА выдаём такой-то ответ. Технически, никто такое делать не запрещает. Просто как-то несолидно так вести — не очень честно и неэтично. Впрочем, если такое отразить в документе, вопросов ни у кого из проверяющих не возникнет.
📃 Таблица весов и рангов. Допустим, фиксируем количество обращений к той или иной странице в Интернете. Чем чаще её посещают — тем чаще мы её предлагаем в рекомендательной выборке. Это один из простых в реализации вариантов. Алгоритм тоже прозрачный.
📊 Графы. Нет, это не графья. Графы — это такая математическая конструкция, где есть некие элементы (вершины) и взаимоотношения между ними (рёбра). Рисуется иногда так: элементы графа в виде кружочков, а взаимоотношения — стрелочками. Допустим, карта Московского Метро — это граф. Кстати, даже очень хороший его пример. Хочу я проехать от станции Алтуфьево до станции Петровско-Разумовская — это несколько станций на одной ветке. Расстояние от начальной до конечной — сумма длин рёбер. И это далеко не единственные темы, что решают графы. Алгоритм может быть тоже достаточно прозрачным, хотя и сложным для понимания, если сам граф по структуре очень сложный.
💡💡 Кстати, если кому интересно, многие из алгоритмов для рекомендательных систем разрабатывали дамы. Одна дама придумала алгоритм, лежащий в основе Дзена. Об этом я недавно писал:
🔱 Алгоритмы глубокого обучения. Пресловутые нейросети, хотя название часто применяется не к месту. Здесь алгоритмы при помощи «учителей», либо самостоятельно, приходят к выводу, что при таких-то вводных желательно выдавать такие-то или иные выводы. Как они к этому приходят? Хороший вопрос, потому что это непрозрачная схема. Можно попробовать визуализировать правила, к которым пришла сеть при обучении, но здесь вся ответственность на учителях и их политике. При необходимости можно вставлять ограничители. Это вносит свои сложности, но что поделать?
Пример рекомендательной системы: Дзен
В Дзене используется несколько подходов. Вообще, строго говоря, нейросети пока что весь процесс на себя не берут — получались бы непредсказуемые и плохорегулируемые результаты. Поскольку Дзен является и социальной сетью, и электронным СМИ, приходится учитывать специфику.
Во главе его рекомендательной системы лежат алгоритмы машинного обучения на основе графов, но нейросети используются лишь на отдельных участках: в основном для определения тематики текста, его категории и т. д. Расставляются теги, определяется перечень основной темы и мысли текста. Хорошо, если тема высокочастотная. В отличие от классического SEO, где важна частота ключевого слова, на Дзене важнее понять, о чём текст, что за текст, на какие вопросы отвечает. И как часто к таким темам обращаются читатели.
В случае рекомендательной системы Дзена вершины графа — темы/подтемы/категории статей, а рёбра — их взаимосвязи. Каждая — со своим весом. Отсюда и определяется примерный размер аудитории статьи. Статьи. Не канала. Подбирается и количество показов. Многое перепроверяется «ручками» (вот для чего заходят Толокеры).
🤓 Не будет проблемой и визуализировать все эти данные, их работу. Авторы это вряд ли видят, но сотрудники Дзена (а значит и РКН, если затребует доступ) — видят. У них гораздо больше инструментов, чем у авторов: статистика, взаимоотношения, категории и много чего ещё. Даже Карму канала, говорят, можно до сих пор видеть.
Если говорить в целом, то Дзен работает достаточно прозрачно. Его алгоритмы не являются каким-то секретом. Часть алгоритмов находится вообще в открытом доступе. Дзену для РКН составить политику работы с рекомендательной системой и описать принцип её действия не составит труда, как и объяснить в частном случае конкретного пользователя, почему он видит то или иное.
И почему же наблюдаем в ленте непристойности?
Если честно, откровенных непристойностей я ни разу не видел здесь на Дзене. Всё-таки такое нельзя даже так называемым блатным. Бывают ролики, фотки, статьи на грани фола. Например, красивые (и не очень) девушки-натуристки, демонстрирующие свои усесты. Бывают очень провокационные статьи и даже целые каналы подобной направленности, провоцирующие хейт.
Задаются некоторые вопросами: почему такое вообще крутят на ленте и почему пользователи этому возмущаются. Отвечу на второй вопрос сразу — ханжество. А вот что с первым вопросом?
Дзен включает в Ленту (и это тоже не скрывается) публикации, отобранные редакторами. Это разделы «Интересное». Такой раздел вполне можно вести. Ничего такого в этом нет, тем более никогда не скрывалось, что часть каналов заводили уже знаменитые ранее люди — им особые преференции. Другую часть каналов отбирают редакторы по своему усмотрению. Да, наверное это не всегда этично, но ведь не скрывается же!
Ещё отображаются материалы, набирающие бешеную популярность. Тут такое дело... Иногда имеет место быть фрод и прочий обман. Тем не менее, через какое-то время начинают крутиться в ленте, цеплять обычных пользователей. Они ставят лайки, друг другу пересылают. Вот и пошло-поехало. Многое определяется вкусами аудитории.
💡 Если у пользователя ещё нет ленты интересов своих и подписок, то ему предложат обе категории: «Интересное редактором» и «Популярное на Дзене».
А вот в остальных случаях всё честно и прозрачно. Чему возмущаться, если лайкал определённые ролики, реагировал на них? Тем более, всегда в Ленте пишут, что такую-то статью, пост или ролик Вы видите, потому что ранее Вам понравился либо такой-то канал, либо такая-то публикация.
Короче говоря, действия любого пользователя оставляют цифровой след.
Как будет реагировать РКН и действительно ли Дзен закроют?
Ни Дзен, ни Озон (кстати, любой маркетплейс — тоже пример рекомендательной системы), ни ещё какой крупный сервис не закроют. Не дождётесь! Это крупный, многомиллиардный бизнес. Кто же даст его закрывать?
Заставят бюрократию лишнюю разводить. Ну, а чем, думаете, занимаются штаты сотрудников в корпорациях? Для них написать необходимый документ и предоставить объяснение в Роскомнадзор вообще не проблема. В век генеративных нейросетей на любую жалобу можно вообще составлять сгенерированный ответ, да такой, что не подкопаться.
Да, будут жалобщики. Куда без них? Жаловаться — неотчуждаемое право каждого гражданина. Будут жалобы — будут проверки и отписки.
Выше я написал, что каждый пользователь оставляет цифровой след. Если он жалуется на выборку, то «на-те, пожалуйста»: предоставят пояснение по всей выборке пользователя. Объяснят, как появилась у него в ленте та или иная публикация. Нужные документы все есть.
Магический рубильник
Ещё, должна быть возможность отключить ленту рекомендаций в любой момент для конечного пользователя. Так и это сделают без проблем. Засунут рубильник в дальние настройки. Кто пользуется банковскими приложениями, прекрасно знает, как банки это делают, пряча очень далеко некоторые функции. Думаю, что порядка 10-20% пользователей отключат рекомендации. Вряд ли больше. Большинство не будет заморачиваться, как не заморачивается и сейчас.
Опыт ленты без рекомендаций у нас уже был полтора года назад. Взаимки это не возродит, но, возможно, снова сделает целесообразной рекламу и репосты каналов.
Ах, да, где-то на видном месте появится примечание, что Лента сгенерирована рекомендательным алгоритмом на основе ваших интересов. Вот как сейчас происходит с cookies и персональными данными. И будет ссылка на раздел о рекомендательных технологиях и политике их использования. Всё честно, как того и требует закон.
Коснётся ли всё это авторов?
Никак не коснётся. Косвенно только. Не знаю, будет ли касаться тема монетизации. По идее монетизация здесь никаким боком не участвует.
Если вдруг будет реальное нарушение со стороны Дзена, могут отключить на время рекомендательную ленту. В такие дни будут просадки у всех. Вот только этого не будет. Здесь и так правила из серии «Шаг вправо, шаг влево — расстрел». Дзен гораздо больше заморачивается проверкой публикаций, чем то требуется по закону.
Ещё добавится вещь, которая сейчас происходит редко: блокировки каналов или публикаций по требованию РКН. Изредка такой бан некоторые авторы получают, но это редкость. Теоретически, подобное будет происходить чаще.
На практике, в РКН занимаются бюрократией. В основном если кто санкции и получал, то из-за неправильно составленных документов, ну либо в случае реальных инцидентов информационной безопасности, вроде утечек данных.
Так что не переживаем. Не накручиваем себя и других. Это не головная боль авторов. Это головная боль VK, Яндекса и самого Дзена.
Поделитесь своими мыслями на этот счёт! Жду ваших комментариев!
Игорь Кучаев