Найти в Дзене
Копейка к копейке

На Яндекс не надейся: как математики из Петербурга возвращают деньги за скликанную ботами рекламу с помощью ИИ

Максим Кульгин, Денис Кретов, Александр Маркович и Илья Гусинский создали веб-сервис, защищающий контекстную рекламу от скликивания ботами и недобросовестными конкурентами. Их программное решение, в центре которого находится нейронная сеть, экономит клиентам до 30% рекламного бюджета, но это сильно не нравится Яндексу. "Кровавая" битва за трафик в Яндекс.Директ при недоступности рекламных площадок Instagram, Facebook и GoogleAds, уверенно приближает среднюю ставку за клик к 100 рублям. Этим пользуются ушлые рекламодатели, использующие компьютерные программы (роботы кликботы), которые кликают по рекламным объявлениям конкурентов до полного опустошения баланса аккаунта в Яндекс.Директ или достижения лимита по расходам. После этого реклама жертвы исчезает из поисковой выдачи и рекламной сети, а мошенник может показывать свои объявления без конкуренции, получая весь объем трафика по сниженной стоимости. Скликиванием грешат и сами владельцы сайтов, которые размещают рекламные блоки Яндекса:
Оглавление

Максим Кульгин, Денис Кретов, Александр Маркович и Илья Гусинский создали веб-сервис, защищающий контекстную рекламу от скликивания ботами и недобросовестными конкурентами. Их программное решение, в центре которого находится нейронная сеть, экономит клиентам до 30% рекламного бюджета, но это сильно не нравится Яндексу.

Команда проекта Notissimuss за обсуждением нового проекта по защите от скликивания
Команда проекта Notissimuss за обсуждением нового проекта по защите от скликивания

"Кровавая" битва за трафик в Яндекс.Директ при недоступности рекламных площадок Instagram, Facebook и GoogleAds, уверенно приближает среднюю ставку за клик к 100 рублям. Этим пользуются ушлые рекламодатели, использующие компьютерные программы (роботы кликботы), которые кликают по рекламным объявлениям конкурентов до полного опустошения баланса аккаунта в Яндекс.Директ или достижения лимита по расходам. После этого реклама жертвы исчезает из поисковой выдачи и рекламной сети, а мошенник может показывать свои объявления без конкуренции, получая весь объем трафика по сниженной стоимости.

Скликиванием грешат и сами владельцы сайтов, которые размещают рекламные блоки Яндекса: больше кликов - больше доход сайта.

Данный вид мошенничества получил название кликфрод - от англ. click fraud, дословно «мошенничество с кликами». Согласно последним данным CHEQ AI Technologies, около 20% рекламного трафика приходится на ботов и фрод, при этом мошенничество с кликами затронуло 9 из 10 рекламных кампаний PPC.

IT компании активно учатся определять некачественный трафик и некоторые делают это настолько успешно, что буквально стали костью в горле для главного бенефициара скликивания - компании «Яндекс». «Крупные игроки рынка — поисковые системы и операторы контекстной рекламы — будут препятствовать развитию технологий защиты от фрода и скликивания, потому что это их бизнес, они на этих кликах зарабатывают», — говорит один из основателей стартапа по защите от рекламного мошенничества. Ему, впрочем, не удалось трансформировать технологию в успешный бизнес. Зато это оказалось под силу выпускникам Санкт-Петербургского Электротехнического Университета — их сервис clickfraud.ru, научившийся блокировать мошеннический рекламный трафик и балансирующий на едва уловимой грани между хакерством и обработкой больших данных, сэкономил в прошлом году своим клиентам более 100 млн. рублей рекламных бюджетов.

***

Как выбрать защиту от скликивания для своего проекта? Скачай таблицу: "ТОП 10 лучших сервисов защиты от скликивания и фрода: сравнение по 12 параметрам."

>>> СКАЧАЙ ТАБЛИЦУ ЗДЕСЬ <<<

***

Из проектного бизнеса в продуктовый

Компания Clickfraud выросла другого бизнеса основателей – проекта Notissimus, который задумывался как конструктор мобильных приложений для интернет-магазинов.

Осенью 2012 года Максим Кульгин с командой (давними партнерами с предыдущего места работы компании «Альтернатива Синицы», где они занимались оптово-розничной торговлей электроникой) задумали создать конструктор нативных мобильных приложений для интернет-магазинов. К весне 2013 года был найден инвестор из Санкт-Петербурга, зарегистрировано ООО, снят офис рядом с метро с видом на Иссакиевский собор. Партнеры надеялись привлекать по 7 новых клиентов каждый месяц и взимать плату за поддержку каждого приложения, но допустили ошибку в планировании: оказалось, что интернет-магазины не были готовы использовать шаблонные приложения, напротив, каждая компания имела свои уникальные требования к дизайну и функциональности приложения.

Первый офис компании Notissimus в 2013 году, перешедший по наследству Clickfraud
Первый офис компании Notissimus в 2013 году, перешедший по наследству Clickfraud

И все же клиентов долго ждать не пришлось. Первым стала служба доставки еды «2-Берега», которая нуждалась в приложении, специально разработанном для ее потребностей. В Notissimus быстро поняли, что идея конструктора мобильных приложений не подходит и нужно менять подход.

Проанализировав запросы рынка, в августе 2013 года разработчики предложили новую концепцию - бесплатную разработку мобильных приложений для розничных компаний с базовым функционалом и дизайном, но с платой за техническую поддержку в размере 15 000 ₽ в месяц. Появились крупные клиенты из розничного сектора - Oodji, LOVE REPUBLIC, Befree, футбольный клуб «Зенит», хоккейный клуб «СКА». Вдохновленная таким успехом, команда расширила сферу деятельности - стали предлагать разработку веб-сайтов, парсинг данных и другие услуги.

Переломный момент наступил в 2020 году, когда в компанию обратился давний клиент с ежемесячным бюджетом в размере 6 млн. рублей. Его проблема заключалась в том, что треть этой суммы - а это 2 миллиона в месяц!- скликивают боты. Отчаявшись, он попросил “что-нибудь придумать”. Разработчики оценили свои возможности, взяли с клиента небольшую предоплату, зарегистрировали доменное имя clickfraud.ru и погрузились в решение проблемы.

Бизнес на скликивании

В последние годы проводилось множество исследований, посвященных качеству трафика и масштабам клик-фрода. Результаты ужасают! Аналитическая компания Juniper Research провела анализ рекламного трафика в мировой сети, в результате которого было выявлено, что кликфрод наносит ущерб в размере 42 миллиардов долларов ежегодно. Согласно отчету компании White Ops Inc., занимающейся кибербезопасностью, каждый пятый клик по контекстной рекламе является мошенническим.

Масштабы скликивания рекламы поражают воображение
Масштабы скликивания рекламы поражают воображение

Недавно облачная платформа Imperva Incapsula опубликовала отчет о бот-трафике, в котором утверждается, что только 48,2% переходов по рекламе приходится на реальных пользователей, а 51,8% - на ботов (из которых 22,9% - легитимные роботы). Почему рекламодатели должны платить за такие показы?

«Любой бизнес может заказать скликивание конкурентов с помощью ботнетов или наемных исполнителей, которые будут сознательно кликать по объявлениям. Мы обнаружили большое количество таких практик, особенно на биржах, где за сумму менее 100 долларов в день конкуренты могут быть исключены из аукциона, - говорит Нейл Эндрю, основатель сервиса PPC Protect, - Google совершенно не реагирует на такую активность и не блокирует ее. Для нас ситуация была ясна, и мы ожидали, что споры по трафику будут решены в нашу пользу, однако поддержка Google оставила нас разочарованными, говоря только одно: "Возможно, вы неправильно настраиваете таргетинг", хотя наш анализ и статистика указывали на обратное».

На сегодня существует несколько методов противодействия скликиванию. Наиболее распространенный - блокирование IP-адресов, с которых исходит подозрительный трафик. До недавнего времени это был единственный более-менее эффективный способ борьбы с рекламным мошенничеством. Однако злоумышленники постоянно адаптируются и совершенствуют свои боты. Они начали использовать прокси-серверы для быстрой смены IP-адресов, продолжая беспощадные атаки на рекламу и бюджеты рекламодателей. В последнее время появились боты, которые с помощью машинного обучения имитируют поведение реальных людей: они посещают веб-сайты, накапливают историю и файлы cookie, а затем атакуют целевой сайт.

Проникнувшись болью рекламодателей, разработчики Clickfraud создали собственную технологию для борьбы со скликиванием, основанную на уникальных отпечатках браузеров - browser fingerprint. Эта технология принципиально отличается от того, что уже представлено на рынке антифрод платформ.

Защита от скликивания по следам браузера

Отпечаток браузера представляет собой уникальную последовательность символов и чисел, полученную из различных параметров устройства и браузера, с которого происходит посещение сайта. Эти параметры включают информацию об операционной системе, объеме оперативной памяти, разрешении экрана, параметрах шрифтов и многом другом. С помощью этих данных система Clickfraud может с точностью до 94% идентифицировать ботов и отслеживать их поведение в сети. Дело в том, что уникальность отпечатка браузера очень высока. Если говорить о статистике, то только раз на ~300 000 случаев случается полное совпадение отпечатков браузеров двух разных пользователей.

Один из примеров browser fingerprint применяемый в защите от скликивания
Один из примеров browser fingerprint применяемый в защите от скликивания

Однако, Clickfraud не полагается только на отпечаток браузера. Система также анализирует и другие параметры сессий для выявления нежелательной активности: обнаружение средств автоматизации, режима инкогнито, виртуальных серверов, черные списки IP-адресов, поведенческие характеристики сессий и данные Google reCAPTCHA.

Благодаря использованию fingerprint, система Clickfraud способна мгновенно блокировать нежелательную активность. Когда бот обнаруживается, система сравнивает полученный отпечаток браузера с сохраненными данными в базе и моментально блокирует дальнейшее показывание рекламных объявлений для всех новых связанных с ним IP-адресов и идентификаторов YaClientID. Это позволяет предотвратить повторное появление бота и защитить рекламные кампании от нежелательных кликов. Все собранные данные и результаты анализа сессий регулярно передаются в системы Яндекс.Метрика и Яндекс.Директ для автоматического блокирования нежелательных кликов.

По словам создателей, сервис позволяет экономить до 30% рекламного бюджета. Ежедневно анализируются сотни тысяч визитов на сайтах клиентов Clickfraud.

Clickfraud в режиме реального времени оценивает ежедневную экономию своих клиентов
Clickfraud в режиме реального времени оценивает ежедневную экономию своих клиентов

В данный момент в базе уже более 9 млн. уникальных отпечатков браузеров ботов. «Наша задача не показывать рекламу ботам» – говорит коммерческий директор Clickfraud Максим Кульгин.

***

Как узнать: нужен ли тебе Clickfraud? Воспользуйся калькулятором расчета экономии рекламных бюджетов. Мы проанализировали данные наших клиентов и определили какую долю от рекламного трафика занимают боты и фрод и создали калькулятор, который рассчитывает выгоду от внедрения защиты от скликивания. Скачивай прямо сейчас и узнай сколько денег крадут у тебя боты!

>>> СКАЧАТЬ КАЛЬКУЛЯТОР <<<

***

Яндекс не справляется

В Яндекс.Директ используется собственная антифрод система, которая обеспечивает защиту от фрода и распознает скликивание по более чем 200 метрикам. Процесс борьбы с фродом в Яндекс.Директе осуществляется в три этапа:

  • На первом этапе антифрод-программа идентифицирует клики и показы рекламы, осуществленные роботами, то есть программами, имитирующими действия пользователей.
  • На втором этапе анализируется каждый переход по рекламе и показ объявления. Для этого был создан список из 250 характеристик фрод-активности, таких как время, сезонность, география, предшествующие события и другие. Подозрительные клики и показы автоматически отсеиваются антифрод-программой.
  • На последнем этапе, происходит анализ поведения пользователей. Ежедневно программа анализирует около 4 миллиардов событий, чтобы выявить и устранить сложные случаи фрода.

Но такой подход практически не приносит пользы рекламодателям. Дело в том, что, по статистике, Яндекс признает только 7% кликов недействительными. Однако, в среднем, боты скликивают 25% рекламных бюджетов, а это означает, что около 18% суммы уходит в пользу Яндекса. Таким образом, если компания тратит 1 млн. рублей в месяц на контекстную рекламу, 180 тыс. рублей идут не на показы рекламы целевой аудитории, а остаются у мошенников и оператора рекламы.

«Следует понимать, что Яндекс трактует неоднозначность в свою пользу и возвращает деньги, только если на 100% уверен, что это бот, – отмечает Максим Кульгин, – Яндекс возвращает деньги, но сколько он не возвращает - не знает никто».

Искусственный интеллект для защиты от скликивания

На сегодняшний день клиентами Сlickfraud стали уже более двух сотен компаний. Ежемесячная выручка сервиса стремительно растет, приближаясь к 700 тыс. рублей в месяц.

Стоимость услуг по защите от скликивания варьируется в пределах от 2900 рублей для сайтов с посещаемостью до 10 тыс. визитов в месяц до 23 000 рублей для сайтов с посещаемостью до 500 тыс. визитов ежемесячно. Пользователи получают защиту от скликивания в Яндекс.Директ и GoogleAds, еженедельные сводки по блокировкам и оперативные уведомления при атаках.

В России более 400 000 рекламодателей активно используют контекстную рекламу. Цель компании на ближайшие 2 года - занять 1% этого рынка и привлечь 4000 постоянных клиентов. Команда постоянно работает над улучшением своей технологии. В 2022 году Фонд Содействия Инновациям выделил компании грант в размере 4 миллионов рублей для научно-исследовательской работы по созданию модели идентификации ботов на основе движения мыши с использованием нейронных сетей.

Обратите внимание на разницу в поведении человека и бота на сайте
Обратите внимание на разницу в поведении человека и бота на сайте

P.S. 26 июня Максим Кульгин в своем Telegram-канале анонсировал новую услугу Clickfraud: возврат средств от Яндекс.Директ за рекламу, которую скликали боты.

***

Регистрируйтесь в Clickfraud и получите 1000₽ на баланс, а также 7 дней бесплатного использования!

>>> ЗАРЕГИСТРИРОВАТЬСЯ СЕЙЧАС <<<

Полезные инструменты:

Таблица сравнения ТОП 10 сервисов защиты от скликивания по 12 параметрам >>> СКАЧАТЬ <<<

Калькулятор расчета экономии рекламных бюджетов при использовании защиты Clickfraud >>> СКАЧАТЬ <<<