Зачем они нужны?
Кто их создает?
Пользу или вред они несут?
Надо ли с ними бороться?
Как с ними бороться?
Сегодня по веб-сайтам боты, маскирующиеся под людей, заходят чаще самих людей, по моей статистике, примерно на 1 живого человека приходится 10–50 заходов ботов.
Зачем они нужны?
Боты создаются с разными целями, одни просто гуляют по сети, другие анализируют ваши сайты, третьи воруют фото и тексты и т. д.
Кто их создает?
Вебмастера, владельцы сервисов аналитики, хакеры, обычные частные люди, которые пытаются нечестным способом поднять позиции своих сайтов и, как следствие, вредят и себе, и соседям в органической выдаче.
Пользу или вред они несут?
Давайте я расскажу, что они делают, а вы сами решите.
Поведенческие боты, которые созданы для улучшения поведенческих факторов своим хозяевам, и пока они делают пользу хозяину, вам накручивают отказы, и ваши позиции падают. Пока поведенческие боты нагуливают историю, они скликивают рекламу в Яндекс Директе, заходят на разные сайты и кликают по телефонам, формам обратной связи, чем очень сильно пачкают статистику, и вы уже не понимаете, какие каналы работают, а какие нет, так как все каналы показывают хорошие показатели достижений цели (клики по контактам, отправка форм и т. д.), и вы не можете исключить плохие площадки из рекламных компаний и теряете большие бюджеты в рекламных компаниях.
Боты из сервисов аналитики сканируют ваш сайт, фиксируют все изменения и те, что успешно влияют на позиции, передают вашим конкурентам, которые оплачивают там премиум аккаунты, они делают то же самое и вытесняют вас из ваших заслуженных мест.
Есть боты, которые клонируют ваши сайты, собирают тексты с ваших сайтов, фото, вы, наверно, замечали псевдокаталоги организаций и псевдоотзовики, где размещена информация с вашими контактами и вашим текстом с главной страницы, вы теряете уникальность, и как следствие просадка по позициям.
Единственные боты, которые полезны, это боты от поисковых систем, они нужны для сканирования вашего сайта и своевременного обновления информации в поисковых системах.
Надо ли с ними бороться?
Кто-то считает, что это бесполезно и нет смысла, я считаю, бороться надо ОБЯЗАТЕЛЬНО! Ваш сайт — это не проходной двор для подобных посетителей, вы создаете уникальный контент, стараетесь, наполняете, а потом кто-то на автомате всё забрал и разместил в другом месте, мне не нравится такое положение дел, а вам?
Как с ними бороться?
Есть онлайн сервисы, и они частично помогают, писать о каждом не буду, раз вы читаете этот материал, наверно, уже искали и пользовались. Мне лично не помог ни один настолько, чтобы я не переживал за свои проекты.
Три года назад после долгих экспериментов я принял решение сделать защиту, которая не позволит ботам опускать позиции сайтов, анализировать и воровать информацию.
Дмитрий Виноградов
Вебмастер, специалист по SEO-продвижению, стаж более 15 лет