Любой веб-сайт (блог / веб-сайт) нельзя проиндексировать в поисковой системе, если он не просканирован роботами Google. Боты, которые сканируют веб-сайты по всему миру для индексации их в поисковой системе Google, называются Google Bot. Сегодня в этой статье вы узнаете, что такое бот от Google и как он работает. Когда речь идет о боте Google, мы представляем себе симпатичного и умного робота Wall-E, который быстро ищет и систематизирует знания в уголках неизвестного мира. Если вы не знаете, что такое...

Данные о трафике могут серьезно искажаться наплывом «пауков» и роботов — специальных ботов для мониторинга. Среди них бывают «полезные» — анализирующие релевантность страницы с точки зрения поисковых сетей. Но также часть неестественного трафика составляют «вредные» роботы — боты для парсинга, спама и имитации живого трафика. В некоторых случаях бывает полезно смотреть весь трафик целиком, чтобы методом исключения определять неестественные приливы трафика и накрутку. Но зачастую нас интересует чистый трафик, состоящий из живых посещений, которые затем превращаются в конверсии...