🧐Отличие сканирования от индексации в SEO

🧐Отличие сканирования от индексации в SEO🧐

🟧 Как мы знаем, основная задача SEO-специалиста - "добавить" в Яндекс и Google поиск качественные страницы продвигаемых сайтов, чтобы они получали позиции, трафик и лиды. Для этого нужно, чтобы страница была просканирована и проиндексирована. Но некоторые специалисты путают/совмещают эти 2 понятия.

🟧 Сканирование - это процесс обхода поисковыми роботами (краулерами) страниц и анализ их контента (мета-теги, тексты, медиафайлы, различные технические параметры и т.д.). То есть это именно доступ к странице и сбор информации о ней.

🟧 Индексация - процесс добавления уже просканированных страниц в индекс (базу данных) поисковой системы на основании анализа (сканирования) и удовлетворения необходимым критериям (доступность, качество контента, релевантность и т.д.).

Хороший пример, который был у меня на практике, иллюстрирует отличие между этими 2 понятиями:

🟧 На сайте N страницы фильтрации с динамическими параметрами начали массово попадать в индекс Google, вследствие чего, позиции по соответствующим для них категориям начали проседать. По ошибке я закрыл данные страницы от сканирования в robots.txt, что привело, с одной стороны, к тому, что новые страницы фильтров перестали попадать в индекс из-за невозможности их сканирования, а с другой к тому, что те, которые уже находились там, из него не удалялись.

🟧 Я добавил <meta name="robots" content="noindex, nofollow"> на страницы фильтрации в надежде их удаления из индекса, что верно. Однако, не убрал директиву в robots.txt, которая закрывала их от сканирования. Что неверно.

🟧 По итогу: из-за правила в robots.txt страницы недоступны для сканирования, но закрыты для индексации, соответственно, робот не мог их заново обойти и увидеть правило запрета на индексацию, и как следствие, удалить из индекса. Ничего не менялось в течение месяца. Я удалил правило в robots.txt, тем самым, поисковые роботы смогли заново просканировать данные страницы и обнаружить запрет на индексацию. В течение недели после этого все страницы были удалены из индекса.

Всем SEO😎