Почему поисковики всё равно индексирует страницы, заблокированные в robots.txt
Буду рад видеть Вас в моем телеграмм канале -https://t.me/matveev_seo Цитаты из инструкций:
Яндекс Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса. Чтобы удалить страницы из поиска, укажите директиву noindex. Google Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google. Robots.txt работает не так, как многие думают. Это не жесткий запрет на индексацию, а скорее вежливая просьба к поисковым роботам не заходить на определенные страницы...