Откройте новую вкладку и допишите к адресу своего сайта /robots.txt. Прямо сейчас, до того как дочитаете этот абзац. Посмотрите, что открылось, и запомните картинку — дальше она нам понадобится. Большинство людей на этом месте видят несколько строк текста, кивают и закрывают вкладку. Файл есть, значит всё в порядке. Я сам так делал лет пятнадцать назад, пока не наступил на историю, после которой проверяю этот файл совсем иначе. То, что вы видите в браузере, и то, что получает поисковый робот, — не всегда одно и то же...

Файл robots.txt — это текстовый файл, в котором содержаться инструкции для поисковых роботов, в частности каким роботам и какие страницы допускается сканировать, а какие нет. Как открыть сайт для индексации Директива Allow указывает на то, что роботу можно сканировать содержимое страницы/раздела, как правило, используется, когда в полностью закрытом разделе, нужно дать доступ к определенному документу. Пример #1 # Дает возможность роботу скачать файл site.ru//feed/turbo/ несмотря на то, что скрыт раздел site...