Откройте новую вкладку и допишите к адресу своего сайта /robots.txt. Прямо сейчас, до того как дочитаете этот абзац. Посмотрите, что открылось, и запомните картинку — дальше она нам понадобится. Большинство людей на этом месте видят несколько строк текста, кивают и закрывают вкладку. Файл есть, значит всё в порядке. Я сам так делал лет пятнадцать назад, пока не наступил на историю, после которой проверяю этот файл совсем иначе. То, что вы видите в браузере, и то, что получает поисковый робот, — не всегда одно и то же...