Обычно все хотят полной и качественной индексации. Однако, на начальном этапе проектирования сайта часто возникает потребность дать поисковикам знать, что сайт уже пишется и намекнуть, что скоро пора будет его индексировать. Для этого нужно разрешить обрабатывать главную страницу и запретить лезть глубже.
Внимание! Длительное пребывание в поиске только одной страницы сайта с большой вероятностью приведет к наложению фильтра от яндекса АГС. После наложения фильтра потребуется приложить достаточно много сил, чтобы вывести из под фильтра АГС и вернуть ТИЦ ресурсу. Рекомендую максимальный срок разрешать только главную индексировать 1 (один) месяц.
Плюсы и минусы индексации только главной страницы
Плюсы
Поисковикам будет время спокойно узнать о сайте, запомнить его адрес и определить грубо тематику по заголовку, слогану и описанию. Начнется история сайта. Если для Гугла не нужно разбега для начала полноценной работы с материалами ресурса, то Яндексу времени нужно достаточно много.
Нужно помнить, что новые сайты имеют небольшую фору в начале индексирования и частоте прихода ботов. Поисковики пристально смотрят на новые сайты. Для одних это хорошо, а для других не очень.
Минусы
Главный минус, что пустая страница достаточно быстро вызывает у роботов вопросы о полезности сайта и необходимости его наличия в выдаче.
Моё личное мнение, что лучше сделать структуру сайта и сразу открыть поисковикам. И постепенно начинать наполнять их содержимым. Но если всё же задача поставлена - читаем решение.
Запрещаем индексацию всех страниц, кроме главной
Идем в файл robots.txt (если нет такого, то создаем в корне сайта) и пишем:
User-agent: *
Disallow: /
Allow: /$
После посещения ботом обрабатываться будет только главная страница. Внимание. Для отдельных движков и сайтов способ может не работать. Потому после его применения проверьте правильность обработке страниц в вебмастере яндекса и гугла в соответсвующих разделас сервисов.
Бонус - закрываем от индексации весь сайт. Снова файл robots.txt и в нем напишем:
User-agent: *
Disallow: /
Как обычно и тут есть свои подводные камни. Если Яндекс будет четко следовать инструкциям и практически не подглядывает дальше, то для Гугла файл роботс носит лишь рекомендательный характер. Потому имейте в виду, что Гугл пройдет и прочитает весь сайт и честно отправит в выдачу только первую страницу. Но знать то он будет весь сайт и какая версия страниц будет сразу после открытия индексации - вопрос.
Обратите внимание, что для корректной индексации сайта файл robots.txt должен быть правильным. Хорошо прописанные инструкции должны закрывать лишнюю информацию от поисковых ботов и гарантированно обрубать дублирующие страницы.
С вопросами, дополнениями - добро пожаловать в комментарии. Помог материал - поделитесь им у себя в блоге. При использовании не забудьте указать ссылку на эту статью.
Спасибо..
Помог материал - поставьте лайк, оставьте комментарий. Это поможет и другим пользователям интернета найти решение аналогичной проблемы.
Если темы интересны - подиписывайтесь на канал!
✅ Подписаться на этот канал
Рекомендую свои статьи:
- Открыть docx xlsx в офисе 2003.
- Виндовс 10 не подключает сеть Wi-fi
- Что можно удалить из папки Windows
- Горячие клавиши Windows Win+
- Тормозит компьютер с HDD диском - решаем проблему в 99% случаев
- Легко и быстро очищаем системный диск С.
- В браузере смотрим пароли и удаляем вирусы, которые майнят на вашем ПК.