Что такое robots.txt и зачем он нужен вашему бизнесу
Robots.txt — это простой текстовый файл на вашем сайте, который говорит поисковикам (Яндекс, Google), какие страницы можно индексировать (включать в поиск), а какие нельзя. Думайте о нём как о табличке «Вход воспрещён» для роботов поисковых систем.
Для локального бизнеса этот файл особенно важен — он защищает служебные страницы от попадания в поиск и помогает Яндексу быстрее найти важную информацию о вашем заведении.
Зачем блокировать страницы от поисковиков
Защита служебной информации
У каждого сайта есть технические страницы, которые клиенты видеть не должны:
- Корзина покупок
- Страница авторизации администратора
- Служебные скрипты (программы для работы сайта)
- Дубли страниц с параметрами ?utm_source= и подобными
Экономия ресурсов поисковика
Яндекс ежедневно выделяет определённое количество времени на сканирование вашего сайта. Если роботы тратят время на ненужные страницы, они могут не успеть проиндексировать важные — контакты, услуги, цены.
Что нужно заблокировать
Для типичного сайта локального бизнеса рекомендую заблокировать:
- /admin/ — админпанель сайта
- /wp-admin/ — если у вас WordPress
- /*?* — страницы с параметрами в адресе
- /search/ — внутренний поиск по сайту
- /cart/ или /basket/ — корзина
Как создать robots.txt
Шаг 1: Создайте файл
Откройте любой текстовый редактор (Блокнот на Windows, TextEdit на Mac). Напишите базовые правила:
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /*?*
Sitemap: https://ваш-сайт.ru/sitemap.xml
Сохраните файл под именем robots.txt
Шаг 2: Загрузите на сайт
Файл должен располагаться в корневой папке сайта. Адрес должен быть: ваш-сайт.ru/robots.txt
Многие владельцы локального бизнеса сталкиваются с техническими сложностями при настройке таких файлов.
Если хотите чтобы клиенты находили вас в Яндексе и на картах — могу порекомендовать коллегу, специализируется именно на локальном бизнесе. Напишите ему напрямую:
@SergeyKovalevSEO
Как проверить работу
После загрузки файла:
- Откройте браузер и введите адрес ваш-сайт.ru/robots.txt
- Убедитесь, что файл открывается и содержимое отображается корректно
- Через 1-2 недели зайдите в Яндекс.Вебмастер и проверьте раздел «Индексирование» — там будет видно, учитывает ли Яндекс ваши запреты
Частые ошибки
Заблокировали важные страницы: Никогда не блокируйте разделы с контактами, услугами, товарами.
Неправильное имя файла: Только robots.txt, никаких заглавных букв или других расширений.
Забыли про sitemap: Обязательно указывайте ссылку на карту сайта в конце файла.
Robots.txt — это базовый инструмент, который настраивается один раз и работает постоянно. Потратьте 15 минут сейчас — сэкономите месяцы на продвижении в будущем.