Сегодня я бы хотел Вам рассказать про чужеродный новичкам файл robots.txt. Почему я решил вам написать про него? Да потому что когда сам с ним столкнулся (точнее с его отсутствием), получил дозу геморроя на ближайшие полчаса. Поясню проблему:
Так как у меня не было файла robots.txt, я ввел в поиск запрос следующего типа: “где взять файл robots.txt” и “как создать файл robots.txt”. Самое удивительное то, что на всех первых сайтах, которые мне выдал поисковик, я нашел все что связано с файлом robots.txt, но никак не ответ на мой вопрос!
В связи с этим хочу внести ясность для тех, кто также столкнулся с подобной проблемой. Хотя файл robots.txt и должен находиться в корневой папке вашего сайта (если точнее, то в той папке, где находятся папки wp-admin, wp-content, wp-includes и т.д.), это не означает, что это так и есть. Чтобы его в эту папку поместить, нужно его для начала создать. Для каждого пользователя он свой и редактируют его исходя из своих целей, но можно создать образцовый, так сказать эталонный файл robots.txt с помощью любого текстового редактора с расширением txt, к примеру Notepad++ либо стандартного Блокнота. Robots.txt работает просто великолепно. Но для начала поясню, для чего, собственно, этот файл нужен.
ROBOTS.TXT ДЛЯ WORDPRESS
Зачем же нужен файл robots.txt? Его функция как никогда полезна – это продвижение сайта в поисковых системах? улучшение индексации сайта. Т.е. составление robots.txt – это одна из составляющих поисковой оптимизации сайта.
Одна из функций этого файла запрещает индексации бесполезных страниц сайта. Помимо этого в нем задается адрес карты сайта sitemap.xml и прописывается главное зеркало сайта (сайт с www или без www).
Хочу отметить, что для поисковых систем один и тот же сайт с www и без www – это абсолютно разные ресурсы. Но проштудировав и поняв, что содержимое этих сайтов одинаковое, поисковики как бы объединяют их. Чтобы такого не происходило, важно прописать главное зеркало вашего сайта в robots.txt. Чтобы узнать, какое зеркало у вас считается главным , введите адрес своего сайта в браузере с www, если вас автоматически перекинет на тот же сайт без www, значит главным зеркалом вашего сайта будет являться зеркало без www.
Пример:
Мы вводим в адресатку название сайта с www.
Если главное зеркало без www, то при переходе на сайт надпись www автоматом удалится.
Правильный файл robots.txt вы можете увидеть ниже.
Правильный Robots.txt для WordPress:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: gde-dohod.ru
Sitemap: http://gde-dohod.ru/sitemap.xml.gz
Sitemap: http://gde-dohod.ru/sitemap.xml
Ваша задача:
- скопировать вышеупомянутый код и вставить в ваш созданный в текстовом редакторе файл txt;
- не закрывая файл, сразу же изменить адрес gde-dohod.ru на адрес своего собственного сайта (в последних трех строчках файла) и сохранить;
- далее обозвать этот файл словом “robots”, чтобы цельное название получилось robots.txt;
- теперь перенесите этот файл в корневую папку вашего сайта (ее путь я уточнил в начале статьи).
Все, готово. Надеюсь, вы без проблем справились с этой задачей.
Как вариант, для ускорения сего процесса вы можете просто скачать robots.txt и также там изменить последние три строки.
ВАЖНО: этот вариант подходит только для тех пользователей, кто поставил на свой блог ЧПУ! Чтобы было понятнее, ЧПУ – это система Числового Программного Управления, созданная для удобства восприятия веб-адреса человеком (а также систем и методов построения таких адресов). Проще говоря, с помощью этой системы URL-адреса выглядят более дружелюбными в наших глазах, а также в глазах поисковых систем. В последнее время практически все ставят ЧПУ на свой сайт. Если же вы об этом слышите впервые, то советую вам поскорее ее поставить.
КАК ПОСТАВИТЬ НА СВОЙ БЛОГ ЧПУ?
Делается это следующим образом:
- заходите в панель управления WordPress – Параметры – Постоянные ссылки;
- вместо стандартной настройки “По умолчанию” выбираете поле “Произвольно” и вставляете туда код: /%category%/%postname%.html;
- сохраняете изменения.
Чтобы проверить правильность файла robots.txt, зайдите на сайты Google и Яндекс и следуйте их дальнейшим инструкциям. Думаю, что никаких осложнений там возникнуть не должно.
На этом пока все. Если возникнут вопросы, оставляйте их в комментариях.