Всем нам известно, что очень важно чтобы ваш сайт был в индексе поисковой системы. Для этого нам необходимо оптимизировать свой сайт так, чтобы поисковик смог его беспрепятственно индексировать. Но как же это сделать?
Существует несколько факторов, которые помогают поисковикам проводить индексацию вашего сайта без особого труда.
Прежде всего хотелось бы отметить, что поисковик начинает знакомство с вашим сайтом с занесения адреса вашего сайта в свой список, после чего поисковик зайдет по вашему адресу и начнет индексацию.
Итак, фактор первый. Существуют такие сайты, содержание которых состоит всего из нескольких страниц. Причем все страницы имеют понятный человеку адрес, например www. site.ru/primer. html. Из адреса можно догадаться, что страница представляет собой HTML-файл, который расположен на веб-сервере, причем содержимое этой страницы будет одинаковым для человека и поисковика, вот именно такие страницы называют статистическими. А это говорит нам о том, что поисковики очень любят подобного рода страницы и беспрепятственно их индексируют.
Рассмотрим второй фактор: хочется сказать, что развитие Интернета не стоит на месте, соответственно создаются новые сайты, в настоящее время большую популярность имеют сайты с огромным количеством информации, и информация на них постоянно обновляется. Но есть одно но! Подобные сайты создаются на скриптах написанных на различных языках программирования, и есть минусы информация хранится не на страницах, а в скрипте, то есть не создается отдельно статистическая HTML-страница.
Конечно же поисковики не игнорируют такие сайты, они их индексируют, но с небольшими трудностями. Т. е. некоторые поисковики имеют определенные ограничение на индексацию динамических страниц.
Но из этого положения есть выход: в веб-серверах Apache имеется файл . htaccess, с помощью которого можно присваивать вашим динамическим страницам псевдостатистические страницы.
Третий фактор: бывает такая необходимость, что требуется в названии HTML-страницы использовать несколько слов. И это возможно, например написать слова слитно, написать слова через дефис, или же написать слова объединяя знаком подчеркивания. Скажу вам, что поисковик Google, при ранжировании страниц вашего сайта будет учитывать ключевые слова в названии домена, директории файлов и самих файлов. Исходя из этого советую вам использовать в качестве разделителя между словами использовать дефис, так как поисковик увидев адрес www. site.ru/nasha_stranica_gotova. html может посчитать разделенные знаком подчеркивания слова как одно слово.
Теперь подведем небольшой вывод: первый метод очень хороший, поисковик будет очень хорошо индексировать сайт; второй метод - есть небольшая проблема, браузер Internet Explorer наряду с поисковиком Yahoo не принимает во внимание слеш в конце адреса, если он будет явно указана. Выход из этой проблемы: сделайте необходимые настройки в файле . htaccess, чтобы он также создавал еще одну дополнительную страницу, чтобы не было слеша в конце.
Но это еще не все.
Много факторов также зависит от настроек веб-сервера, работы скрипта, которые оказывают также влияние на индексацию вашего сайта.
1. Вам необходимо правильно настроить веб-сервер и скрипты для работы с заголовками HTTP
Т. к. некоторые поисковики обращаются к серверу вашего сайта с нестандартными служебными заголовками, и если сервер настроен неверно, то он выдаст поисковику неправильную страницу, либо вообще страницу об ошибке.
Исход этого, нужной страницы нет в индексе.
2. Дата изменения страницы
Метод очень прост, чем чаще будет обновляться информация на вашем сайте, тем чаще его будет посещать поисковик. Давайте рассмотрим небольшой пример: у вас на сайте есть такие страницы, которые не менялись очень долго, допустим они находятся в архиве новостей, и плюс к всему этому у вас ежедневно добавляются еще страницы. Нам же необходимо, чтобы поисковик индексировал только свежие страницы, которые были добавлены за последнее время.
И для сравнения страниц поисковику необходимо скачать страницу, сравнить ее с предыдущей версией, и если же есть обновления, то он оставит старую версию страницы. Т. е. это все ведет к тому, что поисковик индексирует и старые страницы, и новые, но исход может таким, что новые страницы могут не попасть в индекс поисковика из-за большой нагрузки на него. Можно избежать этого, включив на сервере обработку дату создания и изменения страниц. При включенной настройке, то при запросе поисковика определенной страницы сервер будет ему сообщать поисковику дату изменения данной страницы. Это приведет к тому, что поисковик не будет скачивать старые страницы, зная дату из создания и изменения, а будет заниматься только новыми страницами.
3. Сессии и дубликаты
Современные сайты имеют возможность регистрации пользователей, и нам необходимо запоминать все действия пользователя, а именно когда он был последний раз на сайте, какие именно страницы он просматривал и т. д.
Контролировать данные действия можно с помощью механизма сессий, или же как их называют уникальные идентификаторы для каждого посетителя.
У простых пользователей сайта сессии хранятся в записях cookie браузера. Но бывает и так, что в браузере пользователя отключен прием cookie. Тогда в адресной строке данного пользователя адрес будет отображать в виде www. site.ru/forum. php? topic=523&sessionID=dfret5t64trfgifgfty56y74twepdksdfk.
Поисковики не имеют возможности принятия cookie, то есть им будет виден такой же адрес, как и пользователям у которых отключен прием cookie. Т. е. при каждом посещении поисковика, ему будет присваиваться определенный идентификатор, который добавляется к адресу страницы, и это приводит к тому, что одна и та же страница имеет различные адреса.
И все эти страницы будут храниться в индексе поисковика, что очень плохо.
Также проблемой могут существовать дубликаты страниц. Это обычно случается после того, как на сайте меняют адресацию страниц, то есть когда для каждой страницы вашего сайта имеется еще несколько копий. Давайте рассмотрим пример:
1. www. site.ru/news. php? id=service&mode=show
2. www. site.ru/service/
3. www. site.ru/service. html
4. www. site. ru/service. htm
Этот пример говорит о том, что если допустим ваш сайт имеет 100 страниц, то поисковик извлекет 400 ссылок, и поисковику будет очень трудно выбрать правильные страницы для индексирования.
Небольшая правда о Яндексе. У него имеется механизм, который удаляет дубликаты страниц при достижении определенного предела. Иногда это приводит к тому, что Яндекс полностью удаляет все страницы вашего сайта и заново начинает процесс индексации сайта.
4. Код страницы
Вся информация в Интернете - это прежде всего тексты в формате HTML. Веб-страница это текст, который размечен HTML-кодом. Поисковик после скачивания вашей страницы начинает процесс отделения текста страницы от его HTML-кода.
И скажу вам, если HTML-код вашей страницы составлен правильно, то поисковик будет хорошо индексировать страницу. Кроме того имеются специальные теги, с помощью которых можно изменять структуру страницы. А это в свою очередь делает удобным для индексирования поисковиками ваш сайт.