Найти тему
WEB LAB

Посто и понятно о том как работает поисковик

Оглавление

Успешность продвижения сайта зависит от понимания алгоритмов работы поисковых систем. Мы постараемся просто и понятно рассказать о том как работает крупнейший российский поисковик - Яндекс, который уже в 2012 году ежедневно имел аудиторию из 48,9 млн пользователей и имел долю в 60,5% всех поисковых запросов в России, по данным Liveinternet.

Картинка из открытых источников, собственно из поисковика :)
Картинка из открытых источников, собственно из поисковика :)

Задачи поисковиков

Неизменная задача поисковиков – помощь пользователям найти лучший ответ на возникший вопрос. Чем точнее результаты выдачи, тем выше доверие к поисковой системе. И следовательно, чем больше посетителей, тем выше доход компании за счет контекстной рекламы*.

*контекстная реклама - это платные объявления, которые находятся в начале результатов поиска

Теперь личный Шерлок есть в каждом телефоне
Теперь личный Шерлок есть в каждом телефоне

Яндекс имеет собственную огромную базу данных, которая содержит триллионы адресов сайтов. Каждый день он отвечает на миллиарды запросов. Но делает это не вручную. Ему помогают роботы-пауки или краулеры. Именно они заходят на страницу, анализируют содержимое и делают копию на сервер. Затем, переходят на следующие страницы и проводят такую же индексацию.

Работают краулеры по строгому алгоритму, который постоянно обновляется. Разработчики Яндекса совершенствуют поисковик – он все больше ориентируется на интересы посетителей и другие поведенческие факторы. Если 5 лет назад для поисковой SEO-оптимизации специалисты превращали тексты в нечитаемое полотно, напичканное ключевыми словами, то сейчас пишут полезные и интересные статьи для людей, с небольшим естественным количеством запросов.

Алгоритм анализа и выдачи простыми словами

Схема анализа сайта в Яндексе постоянно обновляется. С каждым годом выходят новые фильтры и запускаются алгоритмы, которые блокируют некачественные ресурсы или запрещенный контент. В таких ситуациях владельцам сайтов приходят информационные сообщения в Вебмастер, а сам сайт теряет десятки позиций в поиске. Но это уже отдельная история.

Картинка из открытых источников.
Картинка из открытых источников.

Тем не менее, обновления не меняют сути работы поисковика. Ее можно поделить на 3 шага:

  1. Поиск новых страниц.
  2. Индексация.
  3. Определение релевантности запросу и ранжирование данных.

Разберем каждый шаг отдельно.

Поиск новых страниц и сайтов

Работу выполняет так называемый «паук». Он ищет новые сайты и вносит их адреса в базу данных. Найти новый сайт краулер сможет если на него ссылается какой-нибудь сайт, который уже есть в базе данных. Во время очередного обновления базы, поисковик заметит новую ссылку и заинтересуется новым ресурсом.

Идет он от главной страницы сайта по всем разделам, карточкам товаров, рубрикам. Как только сканирование завершено, паук уходит к следующему ресурсу.

Ускорить работу и "прикормить" паука можно специальными расширениями, которые устанавливаются на сайт. Так, существует файл Robots.txt и специальные карты Sitemap.xml. По их установке есть отдельные инструкции для каждой платформы.

Поисковый "паук" наткнулся на циклическую ссылку
Поисковый "паук" наткнулся на циклическую ссылку

Индексация

Паук собрал все сведения о страницах в базу данных. Теперь ее нужно отсортировать, проиндексировать. Этот процесс проходит практически одновременно с первым. В ходе индексации оценивается качество текстов и изображений, отсеиваются неуникальные и бесполезные материалы. Также робот учитывает время загрузки сайта, его ссылочный профиль и еще множество факторов.

Ускорить индексацию можно через сервис Вебмастер от Яндекса. Вы можете отправить новую страницу на оперативную индексацию или попросить "паучка" обойти обновленный сайт. Вебмастер помогает отследить ошибки, а также какие страницы уже попали в базу данных поисковика.

Релевантность и ранжирование

Сайты сортируются в базе данных по ключевым запросам. Поисковые роботы оценивают, насколько близка информация с ресурса к запросам пользователя. Вычислить самые популярные запросы бесплатно помогает сервис Яндекс Вордстат, а также другие платные и бесплатные онлайн-сервисы.

Веб-мастера и seo-специалисты всегда следят за обновлениями работы поисковиков и алгоритмов ранжирования. Так, последняя версия от Яндекса выпущена в ноябре 2018 года под названием «Андромеда».

В «Андромеде» усовершенствована формула ранжирования. Теперь значение имеет удобство, наличие постоянной аудитории, баланс нужного и рекламного контента. Добавились значки для сайтов: "подтвержденные аккаунты", "популярные сайты", "выбор пользователей".

 Еще одна тематическая картинка из поисковика, что бы мы делали без него!
Еще одна тематическая картинка из поисковика, что бы мы делали без него!

Как улучшить позицию в выдаче?

Для быстрого попадания сайта в поисковые системы необходимо учитывать их алгоритм работы. А также внедрять:

  1. Файл Robots.txt, использовать Sitemap.xml для ускорения индексации.
  2. Писать полезные оптимизированные тексты.
  3. Проверять удобство ресурса, подключать к нему Webmaster от Яндекса для анализа ошибок.
  4. Добавлять ссылки на соцсети по мере роста сайта для повышения лояльности «Андромеды» от Яндекса.
  5. И другие факторы, увеличивающие лояльность поисковика к сайту. Мы рассмотрим их более подробно в следующих статьях.
Эта статья полезна для вас? Хотите узнать подробнее об этапах работы поисковиков? Пишите вопросы в комментариях. Мы обязательно на них ответим!