Чтобы успешно продвинуть сайт в топ поисковой выдачи, а также решить другие задачи, связанные с интернет-маркетингом, стоит понимать, как работают ключевые поисковые системы. Для российского digital-маркетинга это, безусловно, «Яндекс» и Google, которыми пользуется подавляющее большинство жителей России и стран СНГ.
Поисковая система – это сложный аппаратно-программный комплекс, состоящий из тысяч и даже миллионов серверов, обрабатывающих пользовательские запросы и собирающих данные со всех сайтов сети Интернет, доступных к индексации. Нужно понимать, что компании, которые владеют такими системами, не разглашают информацию об архитектуре, составе и алгоритмах работы своих поисковых комплексов, поскольку это является коммерческой тайной.
Тем не менее общие принципы того, как работают поисковые системы «Яндекс» и «Гугл», известны. В SEO-продвижении сайта применяется как общедоступная информация, так и сведения, полученные экспериментальным путем.
Итак, «Яндекс» и Google устроены примерно по одному принципу, используют схожую архитектуру, логику поиска, алгоритмы ранжирования и состоят из двух составляющих:
- аппаратного обеспечения – дата-центров, объединяющих физические серверы в единую систему, и сетевых коммуникаций;
- программной части, отвечающей за логику работы поисковых систем и подготовку выдачи на запросы пользователей.
О каждом из этих компонентов следует сказать отдельно.
Физический уровень поисковых систем
«Яндекс» и Google используют распределенный принцип защищенного хранения и доступа к информации на базе дата-центров, расположенных по всему миру. Каждый дата-центр содержит в своем составе сотни тысяч (для Google – миллионы) серверов для хранения данных индексации, обработки запросов пользователя и подготовки результатов.
Каждый сервер имеет несколько зеркал, между которыми перераспределяется нагрузка. Так обеспечивается надежное резервирование на случай сбоя или выхода из строя одного из элементов такого массива. Технологии репликации обеспечивают идентичность информации на каждом сервере в режиме реального времени.
Кроме серверного оборудования дата-центры, обслуживающие поисковые системы, оснащены высокоскоростной локальной сетью и несколькими подключениями к Интернету, что обеспечивает их высокую доступность, скорость обработки информации и выдачи результатов пользователю.
Логический уровень работы поисковых систем
«Яндекс» и Google имеют идентичные принципы обработки запросов пользователя и подготовки ответа. В Google имеются некоторые отличия в технологиях, поэтому рассмотрим алгоритм на примере «Яндекса».
Запрос пользователя, введенный в поисковую строку сайта Yandex.ru, передается в балансировщик нагрузки.
Балансировщик определяет менее нагруженный кластер сети поисковых машин и передает запрос ему на обработку.
Далее анализируется орфография, определяется тематическая и региональная принадлежность, запрос классифицируется по типу.
Затем проверяется наличие похожих запросов, которые обработаны недавно. Кэш ответов на запросы некоторое время хранится для ускорения подготовки результатов. Это позволяет быстрее формировать выдачу по популярным запросам. Популярность таких запросов может быть краткосрочной (чрезвычайные происшествия, события мирового масштаба, рекламные кампании известных брендов и др.) или постоянной, связанной, например, с социальными сетями. На такие запросы пользователь получает уже готовые результаты.
Если при проверке оказывается, что в кэше нет готового ответа на запрос, он передается на серверы базового поиска, который выполняется по частям для ускорения процесса. Это обеспечивается тем, что индекс поисковой системы распределен по серверам.
Ответы от нескольких кластеров базового поиска возвращаются метапоиску, а затем проходят через систему ранжирования, которая по различным критериям выстраивает сформированную выдачу.
Алгоритмы ранжирования оказывают значительное влияние на SEO-трафик, успешность интернет-рекламы, однако владельцы поисковых систем оглашают только общие принципы их работы: качественный контент, полезность информации и т. д. Поэтому СЕО-специалистам приходится искать свои эффективные технологии оптимизации страниц сайта для достижения максимальной отдачи от рекламной кампании.