На официальном YouTube-канале Яндекса появилось видео, которое рассказывает, как работает поиск.
Яндекс постоянно сканирует интернет, чтобы воссоздать его образ на своих серверах, а затем по запросу пользователя найти и отсортировать лучшую информацию из всего массива. Каждый день поисковик обрабатывает больше запросов, чем все население России. Около половины этих запросов абсолютно новые, с ними поиск раньше не сталкивался.
Справиться с такой задачей вручную невозможно, как и невозможно написать алгоритм, который будет “знать” лучший ответ на каждый подобный запрос. Поиск работает поэтапно: сначала создает релевантную выборку из миллиардов страниц, затем из миллионов. Через несколько подобных итераций остаются те самые 10 ссылок, которые предоставляют лучший ответ на запрос пользователя. Для обычного же пользователя запрос обрабатывается практически моментально.
Сейчас уже люди не убивают время в интернете, они приходят в поиск для решения конкретных задач. Поэтому изменился и вектор работы поиска:
не найти информацию, а решить задачу.
Именно по этому принципу и формируется первая страница выдачи — она должна решать проблему человека, а не предоставлять информацию. При этом важным фактором остается скорость и удобство подачи информации: человек не должен тратить время, чтобы “собрать ответ” на разных сайтах. Не менее важно исключить из выдачи подозрительные сайты.
Поиск создают инженеры. Результаты работы оцениваются по цифрам и показателям. К примеру, пару “запрос-ответ” может проверить и оценить человек, асессор. Его оценка полезности, качества и ценности весьма субъективна, поэтому Яндекс дополнительно оценивает поведение пользователей в выдаче. Допустим, пользователи по запросу “как приучить собаку к поводку” чаща выбирают сайт с курсами дрессировок с нижних позиций, чем сайт с общей инструкцией из топа. Тогда поисковая система переоценит полезность страниц и поднимет более востребованную выше в выдаче. Такой подход называется показателем профицита.
Профицит — метрика, указывающая на полезность страницы в выдаче, рассчитанная по количеству кликов.
Ранее, если пользователь выбрал сайт и провел на нем какое-то время, то Яндекс учитывал страницу как полезную. Но это не всегда соответствовало реальности. Сейчас алгоритм оценки полезности стал учитывать дополнительные действия (если сайты передают эту информацию в Яндекс.Метрику): добавление в корзину, оплату товара. Так на первой странице поиска выше показываются те страницы, которые лучше решают проблему пользователя.
Профицит не рассчитывается постоянно вручную, для определения профицита используется машинное обучение, а алгоритм постоянно ищет те страницы, которые улучшают эти показатели. Чтобы алгоритм делал это быстро, он постоянно обучается на огромной выборке примеров страниц, где пользователи смогли успешно решить задачу, а где нет. На основе полученных данных алгоритм вырабатывает правило и с его учетом формирует далее результаты поиска.
Про быстрые ответы
Существует ряд запросов, по которым пользователям нужно получить быстрый, но емкий ответ. Им не нужна в этом случае развернутая статья с историей изучения предмета, с результатами исследований и прочего. Ответ нужен в краткой, доходчивой форме.
Либо же когда человек ищет какое-то местное заведение, то лучшим ответом все же становится не страница с обзором лучших местных мастерских, а карта, показывающая все доступные объекты. Быстрые ответы формируются для тех запросов, где алгоритм знает наверняка, что профицит таких результатов в разы выше, чем обычных страниц.
Быстрые ответы не исключают традиционной подборки страниц. Если человека заинтересует конкретное заведение или более подробное описание темы, он может прокрутить страницу вниз и перейти на нужный сайт.
Яндекс указывает, что поиск уже отходит от того, чтобы показывать пользователям просто ссылки на сайты. Он превращается в некий сервис, который эффективно решает текущие вопросы пользователя. Например, по запросу о каком-то фильме Яндекс возьмет на себя также ответственность показать кинотеатры, где можно этот фильм посмотреть, а не просто даст подборку ссылок с описанием и рецензиями.