Первое о чем хочется сказать, в сентябре 2020 года Яндекс, как изменение алгоритма ранжирования, ввёл технологию YATI или Yet Another Transformer with Improvements (“архитектура нейросетей-трансформеров"). Ее цель повысить качество понимания «смысла» текста путём оценки смысловой близости запроса и вэб-страницы.Сами эксперты Яндекса называют Yati самым значимым изменением в поиске Яндекса за последние 10 лет, который дает 95,4% отношение полученного качества поискового ответа к идеальному поисковому ответу.Как работал поиск раньшеДо 2016 г. Яндекс работал по следующей модели: алгоритм анализирует текст математически считает количество вхождений слов из запроса в тексе и длину максимальной подстроки в документе, использует историю поиска - сколько кликов получает или не получает документ. Если документ и запрос содержат одинаковые слова и подстроки предполагалось, что они близки по смыслу.Далее перешли на использование первых нейронных сетей. В 2016 году Яндекс запустил алгоритм "Палех", а с 2017 года "Королев", что обеспечило большее семантическое приближение запроса и документа.Первые нейронные сети на архитектуре feed-forward получали текст, превращали каждое слово в вектор, затем полученные векторы суммировали в один семантический вектор, который описывал весь текст. Нейронные сети обучаются на миллиардах примеров, таргетом становится предпочтение пользователя, которое предполагается по шаблону поведения из логов поиска. Основной вопрос в этом подходе в том как интерпретировать действие/предпочтение пользователя, т.к. клик по документу не всегда подтверждает наличие смысловой связи и наоборот. Далее был внедрен алгоритм “поисковых переформулировок”, который опирается на свойственный пользователям шаблон поведения: вводить несколько последующих запросов для уточнения результатов поиска. Пользователь переформулирует запрос до тех пор, пока не получит подходящий ответ. Начал использоваться подход, который называется transfer learning, когда сеть обучается на миллиардах пользовательских переформулировок, а затем на экспертных оценках.Как работает YatiВ трансформерах каждый элемент заданного на входе текста обрабатывается отдельно с сохранением положения и задается отдельным вектором. Сеть также использует attention-механизм, позволяющий ей концентрировать внимание на разных частях исходного текста. Векторы элементов не суммируются, не преображаются в один семантический вектор, в отличие от простейших нейронок. Первоначально идет таргет на клик. Далее используются оценки релевантности из Толоки. На последующем этапе используются оценках экспертов. На последнем этапе происходит обучение на итоговую метрику. Основной упор это модели — экспертная оценка, именно на ее основании формируется текущая выдача Яндекса. Когда прямых ответов на запрос пользователя оказывается мало, то «смысловые» факторы начинаю играть роль и попадают в ТОП выдачу.YATI обеспечивает более 50% вклад в ранжирование. При этом надо учесть, что в эти 50% будут включены еще некоторые поведенческие факторы, т.к. YATI обрабатывает много стримов (анкорку, текст, ПФ и др.). Т.к. анкорные ссылки тоже учитываются, то говорить о преждевременной смерти ссылочного рано, но его вклад в общую формулу значительно снижается с каждым обновлением алгоритма, но не умирает.Новый алгоритм для НЧ-запросов важней, чем для СЧ и/или ВЧ. В тексте теперь вхождения не столь важны в отличие от слов задающих тематику.А как новый алгоритм скажется на использовании накрутки думаем еще говорить преждевременно.Для соответствия вашего сайта данной технологии надо проанализировать запросы, по которым были переходы на URL и по которым переходов не было, проверить их релевантность. Посмотреть длинный хвост запросов. Расширить СЯ в сторону НЧ запросов и сделать кластеризацию ключевых запросов. Пересмотр СЯ надо делать как минимум 1 раз в 3 месяца, т.к. меняется частота и появляются новые запросы. После изменения СЯ и класторизации, необходимо внести изменения в карту релевантности. Такой подход повысит сайт в коммерческой выдачи и, соответственно, увеличит продажи.Мы в Digital Tools полностью пересматриваем СЯ один раз в 3 месяца и делаем hotfix, когда клиент запускает новый продукт или услугу или ее корректирует, 1 раз в месяц.