В конце октября 2018 года Брайан Маккалоу, автор и ведущий подкаста по истории интернета, опубликовал интервью с бывшим главой команды по борьбе с веб-спамом Google Мэттом Каттсом. Barry Schwartz, в свою очередь, создал заметки под названием «Удивительное интервью с Мэттом Каттсом о Google, SPAM и сообществе».
Мы решили поделиться с вами основными тезисами:
Мэтт впервые обнаружил возможность спама в Google:
Сергей Брин, выступая на конференции сказал, что вы нет спама в Google. Примерно в это время Мэтт построил классификатор для порно и использовал PageRank как способ отфильтровать плохие сайты. Он заметил, что один сайт очень хорошо работает в Google, хотя и не должен был. Владельцы этого web ресурса использовали просроченные домены с большим количеством хороших PageRank и ссылки для спама в Google. Этот факт подтвердил предположение, что в Google возможен spam.
Реакция основателей Google:
Мэтт Каттс сообщил о результатах своих наблюдений с основателями Google – Сергеем Брином и Ларри Пейджем. Они настаивали на том, что в Google не может быть проблем со spam. Они утверждали, что если 8 из 10 результатов поиска по определённому запросу относятся к одной компании, то да, нужно принимать меры, а во всех остальных случаях ничего предпринимать не нужно. По словам Мэтта, в тот период ему было очень сложно работать – он видел проблему, а руководство предоставляемые факты проблемой не считали.
Время перемен в Google:
Каттс вынужден был отступить и ждать ухудшения ситуации со спамом. 2004 год ознаменовался запуском Orkut (прекратившая работу социальная сеть Google). В то время Ларри Пейдж активно читал Slashdot (англоязычный новостной сайт, специализирующийся на технических темах), где практически все критиковали компанию за странную социальную сеть в то время, когда у неё самой есть проблемы с результатами поиска. Это помогло всё изменить. На дворе был 2005 год.
Глава команды по борьбе со спамом:
Так как Каттс занимался проблемой веб-спама и раньше, то именно его попросили возглавить команду по борьбе с тем же web спамом. Команда начала свою работу в 2001 году и насчитывала восемь человек. В первую очередь они занимались качеством поиска, а не только спамом, также вопросами скорости и т.д. Сам Мэтт сосредоточил своё внимание только на спаме. Специалисты этого подразделения могли менять любую часть алгоритма.
Участие в SEO сообществе:
Каттс принимал активное участие в обсуждениях на форуме WebmasterWorld, бывал на конференции и использовал полученную обратную связь в целях улучшения алгоритма. В Google сообразили, что SEO – это не только пользование запрещёнными тактиками, попытки манипулировать результатами поиска и покупка ссылок. Поисковую оптимизацию применяли, в большинстве своём, небольшие компании, которые ставили цели по улучшению своего бизнеса.
Мэтт Каттс — известность в internet:
Мэтт начал вести свой блог в 2005 году. После этого он начал снимать видео для вебмастеров. Темп работы был весьма высок и количество видео достигало 20 в день. Аудитория узнала, кто такой Мэтт Каттс и как он выглядит. Его начали узнавать. Один из эпизодов произошёл в индийском аэропорту. Именно тогда Каттс понял, что ему необходимо привлекать к этой работе и других людей.
Критика от web-мастеров:
SEO-сообщество уважало Мэтта Каттса, но ситуации бывали разные. Критики со стороны вебмастеров хватало, так как не все были согласны с его позицией, которая мешала многим легко зарабатывать. Мэтт признался, что 2-3 раза ему угрожали смертью. Однако, это были единичные случаи. Как правило, он старался уважительно относиться ко всем и видел то же отношение в ответ.
Google. Машинное обучение:
Как используется в работе поисковой системы машинное обучение и в каком объёме? По мнению Мэтта, в настоящее время в работе Google машинное обучение используется в широком спектре. В своё время Амит Сингхал (бывший глава по поиску Google) заявлял, что если позволить нейросетям делать всё, то при появлении плохих результатов нельзя будет узнать истинную причину. Именно потому важно разделение на отдельные разделы и весьма важно участие человека в этих процессах. По этой причине использование машинного обучения должно быть полезным, но не во всём алгоритме.
Мэтт Каттс отметил, что после его ухода в Google, наверное, стали ещё больше использовать машинное обучение. Однако, во время его работы в компании было важно, чтобы именно человек мог определить причины неполадок и ошибок.
Что касается первичного алгоритма PageRank, запатентованного Пейджем и Брином, то основная цель этой модели по-прежнему актуальна. Сам же алгоритм, скорее всего, претерпел значительные изменения.
Выход из сообщества SEO:
Мэтт сообщил об отписки практически от всех SEO-специалистов в Twitter. Он сменил их на комедиантов. Однако, Каттс отметил, что какая-то часть его мозга по-прежнему интересуется поиском, но сейчас для него более актуальны другие вопросы. «Лицом поиска» теперь в какой-то мере является Дэнни Салливан. По словам Мэтта, для Google важно понимать, что им необходимо слышать внешний мир.
Интервью целиком опубликовано на канале YouTube.