Мировая поисковая оптимизация сегодня во многом вращается вокруг Google, и немного около остальных поисковых систем, в том числе Яндекса. Тем не менее, основы практики, которые мы знаем как SEO, на самом деле предшествовала созданию самой популярной в мире поисковой системы. Как SEO может быть старше чем Google? В том числе ответ на этот вопрос вы найдете в этой статье.
Можно утверждать, что SEO и все, что связано с маркетингом в поисковых системах, началось с запуска первого сайта , опубликованного в 1991 году или, возможно, с запуском первой поисковой системы, история SEO «официально» начинается немного позже, примерно в 1997 году. В том году, менеджер одной из американских рок-групп, был не удовлетворен тем, что его группа находилась по запросу только на четвертой странице поисковой системы, коих в те времена было великое множество. Он был озадачен вопросом: можно ли воздействовать на поисковик таким образом, чтобы та информация, которую он желает видеть среди первых записей, там оказалась. Возможно это легенда из журналов для гиков, но бесспорно, что если этим вопросом сейчас интересуются миллионы, значит был среди них кто-то первый. Всемирная паутина в то время была довольно новой концепцией для большинства людей. Сегодня же все хотят управлять страницами результатов поисковой системы (SERP).
До того, как поисковая оптимизация стала официальным названием, использовались и другие термины:
- Размещение в поисковых системах.
- Позиционирование в поисковых системах.
- Ранжирование в поисковых системах.
- Регистрация в поисковых системах.
- Представление поисковой системы.
- Продвижение сайта.
- Поисковый маркетинг.
Сам термин - SEO, может не идеален, но он остается предпочтительным термином в этой отрасли уже более 20 лет и, вероятно, останется для ближайшее будущее.
Хронология истории поисковых систем
Поисковые системы изменили то, как мы находим информацию, проводим исследования, покупаем товары и услуги, развлекаемся и общаемся с другими. Почти за каждым онлайн-ресурсом — будь то веб-сайт, блог, социальная сеть или приложение — стоит поисковая система. Они стали связующей силой и ориентиром в повседневной жизни.
Но как все это началось?
Вот хронология важных вех в истории поисковых систем и поисковой оптимизации, чтобы понять корни этой технологии, которая стала такой важной частью нашего мира.
Рассвет SEO: эпоха "Дикого Запада"
В последнее десятилетие двадцатого века рынок поисковых систем был очень конкурентным. У пользователей был выбор поисковых систем — как каталогов, созданных человеком, так и списков на основе поисковых роботов, включая такие, как AltaVista, Ask, Excite, Infoseek, Lycos , Yahoo, Rambler, Aport и другие.
В начале единственный способ выполнить какое-либо SEO было через действия на странице. Это включало оптимизацию для таких факторов, как:
- Убедиться, что контент был хорошим и актуальным.
- Текста было достаточно.
- Теги HTML - точные.
- Есть внутренние ссылки и внешние ссылки.
Если собственник сайта хотел получить хороший рейтинг в ту эпоху, хитрость заключалась в том, чтобы просто повторять свои ключевые слова достаточное количество раз на своих веб-страницах и в мета-тегах. Хотите опередить страницу, которая использует ключевое слово в 100 раз? Тогда вы использовали бы ключевое слово 200 раз! Сегодня эта практика называется спамом.
В 1994 году поисковик Yahoo был создан студентами Стэнфордского университета Джерри Вангом и Дэвидом Фило в трейлере кампуса. Yahoo изначально был списком интернет-закладок и каталогом интересных сайтов. Веб-мастерам приходилось вручную отправлять свои страницы в каталог Yahoo для индексации, чтобы Yahoo мог найти их, когда кто-то выполняет поиск. Тогда так же запущены AltaVista, Excite и Lycos.
В это время в России группа разработчиков создала несколько локальных поисковых программ, в том числе Международный классификатор изобретений и поиск по Библии, который учитывал морфологию русского языка. Технология получила название «Яndex». Слово расшифровывалось как yet another indexer или как «Языковой индекс».
В 1996 году Пейдж и Брин, два студента Стэнфордского университета, создали и протестировали Backrub, новую поисковую систему, ранжирующую сайты на основе релевантности и популярности входящих ссылок. Backrub, в конечном итоге, станет Google. В тот же период был запущен HotBot на базе Inktomi.
В 1997 году после успеха «Руководства для веб-мастеров по поисковым системам» Дэнни Салливан запустил Search Engine Watch, веб-сайт, посвященный новостям о поисковой отрасли, советам по поиску в Интернете и информации о том, как лучше ранжировать веб-сайты. Также дебютировал Ask Jeeves, и был зарегистрирован Google.com.
А в России в том году была впервые анонсирована поисковая машина «Яndex-Web».
В 1998 году Goto.com запущен с рекламными ссылками и платным поиском. Рекламодатели делают ставки на Goto.com, чтобы он занимал место выше обычных результатов поиска, которые были созданы Inktomi. В конечном итоге Goto.com был приобретен Yahoo.
DMOZ (проект Open Directory) стал самым популярным местом для SEO-специалистов, где они могли разместить свои страницы.
MSN вышла на рынок с помощью MSN Search, первоначально созданного на базе Inktomi.
В 1999 году состоялась первая в истории конференция по поисковому маркетингу Search Engine Strategies (SES).
В 2000 году Yahoo совершила худший стратегический ход в истории поиска и стала партнером Google и позволила Google управлять своими органическими результатами вместо Inktomi. Раньше Google был малоизвестной поисковой системой. Но кто в это сейчас поверит?
Конечный результат: в каждом результате поиска Yahoo было написано «Работает на Google», и в итоге они представили миру своего крупнейшего конкурента, а имя Google стало нарицательным. До этого момента поисковые системы ранжировали сайты на основе содержания на странице, доменных имен, способности попасть в вышеупомянутые каталоги и базовой структуры сайта. Но поисковый робот Google и алгоритм PageRank были революционными для поиска информации. Google рассматривал как внутренние, так и внешние факторы — количество и качество внешних ссылок, указывающих на веб-сайт, а также используемый анкорный текст.
Алгоритм Google работал по принципу: «Если люди говорят о вас, вы должны быть важны». Хотя ссылки были лишь одним из компонентов общего алгоритма ранжирования Google, специалисты по поисковой оптимизации ухватились за ссылки как за самый важный фактор — и была создана целая подотрасль линкбилдинга .
В течение следующего десятилетия это превратилось в гонку за получением как можно большего количества ссылок в надежде на более высокий рейтинг. Ссылки стали широко используемой тактикой, с которой Google придется бороться.
Также в 2000 году панель инструментов Google стала доступна в Internet Explorer, позволяя специалистам по поисковой оптимизации видеть свой показатель PageRank (число от 0 до 10). Это открыло эру спам писем с запросами на обмен ссылками.
Таким образом, с помощью PageRank Google, по сути, ввел валюту для своих ссылок. Так же, как авторитет домена сегодня используется не по назначению.
Обычные результаты Google также получили некоторую поддержку в виде рекламы AdWords, начиная с 2000 года. Эти платные поисковые объявления начали появляться выше, ниже и справа от обычных то есть бесплатных результатов Google.
Хотя Брин из Google однажды сказал, что Google не верит в веб-спам, его мнение, вероятно, изменилось к тому времени, когда наступил 2003 год. SEO стало намного сложнее после таких обновлений, как алгоритм Флорида , потому что SEO стало гораздо сложнее, чем простое повторение ключевых слов Х раз.
Тогда, в августе 2001 года, Яндекс запустил контекстную рекламу «Яндекс.Директ».
Google AdSense: монетизация ужасного SEO-контента.
В 2003 году, после приобретения Blogger.com, Google запустил AdSense, который показывал контекстно-таргетированные объявления Google на сайтах издателей.
Сочетание AdSense и Blogger.com привело к всплеску простых, монетизированных онлайн-публикаций и революции в блогах. Google, вероятно, не понимал в то время, что создавал проблемы, которые им нужно будет исправить в будущем.
AdSense породила тактику рассылки спама и сайты, созданные для AdSense, наполненные некачественным, украденным контентом, который существовал исключительно для того, чтобы иметь высокие рейтинги, получать клики и зарабатывать деньги.
Локальное SEO и персонализация.
В 2004 году Google и другие ведущие поисковые системы начали улучшать результаты запросов с географической целью, например: ресторан, сантехник или какой-либо другой тип бизнеса или поставщика услуг в вашем городе. Тогда же Google и поисковые системы начали более широко использовать данные конечных пользователей, такие как история поиска и интересы, для персонализации результатов поиска. Это означало, что результаты, которые вы видели, могли отличаться от того, что видел кто-то, сидящий рядом с вами в кафе, когда он или она выполнял поиск по тому же запросу.
К 2006 году Google выпустила Maps Plus Box.
Также в 2005 году теги nofollow были созданы как средство борьбы со спамом. SEO-специалисты начали использовать этот тег как способ моделирования PageRank .
Google выпустил несколько примечательных обновлений: алгоритм Джаггера , что помогло уменьшить количество незапрашиваемых обменов ссылками, и возвестило о снижении важности анкорного текста как фактора из-за его ангажированности.
Big Daddy улучшил архитектуру Google, чтобы лучше понять ценность и взаимосвязь ссылок между сайтами. YouTube, Google Analytics и инструменты для веб-мастеров.
В октябре 2006 года Google приобрел созданную пользователями сеть обмена видео YouTube за 1,65 миллиарда долларов, которая в конечном итоге стала второй по популярности поисковой собственностью в мире.
Сегодня у YouTube более 2 миллиардов пользователей!
Из-за своей растущей популярности SEO-оптимизация видео стала решающей для брендов, компаний и частных лиц, которые хотели, чтобы их нашли.
Google также запустил невероятно важные инструменты в 2006 году: Google Аналитика - бесплатный веб-инструмент который приобрел такую популярность при запуске , что веб-мастера получали предупреждения о простоях и обслуживании; Инструменты Google для веб-мастеров, теперь известные как Search Console, позволяют веб-мастерам просматривать ошибки сканирования, видеть, по каким запросам появился ваш сайт, и запрашивать повторное включение.
Также в 2006 году XML-карты сайта получили всеобщую поддержку поисковых систем . Карты сайта XML позволяли веб-мастерам отображать для поисковых систем каждую страницу своего веб-сайта, доступную для сканирования и содержала не только список URL-адресов, но и ряд дополнительной информации, которая помогает поисковым системам сканировать сайт более эффективно.
Универсальный поиск
Начиная с 2007 года поиск начинает развиваться новыми и захватывающими способами. Начнем с универсального поиска Google . До этого момента результаты поиска состояли из 10 синих ссылок. Затем Google начал смешивать традиционные органические результаты поиска с другими типами вертикальных результатов, такими как новости, видео и изображения. Это было самым большим изменением в поиске Google — и SEO, со времен запуска Флориды.
Очистка выгребной ямы
В 2008 году тогдашний генеральный директор Google Эрик Шмидт сказал, что Интернет становится выгребной ямой, а бренды — это решение . «Бренды — это то, как вы разбираете выгребную яму», — сказал он.
Менее чем через шесть месяцев после его комментария появилось обновление Google под названием Vince . Крупные бренды внезапно оказались намного лучше в поисковой выдаче. Google хотел придать большее значение доверию к поиску, а крупным брендам, как правило, доверяют больше, чем представителям малого бизнеса. Вскоре после этого Google выпустила еще одно обновление для повышения скорости индексации под названием Caffeine.
Caffeine представлял собой поисковую архитектуру нового поколения для Google, которая должна была быть быстрее и точнее, обеспечивать качественные и релевантные результаты и сканировать большие сегменты Интернета.
Говоря о скорости, в 2010 году Google объявил, что скорость сайта является фактором ранжирования.
Bing и Поисковый Альянс
В 2009 году Microsoft Live Search стал Bing.
Затем, в попытке бросить вызов почти 70-процентной власти Google на рынке поиска в США, Yahoo и Microsoft объединили свои усилия, чтобы заключить 10-летнее соглашение о поиске. Поисковый альянс увидел, что Bing от Microsoft усилил органические и платные результаты поиска Yahoo. Хотя это сделало Bing чистой поисковой системой номер 2, они в конечном итоге не смогли сломить огромную власть Google в поиске во всем мире. В октябре 2020 года Bing официально был переименован в Microsoft Bing.
Рост социальных сетей
В 2000-х появилось еще одно явление: социальные сети.
Google сделал большую ставку на YouTube, хотя были безуспешные попытки развить уже несуществующий Google+ . Но другие сети, такие как Facebook, Twitter, LinkedIn, в России - ВКонтакте и Одноклассники, стали крупными игроками в интернет-пространстве.
Вместе с ростом популярности социальных сетей появились предположения, что ссылки из социальных сетей могут влиять на ранжирование в поиске. Действительно, социальные сети могут помочь SEO, но косвенно — точно так же, как другие формы маркетинга могут помочь привлечь больше трафика на ваш сайт и повысить узнаваемость бренда.
Несмотря на то, что влияние социальных репостов, лайков, твитов, неоднократно отрицалось поисковиками на протяжении многих лет как фактор ранжирования, оно по-прежнему указывалось как имеющее сильную корреляцию в различных исследованиях факторов ранжирования .
Микроразметка
Разметка микроданных Schema.org была введена в 2011 году, чтобы помочь поисковым системам интерпретировать контекст запроса. Вы можете просмотреть каждый тип разметки схемы на Schema.org.
Схема не является фактором ранжирования. И мало доказательств того, что это влияет на эффективность вашего поиска. Тем не менее, схема помогает выделиться в поисковой выдаче с помощью расширенных и избранных фрагментов. Другой эксперимент InLinks показал, что сайты со микроразметкой повышают их рейтинг в поиске.
Зоопарк Google: панда и пингвин (про Яндекс в отдельной статье).
Два основных алгоритмических обновления — Panda в 2011 году и Penguin в 2012 году — оказали большое влияние на поисковую оптимизацию, которое ощущается и по сей день, поскольку Google снова попытался очистить результаты поиска и вознаградить высококачественные сайты.
В 2011 году результаты поиска Google подверглись серьезной проверке, поскольку в результатах поиска преобладали так называемые «контент-фермы» то есть веб-сайты, производившие большое количество низкокачественного контента.
Поисковая выдача Google также была загромождена веб-сайтами с неоригинальным и автоматически сгенерированным текстом, и даже в некоторых случаях сайты-плагиаторы опережали авторов контента. В результате эти сайты получали огромные доходы от рекламы. Они жили и умирали благодаря органическому трафику от Google. Но как только в 2011 году вышло обновление Google Panda , многие увидели, что большая часть, если не весь этот трафик, исчезла в одночасье. Google показал, что считается высококачественным сайтом.
Направленная на устранение некачественного контента, Panda периодически обновлялась в течение следующих лет, в конечном итоге интегрировавшись в основной алгоритм Google в 2016 году. Поскольку веб-сайты все еще восстанавливаются после воздействия Panda, Google запустил алгоритм чрезмерной оптимизации, предназначенный для устранения «агрессивной тактики спама» из его результатов.
Со временем получивший название Penguin , этот алгоритм предназначался для выявления накруток авторитета сайта при помощи ссылок. Penguin обновлялся не так часто, как Panda, и между некоторыми обновлениями проходило больше года. Как и Panda, Penguin стал частью основного алгоритма Google в 2016 году.
В мае 2012 года Google представила Knowledge Graph . Это был серьезный переход от интерпретации строк ключевых слов к пониманию семантики и намерений. Google расширил результаты поиска с помощью этой информации.
Панели знаний, блоки и карусели могут появляться всякий раз, когда люди выполняют поиск одной из миллиардов сущностей и фактов в сети знаний.
Следующий шаг в поисковой системе нового поколения от Google был сделан в сентябре 2013 года в виде Hummingbird , нового алгоритма, разработанного для лучшего выполнения запросов на естественном языке и диалогового поиска.
С появлением мобильных устройств и голосового поиска Google необходимо было полностью перестроить работу своего алгоритма, чтобы удовлетворить потребности современных пользователей. Hummingbird считался самым большим изменением в основном алгоритме Google с 2001 года. Очевидно, Google хотел предоставлять более быстрые и релевантные результаты для мобильных пользователей.
Мобильный трафик.
Примерно с 2005 года в SEO отрасли постоянно задавали один вопрос: «Год мобильных устройств уже наступил?»
Оказывается, не в 2005 году. Даже не в 2010 году, когда Google превратилась в компанию, ориентированную на мобильные устройства. Затем прошли 2011, 2012, 2013 и 2014 годы. О мобильном телефоне говорили и много рекламировали, потому что тогда этот рынок рос сумасшедшими темпами.
По мере того, как все больше пользователей перенимали смартфоны, они все чаще искали предприятия, кафе, песни, вещи, и любую другую информацию, находясь в дороге. В 2015 году все же наступил Год мобильных устройств — точка, в которой мобильный поиск впервые обогнал поиск на компьютере в Google. И хотя это верно с точки зрения необработанных поисковых чисел, также верно и то, что цель поиска совершенно другая, а коэффициент конверсии на мобильных устройствах остается намного ниже.
Это был год, когда comScore сообщил, что количество пользователей Интернета, использующих только мобильные устройства, превысило количество пользователей, использующих только настольные компьютеры.
Также в 2015 году Google запустил долгожданное обновление алгоритма для мобильных устройств , предназначенное для предоставления пользователям «наиболее актуальных и своевременных результатов, независимо от того, находится ли информация на мобильных веб-страницах или в мобильном приложении».
Пытаясь ускорить работу страниц, в 2016 году Google также представил ускоренные мобильные страницы AMP. Идея AMP заключалась в мгновенной загрузке контента. Многие средства массовой информации и издатели быстро внедрили AMP и продолжают использовать его сегодня.
В январе 2017 года Google объявил, что скорость страницы теперь будет фактором ранжирования для мобильного поиска . В том же месяце Google заявил, что начнет обесценивать страницы с навязчивыми всплывающими окнами.
В июле 2019 года для всех новых веб -сайтов была включена мобильная индексация . А к марту 2021 года все веб-сайты перейдут на индексацию для мобильных устройств.
Машинное обучение и интеллектуальный поиск
Ранее я упоминал, что Google, изначально построенный на поиске информации, стал компанией, ориентированной прежде всего на мобильные устройства. Однако, это изменилось в 2017 году, когда генеральный директор Google Сундар Пичаи объявил Google первой компанией, занимающейся машинным обучением.
Сегодня поиск Google предназначен для информирования и помощи, а не для предоставления пользователям списка ссылок. Вот почему Google встроил машинное обучение во все свои продукты, включая поиск, Gmail, рекламу, Google Assistant и другие. Что касается поиска, уже заметно влияние машинного обучения с помощью Google RankBrain.
Объявленный в октябре 2015 года, RankBrain изначально использовался для интерпретации 15% поисковых запросов, которые Google никогда раньше не видел, на основе слов или фраз, которые ввел пользователь. С тех пор Google расширил RankBrain, чтобы он запускался при каждом поиске.
Хотя RankBrain влияет на рейтинг, он не является фактором ранжирования в традиционном смысле, когда вы получаете вознаграждение за более высокий рейтинг за выполнение x, y и z.
Мир интеллектуального поиска скоро станет больше . Количество голосовых запросов увеличивается. Визуальный поиск уже набирает популярность. Пользователи все чаще используют чат-ботов и личных помощников например: Siri от Apple, Alexa от Amazon и Cortana от Microsoft.
Эти достижения в области технологий означают, что тех, кто занимается SEO, ждут более захватывающие времена.
Основные обновления Google
Google обновляет свой алгоритм каждый день. В течение года Google выпускает основные обновления, когда в его алгоритм вносятся изменения.
Существуют также значительные обновления основного алгоритма. Цель их — улучшить поиск для пользователей с более релевантными и заслуживающими доверия результатами поиска.
Основные обновления Google не нацелены на определенную страницу или сайт, а направлены на улучшение того, как система отслеживает контент.
В марте 2018 года Google подтвердил, что развернуто масштабное обновление основного алгоритма, которое принесет пользу страницам с недостаточным вознаграждением. Потом Google выпустил еще одно масштабное обновление основного алгоритма, направленное на релевантность контента. Затем в августе последовало еще одно широкое основное обновление, нацеленное на сайты с некачественным контентом.
В марте 2019 года, в качестве расширения основного обновления от августа 2018 года, Google подтвердил, что основное обновление, также известное как Florida 2, запущено.
Но SEO-сообщество посчитало, что это скорее откат к предыдущим алгоритмам.
Кроме того, в июне 2019 года произошло еще одно существенное обновление ядра , которое выявило слабые места EAT на веб-сайтах, уделив особое внимание авторитетности и надежности входящих ссылок.
Время от времени Google выпускает масштабное обновление ядра, которое влияет на все результаты поиска по всему миру.
Например, в сентябре 2019 года было выпущено масштабное обновление ядра , направленное на повышение общей оптимальной производительности сайтов. И еще одно широкое основное обновление в январе 2020 года , нацеленное на категории YMYL.
В мае 2020 года, Google выпустила основное обновление , которое нацелено на целевые страницы с тонким контентом и повышает результаты локального поиска.
БЕРТ
BERT — крупнейшее обновление алгоритма Google со времен RankBrain.
BERT расшифровывается как представления двунаправленного кодировщика от преобразователей, используемых для обработки естественного языка.
По сути, это помогает Google лучше понимать контекст поисковых запросов. С помощью BERT Google может анализировать текст для предоставления более качественных результатов поиска.
Что делает BERT еще лучше, так это то, что Google теперь может использовать слова, окружающие ваши ключевые слова, чтобы помочь своим паукам переварить ваш контент.
Избранные фрагменты.
Избранные сниппеты — это короткий текст, маркеры, числа или таблицы, которые появляются в верхней части поиска Google.
Цель расширенного сниппета — ответить на запрос пользователя непосредственно в поисковой выдаче без необходимости переходить на веб-сайт. Но избранные фрагменты могут быть чрезвычайно изменчивыми , поэтому действуйте осторожно.
В избранных фрагментах нет ничего нового. Их заметили еще в 2014 году.
Они дали толчок привлекательности желанной «нулевой позиции». Это означает, что результат поиска отображается выше всех других отвлекающих факторов в поисковой выдаче, плюс также будут отображаться в обычных результатах.
В январе 2020 года Google обновил эту функцию, чтобы удалить дубликаты результатов поиска избранного фрагмента , чтобы вы были включены либо в избранный фрагмент, либо в обычный результат, а не в оба.
А в июне 2020 года Google выпустил еще одно обновление, в котором говорится, что избранные фрагменты теперь будут направлять пользователей непосредственно к тексту, соответствующему их поисковому запросу.
Теперь пользователи видят текст, выделенный желтым цветом.
По мере того, как голосовой поиск продолжает совершенствоваться, содержание избранных сниппетов предоставит большие возможности для повышения органической видимости.
Итог
Поисковые системы и SEO прошли долгий путь с 1990-х годов. В этой статье были затронуты лишь некоторые ключевые фрагменты их развития.
История SEO была наполнена захватывающими поворотами — рождением новых поисковых систем, уходом старых поисковых систем, новыми функциями SERP, алгоритмами, постоянными тестами и обновлениями, конференциями, инструментами.
Хотя поисковые системы и SEO сильно развились за эти годы, одно остается верным: пока есть поисковые системы, SEO будет оставаться жизненно важным.