Сегодня поисковыми системами пользуется каждый: от тебя, который с их помощью наткнулся на эту статью, до твоего соседа, который «гуглит» как починить свой сварочный аппарат. Современные поисковые системы в своем развитии настолько ушли вперед, что понимают запросы пользователя с полуслова, подстраивают свою выдачу под местонахождение «клиента», сами выдают ответы на некоторые вопросы и т.д.
Однако, не всегда было так. В середине 80-х, когда всемирная паутина только начинала свой путь развития, поисковых систем не было даже и в помине. Тогда пользователи сохраняли ссылки на важные сайты в закладках или записывали их в текстовые файлы. История возникновения первых поисковых систем началась в коне 80-х и прошла долгий путь развития.
В этой статье постараюсь кратко расписать историю создания поисковых систем и их развития. Поехали!
Когда появилась первая поисковая система?
1989 год, студент-компьютерщик Алан Эмтедж из Барбадоса изобрел первую поисковую систему – Archie. Арчи работал следующим образом: он скачивал файлы из доступных FTP-серверов, после чего из всех этих файлов строил базу данных. Пользователи с помощью Archie по названию файлов находили нужные им сайты.
1991 – протокол Gopher
В 1991 году Марк Маккэхилл создает сетевой протокол – Gopher. Структура протокола заключалась во вложенности каталогов и файлов друг в друга. На базе этого протокола создаются поисковые системы Veronica и Jughead.
С помощью Veronica можно было выполнять поиск по ключевым слова в заголовках файлов из базы данных Gopher.
Jughead, в свою очередь, выполнял поиск информации по одному серверу за раз.
1993 – W3catalog, Wandex, Aliweb
W3catalog
В 1993 году Оскар Нирштрасс представил миру W3catalog. Система работала на базе сценариев из Perl, которые копировали веб-страницы, после чего из них формировался стандартный формат для поиска информации.
Wandex
Wandex по праву считается первой поисковой системой, которая самостоятельно индексирует сайты и выдает результаты по поисковому запросу. Но все так же индексировались только заголовки сайта, а результаты выдачи представляли из себя нерелевантный набор из ссылок. Создателем Wandex является Мэтью Грэй.
Aliweb
Особенностью Aliweb являлось то, что пользователи сами должны были индексировать сайты, для того, чтобы те учувствовали в поиске.
1994 – Excite, WebCrawler, Yahoo
В 1994 году произошел следующий виток в истории развития поисковых систем:
Excite
Одна из первых поисковых систем, которая начала использовать статический анализ слов в тексте сайта для упрощенного поиска. Создатели: Грэм Спенсер, Джо Краус, Марк ВанХарен, Райан МакИнтир, Бен Латч и Мартин Райнфрид.
WebCrawler
Это была первая в истории поисковая система, которая осуществляла поиск по всему содержимому веб-страниц, а не только по их заголовкам. Создатель: Брайан Пинкертон. К слову, эта поисковая система работает и сегодня)
Yahoo
Изначально проект задумывался как каталог сайтов для студентов Стэнфордского университета с собственной системой поиска. Однако его аудитория многократно расширилась.
На данный момент Yahoo! является одной из пяти ведущих поисковых систем в мире, особенно популярной в Соединенных Штатах.
Создатели: Джерри Янг и Дэвид Фило.
1995 – Altavista
У системы Altavista были следующие особенности:
- Была самой быстрой на момент своего существования;
- Принимала запросы на «естественном языке»;
- Поддерживала множество языков: русский, японский, китайский.
1996 – Апорт и Рамблер
Апорт
На момент своего создания система искала информацию только по сайту russia.agama.com. После, ближе к 1997 году расширил свой поиск на весь интернет.
Апорт также предлагал функцию поиска организаций по их адресам.
Важно упомянуть, что Апорт стал первым поисковиком в русскоязычном сегменте интернета, который внедрил технологию ранжирования по Page Rank, которая является основой технологии поиска Google.
Рамблер
Когда Rambler был запущен, он проиндексировал около 100 тысяч документов, что было значительным достижением, учитывая, что в то время в русскоязычном интернете было не более 50 веб-сайтов.
За один год после своего появления, Rambler вышел в лидеры среди российских поисковых систем, опередив таких игроков, как Altavista и Апорт.
Создатель: Дмитрий Крюков.
1997 – Google и Яндекс
Этот год поистине можно считать «золотым годом» в истории развития поисковых систем:
Яндекс
Интересный факт заключается в том, что первая рабочая версия поисковика "Яndex" была разработана в 1993 году и первоначально служа инструментом для поиска информации на одном сайте.
После релиза в 1997 году Яндекс быстро завоевал популярность. К середине 1999 года, Яндекс уже входил в семерку самых посещаемых сайтов русскоязычного интернета. К 2001 году Яндекс опередил Rambler, став лидером среди русскоязычных сайтов. Этот успех был достигнут благодаря улучшенному поиску ссылок, введение «взвешенного индекса цитирования», а также повышение точности и скорости поиска.
Сегодня Яндекс является самым крупным поисковым сервисом в Рунете и входит в ТОП10 мировых ПС.
Создатели: Аркадий Волож и Илья Сегалович.
Сергей Брин и Ларри Пейдж, студенты Стэнфордского университета, заложили основу для создания Google, начав разработку проекта еще в 1996 году(тогда он носил название BackRub). Они были убеждены, что эффективность поисковых систем должна основываться на анализе частоты использования поисковых запросов на веб-страницах. После появился алгоритм учета ссылок при ранжировании – Page Rank, который стал ключевым элементом Google.
Технология Page Rank показала высокую эффективность в определении полезных веб-ресурсов, и пользователи быстро осознали превосходство Google над другими поисковыми системами. Это способствовало стремительному росту его популярности. К 2002 году Google уже занимал лидирующие позиции среди мировых поисковых систем. На сегодняшний день Google является самым посещаемым сайтом в мире, ежедневно обрабатывая свыше 7 миллиардов запросов, и эта цифра продолжает расти.
1998 – MSN Search и Mail
MSN Search
Осенью 1998 года корпорация Microsoft представила миру свою поисковую систему MSN Search. Для своей работы она опиралась на базу данных проиндексированных страниц, предоставленную компанией Inktomi. MSN Search включала в себя элементы поисковой машины, индекса и веб-сканера.
В 1998 году был запущен интернет-портал Mail.ru, предлагающий информационно-развлекательный контент, включая функцию поиска. Однако, в течение длительного времени Mail.ru использовал для поиска сторонние движки: с 2004 по 2006 и с 2010 по 2013 годы - поисковую систему Google, а с 2007 по 2009 годы - Яндекс. Только с июля 2013 года Mail.ru начал применять собственные поисковые технологии.
2008 – DuckDuckGo
25 сентября 2008 года предприниматель Гэбриел Вайнберг представил миру поисковую систему DuckDuckGo. Её отличительной чертой стала защита конфиденциальности пользовательских данных. DuckDuckGo не сохраняет IP-адреса, не ведет журналы поисковых запросов и использует файлы cookie только в случаях крайней необходимости.
2009 – Bing
Название поисковой системы Bing символизировало «звук, который сопровождает момент открытия или принятия решения». В июле 2009 года компании Microsoft и Yahoo объявили о десятилетнем сотрудничестве, в рамках которого поисковый движок Bing будет использоваться для обработки поисковых запросов в системе Yahoo.
Таким образом история создания и развития поисковых систем длится уже почти 32 года. С 1991 по 2009 год произошло много значимых моментов в развитии поисковых систем: от использования сторонних баз данных до собственных полноценных систем, от поиска только по заголовкам файлов до учитывания ключевых слов в тексте и его качества, от использования механических запросов на английском до поиска на разных языках в разговорном формате, от нерелевантной выдачи до полноценного ранжирования, основанного на нескольких факторах.
