- Предпосылки возникновения поисковых систем
Цель всех поисковых систем — отранжировать данные, найденные в интернете. До разработки поисковых систем интернет представлял собой набор сайтов, по которым пользователи переходили, путем ввода прямого адреса сайта или пользовались специализированными каталогами и списками сайтов. По мере того как список веб-серверов увеличивался, возрастала потребность в улучшенном поиске.
Дополнительная информация. Первую идею по созданию общего архива для всех мировых данных реализовали в 1945 году. Ванневар Буш опубликовала научную статью, в которой предложила собирать данные и исследования, извлекая из них самое полезное.
Перенесемся на полвека вперед в истории создания и развития поисковых систем. Публичные FTP-серверы были распространены в конце 1980-х, но простого способа (если неизвестно имя и местоположение документа, а также адрес сервера) для поиска информации или файлов не было.
Все изменилось, когда в 1990 году студент Алан Эмтаж создалпервую поисковую систему, которая называлась Archie. Она помогала индексировать и находить FTP архивы. Веб-каталоги и поисковики постепенно приобрели популярность, ставнаиболее предпочтительным способом поиска в Интернете.
Основные этапы истории развития поисковых систем приходятся на период с 1993 по 1998 год.
2. Создание первых поисковых систем
Большинство первопроходцев в создании поисковиков, уже в то время понимали потенциалглобальность интернета и все его возможности.
Индексатор FTP файлов Archie
Archie часто считают первой настоящей поисковой системой. Хотя были и ранее разработанные технологии. Archie вошел в историю поисковых систем, как первый инструмент для поиска контента, а не пользователей.
Дополнительная информация.
Archie состоял из двух компонентов:
· сервер, который индексировал содержимое общедоступных FTP-серверов;
· инструмент поиска, используемый для запроса имен файлов, которые были проиндексированы на сервере.
По современным меркам поисковик работал довольно грубо, но тогда его появление стало огромным шагом вперед.
Поиск по заголовкам страниц Wandex
В 1993 году Мэтью Грей разработал Wandex, первую поисковую систему в той форме, которую мы знаем сегодня. Wandex сканировала сайты и искала по заголовкам проиндексированных страниц в Интернете.
В 1994 году поисковик WebCrawler, основанный на технологии Wandex, начал индексировать полный текст сайтов, а не только заголовки.
Каталоги Yahoo!
Система Yahoo! была основана в 1994 году. Одним из ее крупнейших вкладов в интернет-поиск стала служба каталогов, состоящая из большой коллекции авторитетных сайтов. В 2001 году Yahoo! начал взимать плату за включение в свою подборку.
В октябре 2002 году система Yahoo стала поисковиком в привычном понимании и активно его монетизировала. Создателиэтой системы сделали популярным ряд элементов, которые все еще используются многими, в том числе поиск только по изображениям, только по новостям и так далее.
Возникновение и развитие поисковой системы Google
В январе 1996 года студенты Стэнфордского университета Ларри Пейдж и Сергей Брин начали исследовать концепцию нахождения информации в интернете. Они считали, что поисковые системы должны анализировать и ранжировать сайты в зависимости от того, сколько раз слова, используемые при поиске, появлялись на веб-страницах.
Исследования привели к разработке алгоритма анализа ссылок PageRank, который стал основой для Google. Именно он помогает определить важность сайта при поисковой выдаче.
Обратите внимание. У PageRank есть две основные идеи:
· когда многие веб-сайты ссылаются на веб-страницу, это говорит о том, что она полезна и заслуживает доверия;
· ссылки с полезной и заслуживающей доверия веб-страницы являются более ценными, чем ссылки с ненадежной веб-страницы.
PageRank оказался отличным способом выявления полезных веб-сайтов, и пользователи быстро поняли, что результаты поиска Google более полезны, чем от других систем. В результате пользователи быстро стекались в Google, а другие поисковики пытались наверстать упущенное.
К 2002 году Google занял лидирующее положение на рынкепоисковых систем. Начиная с 2004 года доля Google на рынке неуклонно растет, а компания ежегодно расширяется и выдает новые продукты.
Российские поисковые системы
С развитием интернета возник вопрос о создании поисковика под кириллический сегмент интернета, не только в России, но и других странах СНГ (Белоруссия и Украина).
Google плохо понимал русский язык, и в самом начале русский интернет, как и весь мир, использовал каталоги сайтов (Мейл ру и Рамблер Портал). Все изменилось с появлением Яндекса, который теперь занимает лидирующие позиции.
Поисковая система Yandex
Яндекс — компания, основанная в 1997 году. Она известна своим набором сервисов, которые охватывают поисковые системы, AI и аналитику.
Благодаря инновациям в искусственном интеллекте и технологиях чтения данных, поисковик Яндекс может легко работать с российской терминологией при поиске на зарубежных ресурсах. Это позволяет обгонять Google в отдельных нишах по эффективности.
В настоящее время Яндекс — крупнейшая технологическая компания в России, владеющая более 50% доли рынка поисковых систем в стране. Яндекс является четвертым по популярности сайтом в России.
Портал Rambler
Rambler начал работу в октябре 1996 года, на начальном этапе в нем содержалось всего 100 тысяч проиндексированных сайтов. Rambler был не первой отечественной поисковой системой, но стал одной из самых популярных.
Вторая версия поисковика начала разрабатываться летом 2000 года, в ней представили функции, которые уже были доступны в конкурирующих системах. Учитывалась морфология, улучшился поиск по каталогам. Важной фишкой поисковика был каталог Rambler’s Top100, куда попадали сто самых популярных сайтов Рунета.
Удачная архитектура продукта позволяла Rambler иметь количество серверов в два раза меньше, чем у Яндекса и в три раза меньше, чем у Aport.
Каталог Mail.ru
Однажды в 1998 году группа программистов выложила на тестовый сайт свое ПО по поддержке почтового сервиса. На сайт нахлынуло множество пользователей, желающих получить красивый электронный адрес с окончанием "@mail.ru"
За несколько лет число пользователей выросло до миллиона, а сейчас их свыше 10. На их базе возник самостоятельный поисковик, ставший частью гигантской Mail.ru Group, куда входит ряд сервисов, сайтов и приложений, включая «Одноклассники» и ICQ.
Большую ставку Mail делала на интеграцию с другими своими сервисами и социализацию, как и Яндекс сейчас.