В интернете, поисковые системы появились довольно давно – больше десятилетия назад. Тогда пользователей сети было немного, в основном – сотрудники научных учреждений, и не было такого огромного количества информации, в которой необходимо ориентироваться. Поэтому первые поисковые системы занимались только поиском ссылок к страницам.
Первым проектом, призванным облегчить поиск необходимой информации в сети, стал метод создания каталогов сайтов. Они содержали ссылки на различные ресурсы, сгруппированные по тематикам. На этом этапе появился сервис Yahoo.com. Его еще нельзя было назвать полноценной поисковой системой, так как поиск ограничивался сайтами, содержащимися в каталоге. Каталоги сайтов используются и сейчас, однако значительно уступают по охвату даже наиболее простым поисковым системам.
Первая поисковая система, позволившая искать ресурсы по всей сети, появилась в 1994 году и называлась WebCrawler. Современному поколению пользователей она практически неизвестна, так же как и появившиеся следом Lycos и AltaVista. А все потому, что в 1997 году в Стэнфордском университете была создана поисковая система Google, которая изначально разрабатывалась как научный проект. В этом же году появился и Yandex, занимающий лидирующее положение среди российских пользователей.
Все эти системы состоят из нескольких элементов. В модуль индексирования входят три робота-программы. Это spider или паук – программа, скачивающая интернет-страницы и извлекающая из них все ссылки на другие ресурсы, которые они содержат. Crawler – программа, которая занимается автоматическим исследованием всех обнаруженных ссылок. После чего определяет, какие еще страницы должен скачать паук. Затем все скачанные страницы анализирует робот-индексатор (Indexer).
Но самая важная часть такой системы – поисковый сервер. Он содержит все алгоритмы, определяющие скорость поиска и его качество. На сервер поступает интересующий пользователя запрос, который перенаправляется другим элементам системы и анализируется. Результат поиска выдается при помощи специальной программы, целью которой является помещение страницы, наиболее отвечающей параметрам поиска, в верхние строки результатов.