Любая поисковая система включает в себя набор следующих компонентов:
База данных (Database) – это хранилище всех страниц, которые были скачаны и обработаны.
Веб-сервер (Web server) – это веб-сервер, отвечающий за правильное взаимодействие пользователя и элементов поисковой системы.
Краулер или «путешествующий» паук (Crawler) – это программа, которая в автоматическом режиме осуществляет проверку всех ссылок на странице и проходит по ним.
Паук (Spider) – это программа, напоминающая браузер, задача которой заключается в считывании Интернет страницы.
Индексатор (Indexer) – основная задача этой программы это проведение анализа веб-страниц, которые были скачаны пауками.
Система выдачи результатов (Search engine results engine) – используется для извлечения результатов поиска из основной базы данных.
Реализация поисковой системы может и отличаться от приведённой выше блочной структуры, к примеру, связка из паука, краулера и индексатора может быть реализована как один монолитный программный блок. Такой блок будет скачивать Интернет страницу, проводить её анализ, после чего по ссылкам на данной странице будет искать новые Интернет ресурсы.
Database или база данных. Представляет собой хранилище всей информации, которая скачивается и анализируется поисковой системой. В некоторых источниках базу данных могут упоминать как индекс поисковой системы.
Crawler или паук. В ходе работы выделяет все находящиеся на Интернет странице ссылки. Основная его задача заключается в определении ссылки, по которой будет совершён переход и поиск новых документов, которые ещё не были внесены в базу данных поисковой системы. Решение о переходе принимается на основе заранее сформированного списка адресов или на основе ссылок присутствующих на анализируемой странице.
Web server. Чаще всего на сервере существует html-страница с полем ввода, которое используется для поиска ключевых слов или каких-либо терминов. Кроме того, одной из функций веб-сервера является организация выдачи результатов поиска пользователю и представление их в виде html-страницы.
Spider или паук. Программа, основной целью которой является скачивание Интернет страниц. Данная программа работает по тем же принципам что и браузеры, но в отличие от них паук работает напрямую с кодом html, а не отображает информацию в привычном для пользователей виде.
Indexer или индексатор. Осуществляет анализ страницы, разбивая её на отдельные блоки и элементы. В ходе работы выделяются различные элементы, и проводится их детальный анализ. В качестве элементов выступают заголовки, html-теги, структурные особенности, текст, стилевые особенности и многое другое.
Search Engine Results Engine или Система выдачи результатов. Данный блок занимается выбором страниц из базы поисковой системы. Этот компонент поисковой системы является одним из ключевых, он определят, какие страницы подходят под заданные пользователем критерии и в каком порядке их необходимо вывести. Для анализа запроса, поиска соответствующих страниц в базе данных и вывода полученной информации используются специальные базовым алгоритмам ранжирования поисковой системы.
ТЕСТИРОВАНИЕ
Какой поисковик лучше? – такой вопрос задает себе множество интернет пользователей и ответ на него не так очевиден, как кажется на первый взгляд. Люди спорят, называют свои варианты, но не могут привести никаких убедительных аргументов, а подтверждают сказанное лишь фразой “потому, что лучше и все” и похожими по смыслу высказываниями. Что ж, давайте расставим все точки над “i”, проведя сравнение двух лучших поисковых систем Yandex и Google. Почему именно они? – взгляните на рейтинг использования подобных сервисов в русскоязычном интернете. За Яндексом более 50% от общего числа пользователей, за Google – почти 35%. Остальные сервисы занимают чуть больше 10% от общего оборота и, как вы догадались, особой популярностью не пользуются.
Так какой же поисковик лучше? Яндекс или Гугл?
Рассмотрим со стороны обычного юзера все основные особенности этих поисковых систем: интерфейс, наличие дополнительных сервисов, рекламу и, конечно же, самое важное – качество поиска.
Интерфейс.
- У Google с этим все просто – на главной странице поиска мы не увидим практически ничего, только поисковую строку и ссылки для быстрого перехода на почту и другие гугловские сервисы.
- С Яндексом все немного по-другому: главная страница частично отображает информацию с других проектов. Например, меня, как человека, который уже не один год обходится без телевизора, очень радует новостной сервис. Зашел найти информацию в интернете, заметил интересную новость, прочитал. Очень удобно. С другой стороны, для многих все эти дополнения покажутся излишествами, ведь главной задачей поисковых систем является поиск и ничто другое.
Реклама. Большинство интернет пользователей негативно относится к обилию рекламных материалов на сайтах, форумах и прочих ресурсах. Поисковые системы этому не исключение.
- Если говоритьо Яндексе, то тут всплывает неприятный момент – его создатели помимо контекстных объявлений стали размещать в выдаче еще и баннеры (конечно, не на каждой странице, но все же). Это очень раздражает.
- Google не такой жадный и количество блоков контекстной рекламы у него куда меньше, чем у Yandex, плюс нету никаких баннеров. Поэкспериментируйте с различными поисковыми запросами и вы сами убедитесь в этом. В некоторых случаях, Гугл даже не отображает контекст, тогда как Яндекс демонстрирует пользователям стабильно высокое количество рекламы.
Качество поиска. Как я уже говорил ранее, это важнейший критерий при выборе поисковой системы. Оценивается он исходя из того, насколько выводимые результаты соответствуют пользовательским потребностям. А чтобы поисковик как можно чаще попадал “в яблочко”, он должен выводить на странице как можно больше различных вариантов, но в то же время избегать дублей. Например, по запросу “школьник” можно вывести варианты про школьников как учащихся школы, информацию о человеке с фамилией Школьник, фотографии и видео со школьниками, тем самым избавляя пользователя от необходимости еще более конкретизировать свой запрос.
Чтобы сказать точно, что лучше в плане поиска – Яндекс или Гугл, проведем небольшой эксперимент, проанализировав выдачу по трем различным поисковым запросам:
Запрос №1. “Бизнес на сателлитах”.
Запрос №2. “Работа в Нью Йорке”.
Запрос №3. “ДНР”.
Если еще учесть, что в поисковой выдаче системы Google куда больше вариантов, чем у Яндекса, можно с уверенностью объявлять по данному пункту ничью.
Дополнительные сервисы.
- Список дополнительных сервисов компании Яндекс достаточно обширный и в нем найдется что-нибудь полезное для каждого пользователя: новости, каталоги, маркет, словари, закладки, метрика и даже многим уже надоевший Яндекс Бар. Все это удобно структурировано по различным категориям: инструменты, информационные, развлекательные, для бизнеса и прочие.
- Гугловская альтернатива тоже весьма хороша. Однако недоступность некоторых сервисов для русской аудитории, а также попытка компании навязать свою социальную сеть Google Plus, рейтинга данной поисковой системе не прибавляют.
Подведем итоги.
- Интерфейс – Google подкупает своей аскетичностью и простотой, тогда как Яндекс по максимуму информативен. Поровну. (1:1)
- Реклама – Гугл демонстрирует меньше рекламных материалов, чем Яндекс, иногда откровенно злоупотребляющий показом рекламы. Победа за Google. (1:0)
- Качество поиска – обе системы в этом плане преуспели, однако у Яндекса более развита коммерческая направленность, а у Гугла информационная. (1:1)
- Дополнительные сервисы. Тут победа однозначно за Яндекс. Множество дополнительных сервисов, которые удобно структурированы. У Google их меньше, а проблем с использованием больше.(0:1)
Подсчитав общий результат, мы убедимся, что каждая из поисковых систем набрала одинаковое количество баллов. А это значит, что вопрос так и остался не решенным. Возможно, у вас есть какие-нибудь аргументы в пользу той или иной системы?
Домашнее задание
В языке запросов поискового сервера для обозначения логической операции «ИЛИ» используется символ «|», а для логической операции «И» – символ «&».
В таблице приведены запросы и количество найденных по ним страниц некоторого сегмента сети Интернет.
|
Запрос |
Найдено страниц (в тысячах) |
|
Мопс |
3200 |
|
Бульдог |
2000 |
|
Мопс & Бульдог |
500 |
Какое количество страниц (в тысячах) будет найдено по запросу
Мопс | Бульдог?
Считается, что все запросы выполнялись практически одновременно, так что набор страниц, содержащих все искомые слова, не изменялся за время выполнения запросов.
