Классификация поисковых систем

Термин «поисковая система» (SE) часто неправильно используется для описания как каталогов, так и чистых поисковых систем. На самом деле они неодинаковы; разница заключается в том, как генерируются списки результатов. В этой статье вы узнаете, какие типы поисковых систем бывают и как работают.

Типы поисковых систем

• краулерные (традиционные) поисковые системы;
• каталоги (в основном редактируемые человеком каталоги);
• гибридные движки (с использованием механизмов других поисковиков);
• платные, использующие добавление в поиск за отдельную плату.

SE на основе краулеров, также называемые пауками или поисковыми роботами, используют специальное программное обеспечение для автоматического и регулярного посещения веб-сайтов для создания и пополнения своих гигантских репозиториев веб-страниц.

Это программное обеспечение называется «бот», «робот», «паук» или «обходчик». Все эти термины обозначают одно и то же понятие. Такие программы непрерывно работают в поисковых системах. Они просматривают страницы, которые уже существуют в их репозиториях, и находят ваш сайт по ссылкам с этих страниц. В качестве альтернативы, после того как вы отправили страницы в поисковую систему, эти страницы ставятся в очередь для сканирования пауком. Он находит вашу страницу, просматривая списки страниц, ожидающих проверки в этой очереди.

После того как паук нашел страницу для сканирования, он извлекает эту страницу через HTTP (как любой обычный веб-серфер, который вводит URL-адрес в поле адреса браузера и нажимает «ввод»). Как и любой посетитель-человек, программное обеспечение для сканирования оставляет на вашем сервере запись о своем посещении. Таким образом, из журнала вашего сервера можно узнать, когда поисковая система заглядывала в ваше онлайн-пространство.

Ваш веб-сервер возвращает исходный HTML-код вашей страницы пауку. Затем паук читает его (этот процесс называется «сканированием» или «пауками»), и именно здесь начинается разница между посетителем-человеком и программным обеспечением для сканирования.

В то время как посетитель-человек может оценить качественную графику и впечатляющую Flash-анимацию, которую вы загрузили на свою страницу, паук этого не сделает. Посетитель-человек обычно не читает МЕТА-теги, а паук может. Только опытные пользователи могут быть достаточно любопытны, чтобы прочитать код страницы при поиске дополнительной информации о веб-странице. Посетитель-человек сначала заметит самый крупный и привлекательный текст на странице. С другой стороны, паук будет придавать большее значение тексту, расположенному ближе всего к началу и концу страницы, а также тексту, заключенному в ссылки.

Возможно, вы потратили целое состояние на создание убойного веб-сайта, предназначенного для того, чтобы сразу же очаровать ваших посетителей и вызвать их восхищение. Вы даже внедрили множество качественных Flash-анимаций и приемов JavaScript. Тем не менее паук поисковой системы — это робот, который видит только некоторые изображения на странице и некоторый код, встроенный в тег «script». Такие участки кода робот читает достаточно медленно и может пропустить. Поэтому часто изумительные элементы WEB дизайна являются дополнительными препятствиями на пути к вашему контенту. Каков результат? Паук низко ранжирует вашу страницу, ее никто не находит в поисковике, и никто не способен оценить дизайн.

SEO (поисковая оптимизация) — это технология, позволяющее сделать вашу страницу более удобной для поисковых систем. Оптимизация в основном ориентирована на краулерные движки, которые пользуются наибольшей популярностью в интернете. Специалисты не требуют от вас избегать дизайнерских инноваций; но они могут показать, как правильно сочетать красоту страниц с вашими потребностями в оптимизации.

Как же работает паук? После того как он прочитает ваши страницы, программа сожмет код таким образом, чтобы результаты было удобно хранить в гигантском хранилище веб-страниц, называемом индексом поисковой системы. Данные хранятся в индексе поисковой системы таким образом, что позволяет быстро определить, соответствует ли данная страница конкретному запросу, и извлечь ее для включения в страницу результатов, показанную в ответ на запрос. Процесс помещения вашей страницы в индекс называется «индексированием». После того как ваша страница будет проиндексирована, она появится на страницах результатов поисковой системы по словам и фразам, наиболее распространенным на проиндексированной веб-странице. Однако его положение в списке может быть разным.

Позже, когда кто-то будет искать в системе определенные термины, ваша страница будет удалена из индекса и включена в результаты поиска. Теперь поисковая система применяет сложную технику, чтобы определить, насколько релевантна ваша страница этим терминам. Он учитывает множество внутренних и внешних факторов, и странице присваивается определенная позиция или рейтинг среди других результатов, найденных по запросу пользователя. Этот процесс называется «ранжированием».

Google (www.google.com) — прекрасный пример SE на основе поискового робота.

Каталоги, отредактированные человеком, отличаются по технологии внесения и редактирования информации. Страницы, которые хранятся в их репозитории, добавляются исключительно вручную. Каталоги обычно требуют ручной отправки информации и используют определенные механизмы (в частности, изображения CAPTCHA), чтобы предотвратить автоматическую отправку страниц. После завершения процедуры отправки ваш URL будет поставлен в очередь на рассмотрение редактором, который, к счастью, является человеком.

Когда редакторы каталогов (асессоры) посещают и читают ваш сайт, единственное решение, которое они принимают — принять или отклонить страницу. Большинство каталогов не имеют собственного механизма ранжирования — они используют различные очевидные факторы для сортировки URL-адресов, такие как алфавитная последовательность или индекс релевантности системы. Очень важно предоставить релевантное и точное описание редактору каталога, а также серьезно отнестись к другим частям этого руководства.

Механизмы на основе пауков часто используют каталоги в качестве источника новых страниц для сканирования. В результате в SEO самоочевидно, что вы должны относиться к представлению каталогов и спискам каталогов как можно более серьезно и ответственно.

Хотя поисковый движок будет регулярно посещать ваш сайт после того, как он его проиндексировал, и обнаруживать любые изменения, которые вы вносите на свои страницы, технология работы с каталогами иная. В таком ресурсе списки результатов находятся под влиянием людей. Либо вы вводите краткое описание своего веб-сайта, либо это сделают редакторы. При поиске сканируются только эти описания на совпадения, поэтому изменения веб-сайта никак не влияют на список результатов.

Поскольку каталоги обычно создаются опытными редакторами, они обычно дают лучшие результаты (по крайней мере, лучше отфильтрованные). В последнее время значение каталогов в технологии продвижения заметно снизилось, но эта часть технологии по-прежнему работает.

Гибридные поисковики

Некоторые движки также имеют встроенный каталог, ссылающийся на них. Они содержат веб-сайты, которые уже обсуждались или оценивались. При отправке поискового запроса в гибридную систему уже оцененные сайты обычно не сканируются на совпадения; пользователь должен явно выбрать их. Добавление сайта в каталог движка обычно зависит от сочетания удачи и качества контента. Иногда вы можете «подать заявку» на обсуждение вашего сайта, но нет гарантии, что это будет сделано.

Метапоисковики

Другим подходом к поиску в огромном интернете является использование многосистемного поиска или мета-поисковой системы, которая объединяет результаты нескольких поисковиков одновременно и размещает их на отформатированной странице результатов. Запрос на обычном или естественном языке переводится в несколько поисковых систем, каждая из которых направлена на поиск информации, запрошенной пользователем. Полученные таким образом ответы поисковой системы собираются в единый список результатов. Этот тип поиска позволяет пользователю очень эффективно охватить большой объем материала, сохраняя некоторую терпимость к неточным поисковым вопросам или ключевым словам.

Примерами мультидвижков являются MetaCrawler (https://www.metacrawler.com/) и DogPile (https://www.dogpile.com/). MetaCrawler направляет ваш поиск в семь самых популярных поисковых систем (включая AltaVista и Lycos), затем компилирует и ранжирует результаты для вас.

Плата за поиск и платные механизмы включения

Как ясно из названия, с этими системами у вас нет иного пути, кроме, как вносить периодическую или единовременную плату за сохранение вашего сайта в списке, повторном спайдере или в топ-рейтинге по выбранным вами ключевым словам. Существует очень мало поисковых систем, ориентированных исключительно на платные списки. Тем не менее большинство основных поисковых систем предлагают возможность платного листинга как часть своей системы индексации и ранжирования.

В отличие от платного включения, когда вы платите только за то, чтобы быть включенным в результаты поиска, в рекламной программе списки гарантированно появляются в ответ на определенные условия поиска, и чем выше ваша ставка, тем выше будет ваша позиция по этим условиям. Списки платных мест размещения можно приобрести на портале или в поисковой сети. Поисковые сети часто создаются в среде аукционов, где ключевые слова и фразы связаны с платой за клик (CPC). Такая схема называется Pay-Per-Click (PPC).

Вместо заключения

Хотите выйти в ТОП10 Яндекс и долго там оставаться? Продвигайте свои сайты и интернет-магазины исключительно белыми SEO методами! Не умеете? Могу научить! Тем, кто хочет разобраться во всех премудростях SEO, предлагаю посетить мои курсы по SEO обучению, которые я провожу индивидуально, в режиме онлайн по скайпу.

Для тех, у кого нет времени проходить обучение и самостоятельно заниматься продвижением своих интернет-магазинов, предлагаю и в этом вопросе помощь. Я могу взять ваш сайт на SEO продвижение и за несколько месяцев вывести его в ТОП10 Яндекс. Для того чтобы убедиться в моей экспертности, предлагаю ознакомиться с моими последними SEO кейсами и только после этого заказать у меня SEO продвижение. Ниже на видео один из примеров успешного продвижения строительного сайта в Санкт-Петербурге.