Обнаружение и устранение проблем с индексируемостью сайта

С точки зрения интегрированного подхода, индексируемость сайта означает соответствие исходного кода страницы требованиям и потребностям поисковых роботов. Эта тема основана на знании того, что пауки скроллеры— это компьютерные программы, которым поручено анализировать ваши html-страницы, затем анализировать определенные области страницы и выполнять конкретные действия, такие как запрос других страниц, переходя по гиперссылкам, найденным на данной странице.

Таким образом, мы можем сделать вывод, что некоторые области страницы имеют определенное значение для поисковых роботов и играют не последнюю роль в общей видимости поисковой системы. Другой вывод заключается в том, что грамотная структура сайта является важным фактором, позволяющим поисковым роботам эффективно сканировать наш сайт.

Проблемы с индексируемостью сайта

Ниже приведены основные проблемы с индексируемостью, которые обычно встречаются на веб-сайте (особенно на крупных сайтах):

1. Битые ссылки.
2. Неработающие 301 редиректы.
3. Отсутствует тег title.
4. Старые страницы без трафика, которые не обновляются регулярно.
5. Глубокие страницы (расположенные далеко от главной страницы или от страницы, с которой робот-паук заходит на ваш сайт).
6. Чрезмерная длина тегов title и meta.

Большинство из этих проблем (за исключением неработающих ссылок и редиректов) не расстроят ваших посетителей. Эти недостатки, однако, потенциально опасны для ваших позиций в поисковой выдаче и для индексации всего вашего сайта поисковыми роботами. Давайте углубимся в объяснение каждой из этих проблем.

Неработающие ссылки

Неработающие ссылки — обычное бедствие для веб-мастеров, особенно на больших и динамичных сайтах. Робот поисковой системы не сможет получить доступ к странице, скрытой за неработающей ссылкой. Однако большинство роботов не перестанут сканировать такой сайт, когда наткнутся на неработающую внутреннюю ссылку, при условии, что у них есть другие ссылки, по которым они могли бы перейти. Но если неработающая ссылка предназначена для ведения на стратегически важную страницу сайта, то она не будет проиндексирована, и проблема станет более серьезной.

Битые внешние ссылки не так критичны с точки зрения ранжирования; скорее они указывают на проблемы с индексируемостью сайта или страницы, на которую они ведут.

Редиректы и неработающие редиректы

Веб-аудитор качества сайта запрашивает вашу страницу по протоколу HTTP и анализирует 3-значный код ответа, возвращаемый сервером. Если код ответа начинается с 3, это означает, что страница перенаправляет посетителей (включая роботов-пауков) на другую страницу. Наиболее распространенные коды перенаправления: 301 (перемещено навсегда), 302 (перемещено временно), 304 (не изменено), 305 (использовать прокси) и 307 (временное перенаправление).

Как веб-мастер, вы можете реализовать перенаправление различными способами: либо отправив соответствующие заголовки HTTP из вашего кода на стороне сервера (PHP, ASP, PERL и т. д.), либо поместив инструкции в файл «.htaccess». файл в каталоге на сервере, либо поместив специальный тег meta REFRESH непосредственно в html-код страницы:

<meta http-equiv=»REFRESH» content=»0;url=http://www.mywebsite.com/new-file.htm»>

В этом случае пользовательский агент (либо браузер посетителя, либо паук поисковой системы) будет обрабатывать тег, как если бы он встретил перенаправление 301 (перемещено навсегда).

На самом деле, из всех перечисленных выше редиректов только один (301) считается дружественным для поисковых систем и рекомендуется поисковиками. Другие в прошлом использовались спамерами (и до сих пор часто используются в черном SEO) для создания дорвеев для поисковых систем и для маскировки веб-сайта. Таким образом, поисковые системы применяют строгие санкции к страницам, для которых они получают от сервера все остальные коды ответа перенаправления (300, 302 и выше).

Более того, это злоупотребление перенаправлением привело к тому, что некоторые поисковые системы заблокировали сайты, которые используют теги обновления meta для перенаправления посетителя. AltaVista — самая строгая: сайты с атрибутом обновления менее 30 секунд блокируются как спам. Политика других поисковых систем различается. В прошлом Google не слишком беспокоился о спаме, поскольку он в основном полагался на популярность ссылок для ранжирования сайтов, но в последнее время поисковик стал уделять этим вопросам больше внимания.

По этой причине рекомендуется использовать перенаправление на стороне сервера с помощью динамической технологии, такой как PHP или ASP. Если это невозможно, используйте файл «.htaccess» (на серверах Apache) со следующей строкой: “Редирект 301 /page1.htm http://www.yoursite.com/page2.htm” для перенаправления посетителей с page1.htm на page2.htm.

Неработающие перенаправления приведут к тем же результатам, что и неработающие ссылки, то есть пауки не смогут проиндексировать страницы, скрытые за неработающим перенаправлением, если только они не найдут эту страницу через какие-либо другие ссылки или перенаправления, используемые на вашем сайте.

Отсутствуют теги title

Это, пожалуй, самый серьезный пробел в вашей готовности к SEO-кампании. Тег title — это основная область, в которой поисковые системы пытаются найти релевантные ключевые слова для вашего сайта. Если на некоторых ваших страницах отсутствует этот тег, вы должны добавить его на свою страницу, прежде чем начинать дальнейший анализ SEO оптимизации.

Следует также отметить, что теги ключевых слов meta являются основным фактором ранжирования. Прошло время, и только meta-описание по-прежнему эффективно используется поисковиками для процесса индексации. Паук Google может использовать тег описания meta для страницы результатов поиска (так называемые «фрагменты SE»), в то время как поисковая система Bing ищет в ней только релевантные ключевые слова.

Как заявляет Bing в своих «Новых функциях для веб-мастеров»:

«Веб-мастера могут помочь своим веб-сайтам увеличить посещаемость, помогая Bing наилучшим образом представить свой контент для искателей в наших результатах поиска. Веб-мастера могут легко сделать это, добавив уникальные заголовки и метаописания на каждую страницу».

Старые страницы

Один из алгоритмов, которые Google сейчас применяет для ранжирования веб-страниц, — это алгоритм SandBox. Это означает, что страницы, которые долгое время не обновлялись, будут постепенно терять свои позиции в выдаче, даже если изначально имели высокие позиции.

Google постоянно сканирует интернет и добавляет в свой поисковый индекс тысячи новых страниц. Эти новые страницы имеют уникальный контент, и именно «новизна» этих страниц может привести к тому, что Google присвоит им более высокий рейтинг. Google предполагает, что новые страницы, вероятно, содержат больше обновленной информации, чем старые.

Этот процесс постепенно «растворит» сайт в конкурентной борьбе, а старые страницы будут «вытеснены» новыми добавлениями из популярных и часто обновляющихся результатов. Чтобы сохранить свои высокие позиции в Google, нужно не только постоянно улучшать ссылочный профиль, но и часто обновлять контент на сайте. 

Глубокие страницы

Обычный робот-паук поисковой системы не будет сканировать ваш сайт глубже, чем на два уровня от главной страницы, а наиболее продвинутые роботы проинструктированы не углубляться дальше, чем на четыре уровня. Под «глубиной» в этом случае подразумевается количество переходов, которые нужно совершить со страницы на страницу по ссылкам, чтобы попасть на целевой URL адрес с исходной страницы (чаще всего это домашняя страница).

Таким образом, если робот-паук заходит на ваш сайт с домашней страницы, он читает все URL адреса, на которые этот адрес ссылается, затем все страницы, на которые ссылаются эти страницы, и тогда большинство пауков останавливают индексирование. Если на вашем сайте есть какие-либо страницы, которые ссылаются глубже, чем индексируют роботы, структура вашего сайта нуждается в SEO оптимизации.

Важно понимать, что ссылочная структура и файловая структура — это две разные вещи: вы можете держать все свои 500 страниц в корневом каталоге, но некоторые из них могут быть на 5 и более уровне вложенности в зависимости от переходов по ссылкам.

Длина тегов title и meta

Информация, помещенная в теги title и «description» meta, индексируется поисковыми роботами для использования на странице результатов поиска — сниппете. Если эти метатеги слишком длинные, они будут автоматически обрезаны в результатах поиска. Кроме того, поисковые системы не будут учитывать при индексации больше определенного количества символов в теге. Некоторые роботы-пауки поисковых систем могут рассматривать чрезмерное количество символов слов в метаописании как спам. Поэтому полезно проверить, находится ли длина этих жизненно важных областей страницы в разумных пределах.

Резюме

1. Неработающие ссылки и неработающие редиректы могут скрыть стратегически важный контент вашего сайта от пауков поисковых систем.
2. Если вам когда-либо придется использовать перенаправления, обязательно используйте тип постоянного перенаправления на стороне сервера «301».
3. Другие проблемы с индексацией включают отсутствие или слишком длинные теги title и meta, старые и глубокие страницы.

Вместо заключения

Хотите выйти в ТОП10 Яндекс и долго там оставаться? Продвигайте свои сайты и интернет-магазины исключительно белыми SEO методами! Не умеете? Могу научить! Тем, кто хочет разобраться во всех премудростях SEO, предлагаю посетить мои курсы по SEO обучению, которые я провожу индивидуально, в режиме онлайн по скайпу.

Для тех, у кого нет времени проходить обучение и самостоятельно заниматься продвижением своих интернет-магазинов, предлагаю и в этом вопросе помощь. Я могу взять ваш сайт на SEO продвижение и за несколько месяцев вывести его в ТОП10 Яндекс.

Для того чтобы убедиться в моей экспертности, предлагаю ознакомиться с моими последними SEO кейсами и только после этого заказать у меня SEO продвижение. Ниже на видео один из примеров успешного продвижения строительного сайта в Санкт-Петербурге.