Стоит ли запрещать индексацию страниц категорий и архивов

В этой статье поговорим о том, стоит ли запрещать индексацию страниц категорий и архивов и о влиянии запрета на SEO продвижение сайта.

Запрет индексации страниц категорий и архивов — делать или нет

Итак, начнем с того, что ответ, вероятно, нет. Большинство веб-сайтов не должны волноваться о том, что Google обойдет некоторые страницы, в которых нет никакой полезной информации.

Страницы с тегами, страницы категорий и страницы с результатами поиска, которые входят в стандартный пакет популярных систем управления контентом, таких как Drupal и WordPress, как правило, недостаточно широко распространены, чтобы иметь большое значение. Если Google видит в них ценность, сканирование и индексирование будут проводиться.

Если у вас есть большой сайт продаж через интернет с сотнями тысяч продуктов, это может стать более серьезной проблемой, потому что вы хотите, чтобы поисковики Google сосредоточились на страницах, которые имеют значение, и хотите удалить те вещи, которые не имеют никакого значения.

Чтобы полностью решить данную проблему, вы также должны понять разницу между элементами robots.txt и метатегом noindex, а также ошибками 404 и soft 404.

Robots.txt

Если вы размещаете команду в файле robots.txt, чтобы заблокировать доступ Google (и других поисковиков) к страницам, вы фактически не позволяете им попасть на эти страницы.

Если Google попадается страница, которая заблокирована в robots.txt, данный поисковик не будет выполнять команду «извлечь» или «прочитать», чтобы получить доступ к заголовку страницы. Это означает, что если позже вы решите, что не хотите, чтобы на этой странице был запрет на индексацию, или хотите, чтобы у нее был другой статус (например, перенаправление или ошибка 404), Google не сможет увидеть это изменение.

Команды robots.txt должны быть ограничены страницами, которые Google не увидит другими способами (т. е. люди не перейдут на них по ссылке, на вашем сайте нет ссылок на них, и они, вероятно, защищены паролем).

Функционал администратора, входа в систему или корзины является хорошим примером страниц, которые вы можете заблокировать в файле robots.txt. Никогда не следует блокировать файлы JavaScript или CSS, необходимые для правильной визуализации страниц.

Метатег robots noindex

Метатег robots = noindex отличается от robots.txt, но многие SEO-оптимизаторы считают его таким же. Самыми большими отличиями тега noindex являются:

1. Это также директива по работе с роботами, но она менее ограничена, чем robots.txt. Google и другие поисковые системы могут прочитать страницу, заголовки и все остальное.
2. Он делает именно то, что заложено в названии. Он предписывает Google не индексировать, то есть не добавлять страницу в качестве подходящей для результатов поиска. Google по-прежнему будет собирать все данные на странице и следовать всем ссылкам, если вы не используете тег nofollow. Тег nofollow не является официальной директивой, но Google и другие поисковые системы уважают его.
3. Если вы используете тег noindex, а затем решите сделать перенаправление или ошибку 404, Google сможет получить доступ к этому изменению статуса и соответствующим образом обновить свои данные.

Ошибки 404 и Soft 404

Страница с ошибкой 404 указывает на то, что страница не найдена, и это веб-стандарт, который соблюдают все поисковики. Если роботы Google и Яндекс обнаружат страницу с ошибкой 404, они удаляют ее из индекса, но хранят ее в своем планировщике обхода контента, чтобы периодически перепроверять… просто чтобы убедиться, что она не изменилась.

Ошибка soft 404 является неофициальным обозначением, которое поисковик размещает на страницах, которые могут получить статус 200 (найдено), но которые не предоставляют никакого контента. Страницы с нулевыми результатами внутреннего поиска являются одним из примеров.

Если роботы Google и Яндекс определят страницу как имеющую ошибку soft 404, они обрабатывают ее так же, как страницу с ошибкой 404. Как и в случае с ошибкой 404, они будут периодически проверять ее, чтобы убедиться, что она не меняется.

Следует ли использовать метатег noindex на страницах категорий

Возвращаемся к нашему вопросу — является ли метатег noindex правильной стратегией для страниц категорий, которые имеют небольшую ценность для вашего сайта или вообще не имеют таковой?

Ответ заключается в том, что если вы чувствуете, что страницы ничего не добавляют вашему сайту, вы, вероятно, должны полностью удалить их и присвоить им статус ошибки 404. Если страницы важны для перемещения по сайту пользователей и являются «необходимым злом» для наличия блога, то они должны иметь метатег noindex.

Если вы используете метатег noindex на страницах, компания Google заявила, что будет рассматривать эти страницы как имеющие ошибку soft 404. Это означает, что никакие ссылки, указывающие на эти страницы, не будут учитываться при определении рейтинга.

Почему это имеет значение? В конечном счете, вероятно, не имеет.

Если ссылки указывают на страницы, которые, по вашему мнению, не имеют никакой ценности, то поисковые системы и пользователи, вероятно, не находят в них никакой ценности для себя.

Чего не стоит делать

Необязательно вставлять все категории и теги страниц к корневой странице блога. Такое неправильное использование Google будет игнорировать.

Не помещайте эти страницы в файл robots.txt. Если вы заблокируете их, Google не сможет увидеть, когда вы обновите или измените их, но они останутся в результатах поиска.

Итог

Убедитесь, что вы и ваша команда разработчиков знаете разницу между командами robots.txt и метатегом robots noindex. Используйте их соответствующим образом, и вы будете на шаг впереди конкурентов.

Если у вас есть страницы, которые не предоставляют никакой ценности для поисковиков в качестве целевой страницы, но они необходимы для навигации, вы должны либо переосмыслить свою навигационную стратегию (возможно, более информативная страница категории с уникальным контентом будет уместна?), либо использовать метатег noindex на страницах.

Если у вас есть всего несколько таких страниц или вы не думаете, что они важны для вашего сайта, просто оставьте их такими, какие они есть. Google достаточно умен, чтобы понять это.

Вместо заключения

Хотите выйти в ТОП10 Яндекс и долго там оставаться? Продвигайте свои сайты и интернет-магазины исключительно белыми SEO методами! Не умеете? Могу научить! Тем, кто хочет разобраться во всех премудростях SEO, предлагаю посетить мои курсы по SEO обучению, которые я провожу индивидуально, в режиме онлайн по скайпу.

Для тех, у кого нет времени проходить обучение и самостоятельно заниматься продвижением своих интернет-магазинов, предлагаю и в этом вопросе помощь. Я могу взять ваш сайт на SEO продвижение и за несколько месяцев вывести его в ТОП10 Яндекс.

Для того чтобы убедиться в моей экспертности, предлагаю ознакомиться с моими последними SEO кейсами и только после этого заказать у меня SEO продвижение. Ниже на видео один из примеров успешного продвижения строительного сайта в Санкт-Петербурге.