Закрыл 1400 мусорных страниц от индексации — позиции взлетели за месяц

Меня зовут Анатолий Кузнецов, я занимаюсь SEO больше двадцати лет. За это время через мои руки прошли сотни сайтов, и почти на каждом втором я находил одну и ту же скрытую болезнь — раздутый индекс. Десятки, сотни, а иногда и тысячи страниц, которые не нужны ни пользователю, ни поисковику, но честно отъедают ресурс на ранжирование полезного контента.

Этот кейс — про сайт, на котором я закрыл от индексации 1400 мусорных страниц. Не написал ни одной новой статьи, не купил ни одной ссылки, не трогал коммерческие тексты. Просто вычистил то, что годами копилось в индексе как хлам в гараже. Через месяц позиции по основным запросам пошли вверх. И это не магия — это арифметика, которую я сейчас разложу по полочкам.

Что такое мусорные страницы и почему они убивают позиции

Начну с главного непонимания, которое я встречаю у клиентов постоянно. Люди уверены: чем больше страниц в индексе — тем лучше, тем «солиднее» сайт выглядит для Яндекса. Это вредное заблуждение, которое стоит позиций.

Поисковая система оценивает сайт не по количеству страниц, а по их среднему качеству. Когда из 2000 проиндексированных URL полезны только 600, а остальные 1400 — это технический мусор, поисковик видит ресурс, у которого 70% контента не несёт ценности. И отношение к такому сайту соответствующее.

Под мусорными страницами я понимаю URL, которые не имеют самостоятельной поисковой ценности и не должны попадать в выдачу. На практике это:

Страницы фильтров и сортировок в каталоге — десятки комбинаций параметров вроде ?sort=price&color=red&size=42, каждая из которых генерирует отдельный URL с почти идентичным содержимым.

Страницы пагинации без должной настройки — вторая, третья, двадцатая страница списка товаров, дублирующие мета-данные первой.

Результаты внутреннего поиска по сайту — ?s=запрос, которые плодятся бесконтрольно и не несут ценности для внешнего пользователя.

Технические дубли — версии с слешем и без, с www и без, http и https, страницы с UTM-метками, session ID, теговые архивы.

Служебные страницы — корзина, личный кабинет, страницы оформления заказа, версии для печати, вложения (attachment-страницы в WordPress, которые открываются как отдельный URL под каждую картинку).

Именно последний пункт чаще всего и даёт те самые тысячи мусорных URL. В WordPress без правильной настройки каждое загруженное изображение порождает собственную страницу-вложение. Загрузили в статью десять картинок — получили десять пустых URL в индексе.

Как мусор воюет с вашим полезным контентом

Чтобы понять механику, объясню через понятную метафору. Представьте, что поисковый робот — это покупатель с ограниченным бюджетом времени, который пришёл в ваш магазин. У него есть, условно, час на обход. Если половину этого часа он бродит между пустыми полками и техническими подсобками, до действительно ценного товара он может просто не дойти или дойти уставшим.

Этот «час» в SEO называется краулинговым бюджетом — лимитом ресурсов, который поисковая система готова тратить на обход вашего сайта. Когда робот раз за разом тратит обходы на мусорные страницы, он реже и позже добирается до новых статей и важных коммерческих посадочных. Свежий контент дольше попадает в индекс, обновления подхватываются с задержкой.

Второй удар — размытие качества. Раздутый индекс мусором снижает общую оценку сайта. Поисковик видит массу низкокачественных страниц и проецирует это на ресурс целиком.

Третий механизм — внутренний каннибализм. Мусорные страницы перетягивают на себя внутренний вес. Ссылочный сок, который должен концентрироваться на ваших боевых посадочных, растекается по сотням бесполезных URL. Если эта тема для вас откликается, у меня есть отдельный разбор того, как правильно распределять внутренний вес и выстраивать перелинковку — без грамотной структуры ссылок даже чистый сайт недобирает позиций.

Как я нашёл эти 1400 страниц

Прежде чем что-то закрывать, нужно понять масштаб бедствия. Действовал я последовательно.

Шаг 1. Сверка индекса с реальностью

Первым делом я смотрю, сколько страниц по факту в индексе Яндекса, и сравниваю с тем, сколько их должно быть. На исследуемом сайте полезных страниц было около шестисот — статьи, услуги, основные разделы. А в индексе болталось почти две тысячи. Разрыв в 1400 URL — это и был мой объём работы.

Шаг 2. Яндекс Вебмастер

Основной инструмент диагностики — раздел «Индексирование» → «Страницы в поиске» в Яндекс Вебмастере. Я выгружаю полный список проиндексированных URL и начинаю их сортировать. Сразу бросаются в глаза паттерны: одинаковые хвосты с параметрами, бесконечные /attachment/, теговые архивы, дубли с разными окончаниями.

Шаг 3. Анализ по маске URL

Дальше группирую мусор по типам через фильтрацию URL по маске. Все страницы с ?s= — внутренний поиск. Все с /tag/ — теговые архивы. Все с ?replytocom= — служебные параметры комментариев WordPress. Такая группировка позволяет не перебирать 1400 страниц вручную, а работать категориями.

Шаг 4. Краулер

Для полноты картины я прогоняю сайт desktop-краулером, который имитирует обход робота и показывает всю структуру ссылок целиком — включая те мусорные URL, на которые ведут внутренние ссылки из шаблона. Часто оказывается, что мусор плодится не сам по себе, а потому что сам шаблон сайта ссылается на него.

Если вы не уверены, что сами найдёте все источники мусора на своём проекте, это как раз тот случай, когда стоит начать с диагностики — я провожу бесплатный аудит сайта, по итогам которого вы получаете полную карту проблем с индексацией.

Чем закрывать — разбираем инструменты без путаницы

Вот здесь новички совершают больше всего ошибок. Закрыть страницу от индексации можно несколькими способами, и каждый работает по-своему. Перепутаете — сделаете хуже.

robots.txt — запрет на обход

Директива Disallow в robots.txt запрещает роботу заходить на страницу. Важно понимать тонкость: это запрет именно на обход, а не гарантия удаления из индекса. Если на закрытую в robots.txt страницу ведут ссылки, она теоретически может остаться в выдаче как «известный, но не обойдённый» URL. Зато robots.txt отлично экономит краулинговый бюджет — робот просто не тратит ресурс на эти разделы.

robots.txt я использовал для целых категорий мусора: внутренний поиск, служебные параметры, корзина, личный кабинет. Всё, что закрывается по чёткой маске.

Мета-тег noindex — запрет на индексацию

Тег <meta name="robots" content="noindex"> в коде страницы — это прямая команда «не держи меня в индексе». В отличие от robots.txt, он гарантированно выводит страницу из выдачи, но при одном условии: робот должен иметь возможность зайти на страницу и увидеть этот тег. Поэтому критическая ошибка — закрыть страницу одновременно в robots.txt и поставить noindex. Робот не зайдёт из-за robots.txt и никогда не увидит noindex. Страница так и зависнет в индексе.

noindex я применил к attachment-страницам и теговым архивам — там, где нужно было гарантированное удаление.

Атрибут canonical — указание главной версии

Тег rel="canonical" не закрывает страницу, а говорит поисковику: «вот эта страница — копия, а оригинал находится здесь». Идеальный инструмент для дублей: страниц фильтров, сортировок, пагинации, версий с UTM-метками. Поисковик склеивает дубли с оригиналом и передаёт ему весь вес.

Если тема технических дублей для вас актуальна отдельно — это большая самостоятельная боль, и я подробно разбираю борьбу с ней в материалах по техническому SEO в блоге.

301 редирект — для устаревших URL

Если мусорная страница когда-то была полезной и на неё ведут ссылки, я не закрываю её, а ставлю 301 редирект на актуальный аналог. Так вес страницы не теряется, а перетекает на живой URL.

Что именно я сделал на этом сайте

Сведу всю стратегию в практический порядок действий, который применил.

Attachment-страницы (около 800 URL) — главный источник мусора. Закрыл через noindex и настроил редирект attachment-URL на родительскую запись. Это сразу убрало больше половины проблемы.

Теговые архивы (порядка 300 URL) — на этом сайте теги дублировали рубрики и не несли пользы. Закрыл через noindex.

Страницы внутреннего поиска и пагинация комментариев (около 200 URL) — запретил обход через robots.txt по маске параметров.

Дубли с UTM и параметрами фильтрации (порядка 100 URL) — настроил canonical на чистые версии.

После этого я отправил обновлённый robots.txt в Яндекс Вебмастер, переобошёл ключевые разделы через инструмент переобхода и стал ждать. Чистка индекса — процесс не мгновенный, страницы выпадают из выдачи постепенно, в течение нескольких недель.

Результат: что показал месяц

Через месяц после чистки картина выглядела так. Индекс сократился с почти двух тысяч до шестисот с небольшим — остался только полезный контент. Скорость индексации новых страниц заметно выросла: то, что раньше попадало в выдачу за неделю-две, стало индексироваться за пару дней.

Главное — позиции. Основная группа целевых запросов, которая до этого болталась во второй-третьей десятке, подтянулась в топ-20, а часть запросов зашла в топ-10. Сайт не получил ни строчки нового контента — он просто перестал распылять ресурс на мусор и сконцентрировал его на том, что действительно должно ранжироваться.

И отдельно подчеркну момент, который сегодня критичен. Чистый, структурированный индекс важен не только для классического поиска, но и для нейросетевых ответов. Когда Яндекс Нейро или ChatGPT формируют ответ на запрос пользователя, они тоже опираются на проиндексированный контент. Раздутый мусором сайт хуже попадает в эти ответы, потому что нейросети сложнее вычленить из него действительно ценную информацию. Чистка индекса — это вклад не только в SEO, но и в GEO-продвижение, видимость в генеративном поиске.

Почему этот кейс важен для вашего сайта

Если вы дочитали досюда, скорее всего, у вас закралось подозрение, что подобный мусор может быть и на вашем проекте. Я отвечу прямо: с вероятностью процентов восемьдесят — он там есть. Особенно если сайт на WordPress, ему больше пары лет и его не вычищали технически.

Проблема в том, что этот мусор невидим. Вы заходите на сайт, видите аккуратные статьи и страницы услуг и даже не подозреваете, что параллельно в индексе живёт вторая, теневая версия сайта из сотен пустых URL, которая тихо ворует ваши позиции и тормозит рост целевого трафика.

---

Если узнали в этом описании свою ситуацию — отсутствие роста позиций, медленную индексацию, ощущение, что трафика должно быть больше, — давайте разберёмся предметно.

Я провожу SEO-продвижение и комплексную раскрутку сайта, где техническая чистка индекса — лишь первый, базовый этап. Дальше идёт работа со структурой, семантикой, контентом и поведенческими факторами, которая и обеспечивает устойчивый рост целевого трафика. Я не продаю «магию» — я показываю арифметику и делаю предсказуемый результат, как в этом кейсе.

Сегодня недостаточно просто хорошо ранжироваться в классическом поиске. Пользователи всё чаще получают ответы прямо в нейросетях — Яндекс Нейро, Алиса, ChatGPT, — минуя привычную выдачу. Поэтому в работу я вшиваю GEO-продвижение (generative engine optimization) — оптимизацию под генеративный поиск, чтобы ваш сайт цитировался в ответах нейросетей и приводил трафик из канала, который ваши конкуренты пока игнорируют. Это то самое окно возможностей, которое закроется через год-два, когда GEO станет стандартом.

Что я предлагаю конкретно:

Начните с бесплатной диагностики. Я проведу бесплатный аудит вашего сайта и покажу, сколько мусорных страниц съедают ваш краулинговый бюджет и где вы недобираете позиции. Никаких обязательств — просто честная карта проблем.

Если хотите обсудить стратегию голосом — закажите персональную SEO-консультацию, на которой я отвечу на ваши вопросы по конкретному проекту.

Готовы к системной работе — переходите к SEO-продвижению с интеграцией GEO. Вы получаете не просто рост позиций в Яндексе, а видимость одновременно в классическом и генеративном поиске.

Посмотреть, как это работает на реальных проектах, можно в разделе с кейсами и результатами клиентов.

Не давайте теневой версии вашего сайта воровать ваши позиции. Напишите мне — и начнём с чистого индекса.