Убрали дубли страниц — трафик вырос вдвое. Рассказываю как

Сразу скажу: заголовок не кликбейт. Это конкретный проект, который пришёл ко мне прошлой осенью в состоянии, которое я про себя называю «всё хорошо, только трафика нет». Сайт живой, контент пишется, бюджет на контекст уходит исправно, а органика топчется на месте и потихоньку сползает вниз. Владелец был уверен, что проблема в контенте или в ссылках. А оказалось — в дублях. Банальных технических дублях, которых на сайте набралось несколько тысяч, и о которых никто даже не подозревал.

За двадцать с лишним лет в поиске (я в SEO с 2003 года, и до сих пор удивляюсь, как мало это направление меняется по сути) я понял одну вещь: дубли — это самая недооценённая проблема в рунете. О них все слышали, мало кто реально чистит, и почти никто не считает, сколько трафика на них теряет. Сегодня покажу на пальцах, как это работает, чем я искал проблему и что именно сделал, чтобы органика выросла ровно вдвое.

С чего всё началось: симптомы, которые легко списать на «алгоритмы»

Картина была такая. Сайт услуговый, около 400 продвигаемых страниц. По данным Вебмастера в индексе болталось почти 6000 URL. Уже здесь у опытного человека загорается лампочка: откуда полторы тысячи процентов лишнего? Контент-менеджер руками такое количество страниц не наплодил бы при всём желании.

Позиции вели себя странно. Одна и та же услуга то висела в топ-5, то улетала на третью страницу — без всякой логики и без обновлений на странице. Классический признак того, что поисковик мечется между несколькими версиями одного документа и не может решить, какую показывать. Сегодня релевантной он считает страницу с параметром в адресе, завтра — версию для печати, послезавтра — основную. И каждый такой «переезд» обнуляет накопленные поведенческие сигналы.

Владелец, естественно, грешил на волатильность Яндекса — мол, опять алгоритмы штормит. Я этот аргумент слышу по три раза в неделю. Иногда он верен. Но прежде чем кивать на алгоритмы, я всегда сначала смотрю на технику. Потому что техника — это то, что мы можем починить, в отличие от настроения поисковой машины.

Что такое дубли и почему они тихо убивают сайт

Дубль — это когда один и тот же или почти одинаковый контент доступен по нескольким разным адресам. Поисковик видит не «одну страницу с четырьмя адресами», а четыре отдельные страницы, которые конкурируют между собой за одни и те же запросы. И вот тут начинается самое неприятное.

Во-первых, размывается ссылочный вес. Если на вашу услугу ведут внешние и внутренние ссылки, но часть идёт на адрес со слешем на конце, часть — без слеша, часть — на версию с UTM-метками, то вместо одной сильной страницы вы получаете несколько слабых. Вес растекается, как вода по столу, вместо того чтобы собраться в одной точке.

Во-вторых, расходуется краулинговый бюджет. У робота на каждый сайт выделено ограниченное число обходов. Если он тратит силы на переобход тысяч мусорных дублей, до ваших новых и важных страниц он добирается реже и позже. Я видел проекты, где свежие статьи неделями не попадали в индекс именно поэтому — робот был занят бесконечной каруселью технических копий.

В-третьих — и это главное для коммерции — рвутся поведенческие факторы. Яндекс сейчас опирается на поведение пользователей сильнее, чем когда-либо. А теперь представьте: люди заходят, кликают, читают, оставляют заявки — но распределены эти действия по четырём разным URL. Ни один из них не накапливает достаточной критической массы хороших сигналов, чтобы уверенно закрепиться в топе. Контент отличный, а поведенческие «не дозревают».

Откуда вообще берутся дубли (особенно на WordPress)

Самое коварное в дублях то, что вы их не создаёте намеренно. Их плодит сама CMS, настройки сервера и невнимательность при вёрстке. Вот основные источники, которые я проверяю в первую очередь.

Слеш на конце и его отсутствие. /uslugi/seo и /uslugi/seo/ — для робота это два разных адреса. Если сервер отдаёт обе версии с кодом 200, поздравляю, у вас дубль на каждую страницу сайта.

www и без www, http и https. Классика. Если не настроено принудительное склеивание на основное зеркало, сайт фактически существует в четырёх параллельных вселенных одновременно.

GET-параметры. Сортировки, фильтры, метки рекламных кампаний, идентификаторы сессий. Каждый параметр в адресе порождает новый URL с тем же содержимым. На одном интернет-магазине я как-то насчитал больше двадцати тысяч дублей одной категории — все из-за фильтров.

Пагинация и архивы WordPress. Вот это боль конкретно этого движка. Страницы тегов, рубрик, архивы по датам, архивы авторов — всё это часто индексируется и дублирует анонсы статей. Плюс пресловутые replytocom в комментариях, версии для печати, AMP-копии.

Главная по двум адресам. site.ru и site.ru/index.php (или /home/). Удивительно частая история, и бьёт по самой важной странице.

Если вы не уверены, что у вас с этим всё чисто, имеет смысл начать с диагностики. Я для этого делаю бесплатный аудит сайта — как минимум станет видно реальный масштаб проблемы, прежде чем что-то трогать руками.

Как я искал дубли: инструменты и живые приёмы

Теория теорией, а ловить дубли надо руками. Вот мой рабочий набор, без эзотерики.

Яндекс.Вебмастер. Первым делом — раздел «Страницы в поиске» и «Индексирование». Смотрю на расхождение между числом загруженных и числом в поиске. Большой разрыв — почти всегда дубли или малоценные страницы. Отдельно открываю статусы «Дубль» и «Малоценная или маловостребованная страница» — Яндекс честно подсвечивает, что он сам считает копиями.

Оператор site: в поиске. Грубо, но показательно. Вбиваю site:домен и листаю выдачу — глаз сразу цепляет однотипные заголовки, адреса с параметрами, странные технические URL.

Краулер (я гоняю Screaming Frog). Полный обход сайта показывает всё: коды ответов, дубли по Title и H1, цепочки редиректов, страницы с одинаковым содержимым. Сортирую по Title — и идентичные заголовки выстраиваются в ряд, как на ладони.

Анализ логов сервера. Это уже высший пилотаж, но именно логи показывают, на что робот реально тратит обходы. Если вижу, что бот сутками ходит по адресам с параметром sort= — значит, бюджет утекает туда.

На том проекте связка «Вебмастер + Frog + логи» вскрыла примерно 4500 дублей. Основными виновниками оказались архивы тегов WordPress, фильтры с GET-параметрами и несклеенный слеш. То есть ничего экзотического — стандартный набор, который просто никто не закрыл вовремя.

Что именно мы сделали — по шагам

Дальше — самое важное. Дубли нельзя просто «удалить кнопкой». Каждый тип закрывается своим способом, и если перепутать инструмент, можно сделать хуже. Вот что мы делали и в каком порядке.

Шаг 1. Определили основное зеркало и склеили протоколы. Настроили 301-й редирект всего на https с www (или без — это уже вопрос вкуса, главное последовательность). Все четыре вселенные свели в одну. Уже один этот шаг убрал кратное дублирование на весь сайт.

Шаг 2. Решили вопрос со слешем. Выбрали единый формат адресов и настроили принудительный редирект на него. На уровне сервера, а не плагином — так надёжнее.

Шаг 3. Закрыли параметрические дубли через canonical. Все страницы с GET-параметрами получили тег rel=canonical, указывающий на чистую версию без параметров. Это сказало поисковику: «вот эти десятки адресов — на самом деле одна страница, вес и сигналы передавай сюда». Robots.txt для этого я стараюсь использовать аккуратно — закрытие в роботсе мешает роботу увидеть сам canonical, поэтому для уже проиндексированных дублей предпочитаю каноникал и meta noindex, а не голую блокировку.

Шаг 4. Разобрались с архивами WordPress. Архивы дат и авторов закрыли от индексации, теги проредили — оставили только те, что реально полезны пользователю и собирают свой спрос, остальные убрали. Пагинацию настроили корректно, чтобы вторые-третьи страницы листинга не воспринимались как дубли первой.

Шаг 5. Починили внутреннюю перелинковку. Это шаг, который многие пропускают, а зря. Мы прошлись по внутренним ссылкам и убедились, что они ведут на канонические адреса — без слешей-разнобоя, без старых http, без параметров. Нет смысла настраивать редиректы, если сам сайт продолжает ссылаться на мусорные версии.

Если у вас нет времени или желания лезть в этот технический ад самостоятельно, это ровно та работа, которую я закрываю под ключ в рамках доработки сайта. Часто именно эти невидимые правки дают больше прироста, чем месяцы написания новых текстов.

Почему трафик вырос именно вдвое: механика без магии

Когда я говорю «трафик вырос вдвое», у людей в глазах скепсис — мол, удалил какие-то технические странички, а тут двукратный рост, не сходится. Сходится, и вот почему.

Рост получился не из ниоткуда. Он был «зажат» дублями и просто высвободился. Представьте сжатую пружину: контент и ссылочная масса уже были достаточны для топа, но сигналы размазывались по копиям и не давали ни одной странице выстрелить. Как только мы свели всё в единые канонические URL, накопленный потенциал сложился в одной точке.

Хронология была примерно такая. Первые две-три недели — тишина, иногда даже лёгкая просадка (это нормально, робот переваривает изменения, переобходит, склеивает). Дальше из индекса начали выпадать дубли — число страниц в поиске поползло вниз, к реальной цифре. А вот позиции продвигаемых страниц, наоборот, пошли вверх и, главное, перестали скакать. К концу второго месяца органика стабилизировалась примерно на удвоенном уровне относительно старта, потому что теперь каждая страница накапливала поведенческие сигналы целиком, а не четвертинками.

Отдельно отмечу: краулинговый бюджет высвободился, и новые материалы стали индексироваться буквально за день-два вместо недели. Это бонус, который сложно измерить в моменте, но он работает в долгую.

Похожих историй у меня в практике хватает — часть я выкладываю в разделе с кейсами, если хотите посмотреть на цифры и динамику по другим проектам.

Типичные ошибки, на которых горят даже опытные

Чистка дублей — операция тонкая. Вот грабли, на которые я насмотрелся (и на пару из них в молодости наступал сам).

Закрыть дубли только в robots.txt. Самая частая ошибка. Робот не заходит на закрытую страницу, а значит, не видит на ней ни canonical, ни 301. Уже проиндексированный дубль так и остаётся в выдаче годами. Роботс хорош для того, что ещё не проиндексировано, а не для разгребания того, что уже есть.

Поставить canonical на саму себя криво. Если каноникал указывает на адрес с параметром или с лишним слешем, вы не склеиваете дубли, а узакониваете их. Проверять надо каждую группу руками.

Массовый 301 без проверки. Цепочки редиректов (А ведёт на Б, Б на В, В на Г) замедляют сайт и тратят тот самый бюджет обхода. Редирект должен быть прямым: со старого адреса сразу на финальный.

Снести теги и рубрики под ноль. Иногда страницы рубрик собирают неплохой трафик по среднечастотке. Рубить сплеча нельзя — сначала смотрим, что приносит заходы, и только потом решаем.

Если сомневаетесь, в каком порядке и чем закрывать конкретно ваши дубли, иногда дешевле один раз взять SEO-консультацию и разложить всё по полочкам, чем месяцами наугад двигать настройки и терять позиции.

Если у вас та же история: давайте решим

Чаще всего ко мне приходят именно с этим: «контент пишем, деньги вкладываем, а целевого трафика как не было, так и нет». И в большинстве случаев за этим прячется не плохой контент, а техника — дубли, кривые редиректы, размытые поведенческие. Это лечится, и лечится предсказуемо.

Работаю я честно: беру по одному клиенту в нишу, без агентских прослоек и менеджеров-посредников — со мной вы общаетесь напрямую. За плечами больше 300 проектов и опыт в поиске с 2003 года. Начинаю всегда с диагностики, а не с обещаний: сначала нахожу, где именно утекает трафик, и только потом предлагаю план. SEO-продвижение у меня — это в первую очередь приведение сайта в порядок и системный рост видимости, а не разовые манипуляции, которые завтра отвалятся.

Отдельно — про новую реальность поиска. Люди всё чаще ищут ответы не в классической выдаче, а у нейросетей: YandexGPT, GigaChat, ChatGPT, Perplexity. И если ваш сайт там не цитируется, вы уже теряете аудиторию, которую конкуренты забирают. Я занимаюсь GEO-продвижением — оптимизацией под генеративные ответы, чтобы нейросети ссылались именно на вас. Это направление, в котором сейчас почти нет конкуренции, и заходить в него выгоднее раньше, чем позже.

Если узнали в этой статье свой сайт — начните с малого. Закажите бесплатный аудит: я посмотрю, есть ли у вас дубли и куда уходит трафик, и скажу прямо, стоит ли вообще что-то делать. Без воды и без впаривания. А дальше уже решите, двигаться вместе или нет.