На вашем сайте 200 дублей страниц, и поисковик их ненавидит. Узнайте об этом до того, как просядут позиции

Анатолий Кузнецов

SEO-оптимизатор с 20-летним стажем. Автор блога hozyindachi.ru о продвижении и доработке сайтов.

Представьте, что вы пришли в библиотеку, а там одна и та же книга стоит на двухстах полках. Библиотекарь в растерянности: какую выдавать читателю, какую считать главной, на какую тратить место в каталоге. Примерно так чувствует себя поисковый робот, когда заходит на сайт с сотней технических копий одних и тех же страниц. И реагирует он предсказуемо — перестаёт доверять ресурсу целиком, а не отдельной странице.

За двадцать лет работы в поиске я разобрал не одну сотню проектов, и почти на каждом втором обнаруживались дубли, о которых владелец даже не подозревал. Сайт выглядит аккуратно в браузере, в админке всё в порядке, а в индексе при этом болтается двести версий одной карточки товара. Самое коварное в этой истории — она развивается тихо. Никаких уведомлений, никаких красных табличек. Просто в один прекрасный апдейт позиции начинают сползать, и никто не понимает, в чём дело. Владелец грешит на конкурентов, на алгоритм, на сезон, а реальная причина прячется в технике.

Что такое дубли страниц простыми словами

Дубль — это страница, которая доступна по нескольким разным адресам, но содержит одинаковый или почти одинаковый контент. Для человека это незаметно: он перешёл по ссылке, увидел нужный текст и забыл. А вот для робота два адреса — это две отдельные сущности, между которыми ему приходится выбирать. И пока он выбирает, ваш сайт теряет в авторитете. Подробно о механике этого явления я писал в материале про дубли страниц в Яндексе и способы их устранения, рекомендую держать его под рукой как настольную инструкцию.

Чаще всего дубли делятся на два типа. Полные — когда контент совпадает целиком, например главная страница открывается и со слешем на конце, и без него. И частичные — когда совпадает большая часть, но есть отличия: карточка товара в разных категориях, страница с сортировкой по цене, версия для печати. Оба типа вредны, но частичные особенно опасны, потому что их сложнее заметить и они любят размножаться лавинообразно. Один неудачно настроенный фильтр в каталоге способен породить сотни адресов за сутки.

Откуда на сайте берётся двести дублей

Самый частый источник — это технические настройки движка, которые никто никогда не трогал. Сайт на популярной CMS из коробки умеет открывать одну и ту же запись по десятку адресов, и владелец об этом просто не в курсе. Добавьте сюда фильтры в каталоге, сортировки, метки, теги, постраничную навигацию — и вот уже двести вариаций одной сущности живут своей жизнью в выдаче. Каждая из них формально отличается адресом, а по сути это одна и та же страница.

Отдельная головная боль — это адреса с приставками вроде параметров отслеживания и меток рекламных кампаний. Каждый раз, когда вы делитесь ссылкой с хвостом из символов после знака вопроса, поисковик может счесть её самостоятельной страницей. Я разбирал этот сценарий в статье про страницы-дубли с get-параметрами — там по шагам показано, как их обезвредить. Не менее коварен и переезд с протокола http на https, когда старые адреса остаются доступными параллельно с новыми, удваивая весь сайт целиком.

• Слеш на конце адреса и без него.
• Версии с www и без www.
• Фильтры, сортировки и метки в каталоге.
• Параметры в адресе после знака вопроса и метки кампаний.
• Страницы пагинации с одинаковым описанием.
• Версии для печати и amp-копии.
• Карточка товара, доступная из нескольких категорий.
• Старые адреса после переезда на https.

Иногда дубли создаёт сам владелец, копируя удачный текст с одной страницы на другую или клонируя посадочные под разные города без переработки. Поисковик видит два почти идентичных документа и не понимает, какой считать оригиналом. Поэтому борьба с дублями — это не разовая чистка, а постоянная гигиена, которую стоит встроить в рабочий процесс.

Почему поисковик ненавидит дубли

Первая причина — это распыление сигналов. Когда на один и тот же товар ведут пять адресов, ссылочный вес, поведенческие факторы и текстовая релевантность размазываются между ними тонким слоем. Вместо одной сильной страницы вы получаете пять слабых, ни одна из которых не дотягивает до топа. Робот видит конкуренцию ваших же страниц между собой — это явление называют каннибализацией, и о нём стоит прочитать в материале про каннибализацию запросов.

Вторая причина — это бессмысленная трата ресурса робота. У каждого сайта есть лимит на обход, который называют краулинговым бюджетом. Если робот тратит его на двести копий, до действительно важных страниц он попросту не доходит или доходит редко. В итоге новые материалы индексируются неделями, а изменения долго не попадают в выдачу. Я подробно объяснял эту связь в тексте про краулинговый бюджет и почему робот не обходит сайт.

Третья причина — это удар по доверию. Поисковые системы давно умеют отличать сайт, сделанный для людей, от свалки технических отходов. Сотни дублей сигналят роботу, что ресурс заброшен или собран на скорую руку. А недоверие к части сайта почти всегда перерастает в недоверие ко всему домену. В результате страдают даже те страницы, у которых никаких дублей нет.

Как найти дубли за двадцать минут

Начните с панели вебмастера. В разделе со страницами в поиске обычно есть фильтр по статусам, и именно там всплывают копии и страницы, исключённые как дубликаты. Это бесплатный и самый честный источник информации — поисковик сам показывает, что считает копией. Дальше пройдитесь по сайту краулером-программой, которая обходит все ссылки и собирает заголовки и описания. Одинаковые title и description у разных адресов — это почти стопроцентный признак дублей. О том, как с этим бороться на уровне движка, я писал в заметке про то, как убрать одинаковые заголовки и описания страниц.

Простейшая ручная проверка тоже работает. Возьмите кусок текста с любой страницы, заключите его в кавычки и поищите в поисковике с уточнением своего домена. Если система покажет несколько адресов с этим фрагментом — поздравляю, вы нашли дубль. Этот приём хорош тем, что не требует никаких инструментов, кроме браузера, и доступен любому владельцу без технических навыков.

Как убрать дубли навсегда

Главный инструмент — это атрибут канонической ссылки. Он сообщает роботу, какой адрес считать основным, а остальные — производными. Все сигналы при этом склеиваются на главной версии. Я подробно разбирал его в статье про канонические ссылки и в большом гайде про каноникал, редиректы и дубли. Для технических копий вроде версий с www и без, со слешем и без, лучше использовать постоянный редирект — он жёстко перенаправляет робота и пользователя на правильный адрес.

Часть мусорных страниц проще закрыть от индексации совсем. Сортировки, фильтры и служебные разделы редко несут пользу для поиска, и их можно убрать через файл robots или метатег. О тонкостях такой настройки читайте в материале про файл robots для сайта. Только не переусердствуйте: одной неосторожной строкой можно закрыть от поиска весь сайт, такие случаи встречаются чаще, чем хотелось бы.

И не забывайте про карту сайта. Чистый файл sitemap с перечнем только правильных адресов помогает роботу быстрее понять структуру и реже забредать в копии. Как его собрать, я объяснял в тексте про карту сайта sitemap. Эти три инструмента — каноникал, редирект и чистый sitemap — закрывают подавляющее большинство случаев.

Типичные ошибки при борьбе с дублями

Первая ошибка — закрыть дубли в robots и считать вопрос решённым. Запрет на обход не равен запрету на индексацию, и страница может остаться в выдаче, просто без описания. Вторая — поставить каноникал, который ссылается сам на себя у каждой копии, и удивляться, почему ничего не склеивается. Третья и самая частая — менять настройки точечно, не понимая общей картины, и плодить новые дубли вместо устранения старых. Прежде чем что-то трогать, проведите полноценный технический аудит сайта и составьте список всех версий каждой страницы.

Ещё одна распространённая беда — лечить симптомы, а не причину. Если движок генерирует копии автоматически, удалять их вручную бесполезно: они появятся снова. Нужно настроить корень проблемы, а не гоняться за следствиями. Если вы хотите системно навести порядок в технике, начните с базовых вещей, описанных в материале про правила внутренней оптимизации сайта.

Короткие ответы на частые вопросы

Сколько дублей считается нормой? В идеале — ноль, но на практике важно, чтобы все копии были склеены каноникалом или закрыты. Поисковик понимает техническую природу адресов, главное — дать ему чёткий сигнал об оригинале. Опасно именно когда сигнала нет и робот выбирает наугад.

Через сколько вырастут позиции после чистки? Обычно эффект заметен после переобхода и ближайшего апдейта, то есть в течение нескольких недель. Сначала восстанавливается индексация важных страниц, потом подтягиваются позиции. Резкого скачка ждать не стоит, рост идёт плавно по мере того, как робот пересматривает структуру и заново оценивает доверие к домену.

Закажите наведение порядка на сайте и вывод в топ

Дубли — это та проблема, которую дешевле предотвратить, чем лечить. Если позиции уже поползли вниз, а вы не понимаете причину, не стоит гадать. Я найду все технические копии, склею сигналы, верну роботу понятную структуру и выстрою SEO-продвижение сайтов в Яндексе так, чтобы каждая страница работала на результат, а не конкурировала сама с собой.

Сегодня чистая техника — это пропуск не только в поиск, но и в нейросети. Чтобы ваш бизнес рекомендовали голосовые помощники и AI-ответы, сайт должен быть безупречен изнутри. Я занимаюсь продвижением в нейросетях и AI-поиске и готовлю ресурсы к новой реальности выдачи, где побеждает тот, кого алгоритм понимает без ошибок.

Начните с бесплатной SEO-консультации — я честно скажу, что мешает вашему сайту расти и сколько времени займёт исправление. А чтобы убедиться в результате, посмотрите мои кейсы по продвижению сайтов: там реальные проекты, которые вышли в топ после наведения порядка в технике.

Увеличьте позиции и продажи вашего сайта

Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:

01 SEO-аудит сайта 02 SEO-продвижение 03 Создание сайтов 04 SEO-статьи для сайта

Получить консультацию

Остались вопросы по продвижению?

Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.

Связаться со мной →