Почему Яндекс не индексирует новые статьи на WordPress — и что с этим делать за один вечер

Раз в неделю мне пишут примерно одно и то же письмо. «Анатолий, публикуем по три статьи в неделю уже второй месяц. В Google всё влетает за сутки. Яндекс — тишина. В Вебмастере страницы висят в разделе «Исключённые», трафика ноль. Мы что-то делаем не так?»

Делаете. Но почти никогда не то, что вы думаете. За двадцать лет практики я разобрал сотни таких проектов и могу сказать честно: в девяти случаях из десяти проблема не в качестве текста и не в «злом Яндексе». Проблема в трёх-четырёх технических мелочах, которые чинятся за вечер — если знать, куда смотреть. А смотрят обычно не туда: переписывают статьи, докупают ссылки, меняют подрядчика. А галочка «Попросить поисковые системы не индексировать сайт» как стояла с момента разработки, так и стоит.

В этой статье я разложу всё по полкам: сначала — как вообще Яндекс решает, брать вашу страницу или нет (это принципиально отличается от логики Google, и именно непонимание этой разницы губит большинство блогов), потом — семнадцать конкретных причин по убыванию частоты, и в конце — план на один вечер с таймингом. Не теория. То, что я сам делаю на проектах.

Главное, что нужно понять про Яндекс: он не обязан вас индексировать

Вот ключевая мысль, ради которой стоит дочитать даже если дальше вы всё пролистаете. Google работает по принципу «сначала возьму, потом разберусь»: страница попадает в индекс почти автоматически, а дальше уже решается, ранжировать её или задвинуть в конец. Яндекс работает наоборот — «сначала разберусь, потом возьму».

У Яндекса есть отдельная стадия между обходом роботом и попаданием в индекс. Робот скачал страницу, положил в очередь — и дальше алгоритм решает: а стоит ли эта страница того, чтобы занимать место в базе? Именно поэтому в Вебмастере существует статус, которого нет ни у одной другой поисковой системы: «Страница малоценная или маловостребованная». Она не запрещена. Она не битая. Робот её видел. Он просто решил, что она не нужна.

Google спрашивает: «Могу ли я это проиндексировать?» Яндекс спрашивает: «А зачем мне это индексировать?» Пока вы не ответите на второй вопрос, статья будет висеть в исключённых, сколько бы раз вы ни жали «Переобход».

Отсюда следуют два практических вывода. Первый: у Яндекса есть квота на индексацию для каждого сайта — грубо говоря, лимит страниц, которые он готов взять, и он зависит от траста домена, возраста, посещаемости, качества уже проиндексированного. Молодой блог с двадцатью статьями получает крошечную квоту. Второй: если у вас в индексе висит тысяча мусорных страниц — тегов, архивов по датам, фидов, пагинации, — они едят вашу квоту, и на свежие статьи её просто не остаётся. Об этом я подробно писал в материале иногда лучший способ поднять сайт — удалить половину страниц: там реальный кейс, где чистка каталога от одиннадцати тысяч страниц до двух с половиной подняла трафик в три раза.

WordPress в этом смысле — идеальная машина по производству мусорных страниц. Он из коробки плодит архивы по авторам, по датам, по рубрикам, по меткам, RSS-ленты для каждой рубрики, страницы вложений (attachment pages), пагинацию комментариев. Один пост может породить восемь-десять URL-адресов. Вы публикуете сто статей — и Яндекс видит сайт на тысячу страниц, где полезных двенадцать процентов. Что он думает о таком сайте? Правильно.

Семнадцать причин, по которым Яндекс не берёт ваши статьи

Я расположил их по убыванию частоты — ровно в том порядке, в котором сам проверяю на аудите. Первые пять закрывают процентов восемьдесят всех случаев.

1. Та самая галочка в настройках чтения

Настройки → Чтение → «Попросить поисковые системы не индексировать сайт». В базе это опция blog_public. Разработчик ставит её на этапе создания сайта, чтобы черновик не попал в поиск, и в 30% случаев забывает снять при запуске. Я не преувеличиваю цифру: это буквально первое, что я открываю на аудите WordPress-проекта, и находится оно неприлично часто.

Коварство в том, что WordPress при включённой галочке не только пишет Disallow: / в виртуальный robots.txt, но и подставляет в <head> каждой страницы <meta name="robots" content="noindex, nofollow">. То есть даже если вы потом залили свой физический robots.txt поверх виртуального — мета-тег останется, и Яндекс всё равно проигнорирует страницу.

Как проверить за 10 секунд: откройте любую статью, нажмите Ctrl+U, нажмите Ctrl+F, введите «noindex». Если нашлось — вы только что решили свою проблему.

2. Плагин SEO ставит noindex на то, что вы не заметили

Yoast, Rank Math, All in One SEO — у каждого есть раздел с настройками индексации типов записей и таксономий. Достаточно случайно переключить тумблер у «Записей» (Posts), и все посты уйдут в noindex, а вы будете видеть в админке зелёные галочки «SEO: хорошо» и недоумевать.

Отдельная беда — настройки на уровне конкретной записи. В Rank Math это вкладка «Advanced» в SEO-блоке под редактором, в Yoast — шестерёнка → «Разрешить поисковым системам показывать эту запись в результатах поиска?». Если у вас несколько авторов, кто-то рано или поздно ткнёт «Нет» и не заметит.

3. Robots.txt, написанный по гайду из 2013 года

Самый популярный вредный шаблон, который до сих пор гуляет по интернету:

User-agent: *
Disallow: /wp-
Disallow: /*?
Disallow: /wp-content/

Правило Disallow: /wp- закрывает /wp-content/uploads/ — то есть все ваши картинки. Правило Disallow: /*? закрывает поиск по сайту и заодно всё с параметрами. А закрытый /wp-content/ означает, что робот не видит CSS и JS темы — и рендерит вашу страницу как голый текст без вёрстки. Яндекс это оценивает как «страница выглядит сломанной», и с индексацией вы можете попрощаться.

Проверьте себя в Вебмастере: Инструменты → Анализ robots.txt, вставьте URL проблемной статьи и нажмите «Проверить». Он прямым текстом скажет «разрешён» или «запрещён правилом такой-то строки».

4. Sitemap врёт или его два

С WordPress 5.5 движок отдаёт собственную карту сайта по адресу /wp-sitemap.xml. Если вы поставили Yoast или Rank Math, он генерирует свою — /sitemap_index.xml. В итоге на сайте живут две карты, часто с разным содержимым, а в Вебмастере добавлена та, что уже не обновляется.

Классическая ситуация: карту добавили в Вебмастер два года назад, потом сменили SEO-плагин, старый URL стал отдавать 404, а Вебмастер послушно ходит по нему и получает ошибку. Никто в раздел «Файлы Sitemap» с тех пор не заглядывал.

Что делать: открыть Вебмастер → Индексирование → Файлы Sitemap, посмотреть на статус и дату последнего обхода. Если статус не «Обработан» и дата не свежая — вы нашли причину. Удалите лишнюю карту, оставьте одну и переотправьте.

5. «Страница малоценная или маловостребованная»

Самый обидный и самый неочевидный статус. Технически с сайтом всё в порядке, но Яндекс говорит: «спасибо, не надо». Почему он так решает по свежим статьям блога:

• Текст не даёт ничего нового. Если ваша статья — пересказ того, что уже есть в топе десятью строчками выше, Яндексу нет смысла добавлять одиннадцатую копию. Он умеет считать смысловое пересечение с уже проиндексированным.
• Мало текста при большой навигации. Статья на 1500 знаков в шаблоне, где шапка, сайдбар, футер и блок «похожие записи» занимают 80% HTML — это для алгоритма страница без основного контента.
• Нулевые поведенческие. На страницу никто не заходит из соцсетей, нет ни одного клика — робот не видит подтверждения, что она кому-то нужна.
• Дубли смыслов внутри сайта. Вы написали пять статей вокруг одного запроса, и Яндекс берёт одну, а остальные считает лишними. Про это — почему скопированные описания убивают каталог: механика та же самая, просто в статьях блога она проявляется мягче.

6. Кэширующий плагин отдаёт роботу старую версию

WP Rocket, LiteSpeed Cache, W3 Total Cache, Autoptimize — любой из них может держать в кэше версию главной страницы и страницы рубрики без вашей новой статьи. Робот приходит, видит ленту, в которой свежего поста нет, — и не находит на него ни одной внутренней ссылки. Ссылки нет — обхода нет.

Отдельный подвид этой беды: кэш не сбрасывается при публикации, потому что у вас настроен «прогрев» кэша по расписанию раз в сутки. Или Cloudflare держит копию на своей стороне. Проверяется просто: откройте главную в режиме инкогнито и убедитесь, что новая статья там есть.

7. Сервер отдаёт роботу 5xx, а вам — 200

Дешёвый shared-хостинг под нагрузкой отвечает роботу ошибкой 503 или просто отваливается по таймауту. Вы, сидя в браузере с прогретым кэшем, ничего не замечаете. А Яндекс замечает и снижает скорость обхода — он не хочет ронять ваш сервер.

Смотрите в Вебмастере раздел Индексирование → Статистика обхода. Если там есть красная зона с кодами 5xx — сначала чините хостинг, потом всё остальное. Никакой контент не спасёт сайт, который падает под роботом. Заодно загляните в Скорость обхода: если стоит «Ограничить», кто-то когда-то её прикрутил вручную, и это надо снять.

8. Статья не связана с сайтом ни одной внутренней ссылкой

Робот попадает на страницу двумя путями: по ссылке и из sitemap. Sitemap — это подсказка, а не приказ; Яндекс может обойти карту неделями. А вот живая ссылка с главной или из рубрики — прямой сигнал.

Проблема возникает, когда на главной стоит статичная страница (Настройки → Чтение → «Статическая страница»), а ссылки на блог из шапки нет или она ведёт на рубрику, где стоит вывод «только избранные записи». Статья формально опубликована, но с точки зрения структуры сайта висит в вакууме. О том, как глубина вложенности убивает индексацию, у меня есть отдельный разбор: страница на пятом уровне вложенности для Яндекса почти не существует.

9. Canonical указывает не туда

Плагин, тема или кривая настройка могут проставить на статье rel=canonical, ведущий на главную, на рубрику или на URL с другим слешем. Для Яндекса это означает: «эта страница — копия, индексируй оригинал». Он и не индексирует.

Особенно часто это ловится на сайтах, где меняли структуру ЧПУ или переезжали с http на https и оставили в canonical старую схему. Я разбирал такой случай в деталях — одна лишняя буква в canonical, и страница исчезает из выдачи. Там карточка товара вылетела из топ-5 за неделю из-за одного символа.

10. Дата публикации в будущем

Звучит смешно, но встречается регулярно. Автор запланировал публикацию, потом опубликовал вручную, а дата осталась завтрашней. WordPress отдаёт такую запись как «Запланировано» — она недоступна по прямой ссылке для незалогиненного пользователя, а робот получает 404. Проверьте, что часовой пояс в Настройках → Общие совпадает с реальным.

11. Тема выводит контент через JavaScript

Модные темы и конструкторы (особенно если статьи подгружаются бесконечной прокруткой, а текст рендерится через React-компонент) отдают роботу пустой div. Яндекс умеет исполнять JS, но делает это не всегда, не сразу и не для всех сайтов. Молодой блог в этот приоритет не попадает.

Проверка: отключите JavaScript в браузере и откройте статью. Видите текст — всё нормально. Видите белый экран — вот вам причина.

12. Ленивая загрузка «съела» текст

Родственник предыдущего пункта: плагины оптимизации иногда оборачивают в lazy-load не только картинки, но и блоки текста. Робот загружает HTML без скролла и не получает основной контент.

13. Сайт под ручными санкциями или в фильтре

Смотрите Вебмастер → Диагностика → Безопасность и нарушения. Если там висит уведомление о накрутке поведенческих, малополезном контенте или аффилиате — индексация нового просто заморожена. Тут вечером не отделаетесь. Кстати, если вам обещают «топ за месяц» — с большой вероятностью вы приедете именно сюда: почему «выведем в топ за месяц» — красный флаг, а не оффер.

14. Домен с историей

Купили красивый домен на аукционе, а до вас на нём три года крутились дорвеи. Яндекс помнит. Молодой сайт на таком домене может месяцами не выходить из «песочницы». Проверяется по web.archive.org и по остаткам ссылочного профиля.

15. В индексе висят сотни мусорных страниц

Вернёмся к квоте. Откройте Вебмастер → Индексирование → Страницы в поиске → вкладка «Все страницы» и посмотрите, что там. Если видите /tag/, /2019/03/, /author/admin/, /feed/, ?replytocom= — вы кормите робота пустотой, а он в ответ экономит на вас квоту.

16. Метрика не подключена или не отдаёт данные

Яндекс использует счётчик Метрики как один из источников для обхода — если на страницу заходят живые люди, робот узнаёт о её существовании быстрее. Отсутствие счётчика само по себе не блокирует индексацию, но лишает вас бесплатного канала сигналов. В настройках Вебмастера есть галочка «Учитывать данные Метрики при обходе» — включите её.

17. Вы не сказали Яндексу, что страница появилась

Самое банальное. Sitemap робот обойдёт когда-нибудь. А есть три способа сказать «приходи сейчас» — и большинство блогов не использует ни одного. О них — прямо ниже, в плане на вечер.

План на один вечер: три часа, семь шагов

Дальше — конкретная последовательность. Я даю её именно в таком порядке, потому что каждый следующий шаг бессмыслен без предыдущего: нет смысла отправлять страницу на переобход, если на ней стоит noindex.

Шаг 1. Диагностика (20 минут)

Что проверяем	Где	Что должно быть
Галочка «не индексировать»	Настройки → Чтение	Снята
Мета-тег robots	Ctrl+U на статье, поиск «noindex»	Не найдено
Robots.txt	Вебмастер → Анализ robots.txt	URL статьи «разрешён»
Canonical	Ctrl+U, поиск «canonical»	Ведёт на саму себя
Код ответа	Вебмастер → Проверка ответа сервера	200 OK
Sitemap	Вебмастер → Файлы Sitemap	Один, статус «Обработан», свежая дата
Ошибки 5xx	Вебмастер → Статистика обхода	Нет всплесков

Если хоть одна строка «красная» — вы, скорее всего, уже нашли причину. Дальше идите чинить именно её, а не всё подряд.

Шаг 2. Чистим robots.txt (15 минут)

Выбросьте всё, что скопировали с форумов. Рабочая база для WordPress выглядит скромно:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: */feed/
Disallow: */embed/
Disallow: /*?replytocom=

Sitemap: https://вашсайт.ru/sitemap_index.xml

Обратите внимание: /wp-content/ и /wp-includes/ не закрыты. Роботу нужны CSS и JS, чтобы отрендерить страницу так, как её видит человек. Директиву Host писать больше не нужно — Яндекс её не поддерживает с 2018 года, а Clean-param имеет смысл только если у вас реально есть параметры вроде utm или sort.

Шаг 3. Закрываем мусор, но правильно (30 минут)

Ключевой нюанс, на котором ошибаются почти все: если страница уже в индексе, закрывать её в robots.txt бесполезно. Робот перестанет к ней ходить, не увидит noindex и оставит её в индексе навсегда. Работает только так: сначала noindex через SEO-плагин, ждём выпадения из индекса, и только потом (если очень хочется) закрываем в robots.

Что стоит убрать из индекса на типичном блоге:

• архивы по датам (/2024/05/) — noindex, пользы ноль;
• архивы по авторам, если автор один — noindex;
• метки (теги), если их наплодили механически — noindex, а если тегов немного и под каждым 5–10 осмысленных статей, лучше оставить в индексе и дописать описание;
• страницы вложений (attachment pages) — редирект на сам файл, в Yoast и Rank Math это делается одним тумблером;
• пагинация комментариев и ?replytocom — закрыть.

Рубрики — оставляйте. Это ваши посадочные страницы, и на них есть смысл написать по паре абзацев осмысленного текста. Как я это делаю в своём блоге, видно на примере раздела Техническое SEO.

Шаг 4. Достраиваем внутренние ссылки (30 минут)

На каждую свежую статью должно вести минимум две ссылки с уже проиндексированных страниц. Не «похожие записи» в футере, которые генерируются JS-виджетом, а нормальные ссылки прямо в тексте старых материалов. Это самый быстрый способ загнать робота на нужный URL — и одновременно самый недооценённый.

Правило, которое я даю всем клиентам: опубликовал статью — тут же зайди в две-три старые по той же теме и вставь на неё ссылку из тела текста. Занимает пять минут, ускоряет индексацию в разы.

Шаг 5. Включаем IndexNow (20 минут)

Вот то, что реально меняет картину и о чём в русскоязычных блогах пишут удивительно мало. IndexNow — протокол, который позволяет сайту самому пинговать поисковик в момент публикации: «эй, у меня новый URL, приходи». Яндекс его поддерживает официально.

Как включить на WordPress:

1. В Rank Math: Общие настройки → IndexNow → включить, ключ сгенерируется автоматически.
2. В Yoast: отдельного модуля нет, ставьте плагин IndexNow от Microsoft Bing или Instant Indexing.
3. Руками: сгенерировать ключ, положить файл ключ.txt в корень сайта, отправлять POST-запрос на https://yandex.com/indexnow?url=...&key=....

Разница на моих проектах: без IndexNow свежая статья на молодом блоге попадала в индекс за 5–14 дней. С IndexNow — за 1–3 дня. Не магия, но экономия недели на каждой публикации. Умножьте на сотню статей — получите два-три месяца форы.

Шаг 6. Переобход страниц в Вебмастере (10 минут)

Индексирование → Переобход страниц. Лимит — обычно 10–30 URL в сутки, зависит от размера сайта. Не тратьте его на что попало: отправляйте только реально важные статьи. И не жмите одну и ту же страницу пять раз подряд — это ничего не ускорит, а лимит вы сожжёте.

Важная деталь: переобход — это заявка на обход, а не на индексацию. Робот придёт и посмотрит. Если страница малоценная, он посмотрит и уйдёт. Поэтому шаг 7.

Шаг 7. Делаем страницу такой, чтобы её захотелось взять (остаток вечера)

Если техника вся зелёная, а статья всё равно «малоценная» — дело в самом материале. Здесь работают три вещи, проверенные на десятках проектов:

• Уникальный факт, цифра или кейс. Не переписанный пересказ, а то, чего нет у конкурентов: свой замер, свой скриншот из Метрики, свой провал и вывод из него. Алгоритмы Яндекса считают «новизну информации» — если пересечение с уже проиндексированным близко к 100%, шансов нет.
• Один H1, внятная структура H2/H3. Банально, но ломается постоянно — темы WordPress любят вешать H1 на логотип и на название сайта в шапке. Разбирал это отдельно: один H1 открывает дорогу в топ, четыре других её закрывают.
• Первый трафик из внешнего источника. Дайте ссылку в свой Telegram, ВК, Дзен. Двадцать живых заходов с нормальным временем на странице — сигнал, который Яндекс учитывает при решении о ценности страницы.

Чего делать не надо (и что делают все)

Три вещи, которые я вижу на каждом втором сайте и которые не работают:

Не гоняйтесь за ИКС. Индекс качества сайта не влияет на скорость индексации напрямую и вообще плохо коррелирует с трафиком. Я разбирал это на цифрах: ИКС вырос, а трафик упал.

Не закупайте ссылки «для ускорения индексации». Ссылка с прогонной площадки даст роботу повод зайти один раз — и повод присмотреться к вашему ссылочному профилю повнимательнее. Соотношение риска и пользы отвратительное.

Не публикуйте по пять статей в день на молодом блоге. Это самый быстрый способ получить статус «малоценные» на всю пачку разом. Квота маленькая — тратьте её на лучшее. Три сильные статьи в месяц дадут больше, чем тридцать пустых.

Отдельно: индексация — это уже не только про Яндекс

Ещё пару лет назад разговор на этом бы и закончился. Сейчас — нет. Ваши статьи читает не только робот Яндекса, но и краулеры нейросетей: YandexGPT, Алиса, ChatGPT, Perplexity, DeepSeek. И у них своя логика: они не «ранжируют» страницу, они цитируют её в ответе пользователю. Причём ссылку на источник дают далеко не всегда — но когда дают, это самый тёплый трафик, какой вообще бывает.

Хорошая новость: почти всё, что вы сделали за этот вечер, работает и на них. Чистый HTML без JS-рендеринга, внятная структура заголовков, конкретные факты и цифры вместо воды — это ровно то, что нейросеть может «вытащить» из текста и процитировать. Плохая новость: правил для этого канала ещё нет ни в одном учебнике, и большинство сайтов не оптимизировано под него вообще никак. Что означает — окно возможностей открыто прямо сейчас. Я собрал свои наблюдения здесь: оптимизация под AI-поиск: нюансы, которых ещё нет в учебниках, и веду отдельную рубрику GEO-продвижение.

Итого: чек-лист на холодильник

#	Действие	Время
1	Снять галочку в Настройках → Чтение	1 мин
2	Проверить noindex в коде статьи	2 мин
3	Переписать robots.txt по-человечески	15 мин
4	Оставить одну карту сайта, переотправить в Вебмастер	10 мин
5	Проверить canonical и код ответа 200	5 мин
6	Убрать в noindex архивы, авторов, вложения	30 мин
7	Сбросить кэш и проверить, что статья видна на главной	5 мин
8	Проставить 2–3 внутренние ссылки на новую статью	15 мин
9	Включить IndexNow	20 мин
10	Отправить URL на переобход	5 мин
11	Дать первый внешний трафик из соцсетей	10 мин

Реалистичные сроки после починки: технические причины (noindex, robots, canonical) снимаются за 3–10 дней — робот приходит и берёт страницу. «Малоценность» лечится дольше: от двух недель до полутора месяцев, потому что здесь Яндекс ждёт накопления сигналов. Если через месяц после чистки ничего не сдвинулось — проблема глубже, и её нужно искать в трасте домена, санкциях или структуре сайта целиком.

Если вечера не хватило

Честно скажу: этот план закрывает большинство случаев, но не все. Бывает, что технически всё безупречно, IndexNow работает, sitemap чистый — а Яндекс всё равно держит блог на голодном пайке. Тогда причина системная: домен, структура, конкурентное окружение, история сайта. Такое по чек-листу не чинится — нужен разбор конкретного проекта.

Я двадцать лет занимаюсь продвижением в Яндексе — с 2005 года, вывел в топ более 300 сайтов и ни разу не получил фильтр ни на одном проекте, потому что работаю только белыми методами. Работаю напрямую, без менеджеров и посредников, и беру один проект на нишу — чтобы не продвигать конкурентов друг против друга.

Что предлагаю:

• Бесплатный экспресс-аудит за 24 часа. Прогоняю ваш сайт по ключевым параметрам индексации и ранжирования и присылаю конкретный список: что мешает прямо сейчас, что чинить в первую очередь, какой у сайта реальный потенциал по трафику. Без воды и без «купите наш пакет». Просто список проблем — дальше делайте с ним что хотите, хоть сами, хоть с другим подрядчиком. Заказать бесплатный аудит →
• Глубокий SEO-аудит и техническая доработка. Если проблема системная, разбираю сайт по 120+ параметрам и отдаю приоритизированный план. Могу и внедрить — SEO-аудит и доработка сайта.
• Комплексное SEO-продвижение. Семантика, техника, контент, ссылки, аналитика — под ключ, с еженедельной отчётностью, чтобы вы видели движение каждую неделю, а не «через полгода». Средний рост заявок у моих клиентов — в 3–4 раза за первые шесть месяцев. Подробности и условия →
• GEO-продвижение (оптимизация под AI-поиск). Пока конкуренты спорят, считать ли нейросети трафиком, я уже вывожу клиентов в цитируемые источники Алисы, YandexGPT и ChatGPT. Это канал, где сейчас почти нет конкуренции — через год такого окна не будет. Обсудить GEO-продвижение →
• Контент под индексацию. Если статьи не берут из-за «малоценности» — пишу материалы, которые Яндекс берёт: купить SEO-статьи.

Хотите сначала посмотреть на результаты, а не на обещания — вот мои кейсы с цифрами и графиками. Там реальные сайты, реальные позиции, реальный рост заявок — можете проверить позиции прямо сейчас, ссылки на проверку есть в каждом кейсе.

Не хотите ничего заказывать — просто заберите чек-лист выше и почините сайт сами. Он для этого и написан. А если после вечера работы Яндекс всё равно молчит — напишите мне, разберёмся вместе.

Анатолий Кузнецов, SEO-специалист. В профессии с 2005 года. 300+ сайтов в ТОП-3 Яндекса, 0 фильтров за 20 лет. Другие мои разборы — в блоге.