В 2019 году один крупный российский интернет-магазин потерял 90% поискового трафика за три недели. Причина: при переносе сайта на новый сервер в robots.txt осталась строчка Disallow: / с тестового окружения. Трёх недель хватило, чтобы Яндекс удалил большинство страниц из индекса. Восстановление заняло полгода.
Robots.txt и sitemap.xml — два файла, которые напрямую управляют тем, что Яндекс видит и индексирует на вашем сайте. Одна неверная строчка может обнулить годы SEO-работы. Разберём все критические ошибки и правильную конфигурацию.
Как работает robots.txt: основы
Robots.txt — это текстовый файл в корне сайта, который даёт инструкции поисковым роботам: какие страницы обходить, какие — нет. Яндекс.Бот читает его при каждом визите, прежде чем начать обход.
Важно понимать: robots.txt управляет только обходом (crawling), но не индексацией. Если страница уже в индексе, директива Disallow не удалит её оттуда. Для удаления из индекса нужен meta robots noindex или инструмент удаления URL в Яндекс.Вебмастере.
Критические ошибки robots.txt
Disallow: / — закрывает весь сайт. Самая смертельная ошибка. Появляется при переносе с тестового сервера.
Disallow: /wp-content/themes/ — Яндекс не загружает CSS и изображения темы. Страницы в выдаче выглядят сломанными, CTR падает до нуля.
Disallow: /wp-content/uploads/ — ваши изображения не индексируются в Яндекс.Картинках, потенциальный источник трафика потерян.
Отсутствие User-agent: * — без этой директивы правила могут не применяться к Яндекс.Боту.
BOM-символ в начале файла — невидимый символ в начале UTF-8 файла ломает синтаксис. Яндекс может игнорировать весь файл. Проверьте в редакторе Notepad++ или VSCode.
Эталонный robots.txt для WordPress
User-agent: * # Технические разделы — закрыть Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp-login.php Disallow: /wp-cron.php # UTM-параметры и технические параметры Disallow: /*?utm_ Disallow: /*?yclid= Disallow: /*?fbclid= # Разрешить ресурсы темы и загрузки Allow: /wp-admin/admin-ajax.php Allow: /wp-content/uploads/ Allow: /wp-content/themes/ Allow: /wp-content/plugins/ Sitemap: https://yoursite.ru/sitemap.xml
Как проверить robots.txt
Яндекс.Вебмастер → «Инструменты» → «Анализ robots.txt»: введите URL любой важной страницы и проверьте, не заблокирована ли она. Это официальный инструмент — именно так Яндекс интерпретирует ваш файл.
Также откройте yoursite.ru/robots.txt в браузере и внимательно прочитайте каждую строчку. Особое внимание — первой строчке после User-agent: *.
Типичные ошибки sitemap.xml
Sitemap — это карта сайта в формате XML, которую вы отдаёте Яндексу. Это ускоряет индексацию новых страниц и помогает Яндексу понять структуру сайта. Но неправильный sitemap хуже, чем его отсутствие.
Страницы с noindex в карте сайта. Классическое противоречие: вы говорите «не индексировать» через мета-тег и одновременно «проиндексируй» через sitemap. Яндекс выбирает noindex, но тратит бюджет на обход.
Удалённые и перенаправленные URL. После удаления страниц из sitemap часто забывают убрать. Яндекс обходит несуществующие URL, получает 404 или 301 — это потеря краулингового бюджета.
Неправильная дата lastmod. Указывать одну дату для всех страниц или будущую дату — Яндекс игнорирует недостоверные данные lastmod.
Слишком большой sitemap. Более 50 000 URL в одном файле — технический лимит. Разбейте на несколько файлов и создайте sitemap-index.
Как настроить правильный sitemap в WordPress
Плагин Rank Math или Yoast SEO автоматически генерируют корректный sitemap.xml. Настройки Rank Math → Sitemap: включите ситемэп, выберите только страницы с уникальным контентом, исключите страницы тегов с менее чем 3 статьями.
После настройки: Яндекс.Вебмастер → «Индексирование» → «Файлы Sitemap» → добавьте yoursite.ru/sitemap.xml. Яндекс проверит файл и сообщит об ошибках.
Правильная настройка robots.txt и sitemap.xml — первый шаг любого технического аудита сайта. Начните с бесплатной проверки — найдём критические ошибки за 24 часа.
Проверим robots.txt и sitemap за 24 часа
Бесплатный аудит — найдём все ошибки конфигурации и дадим готовые правки.
Получить бесплатный аудитНашли технические проблемы на своём сайте?
Описанные выше ошибки — лишь часть того, что может тормозить рост сайта в Яндексе. Анатолий Кузнецов проведёт полный технический SEO-аудит: проверит индексацию, скорость, структуру, ссылки и метаданные — и выдаст приоритетный план исправлений. Не знаете, с чего начать? Начните с бесплатного экспресс-аудита — первые выводы уже сегодня.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Старт 
Стандарт 
Премиум 
