Robots.txt, о котором молчат SEO-специалисты: опасные настройки по умолчанию

Файл robots.txt — это 100-200 строчек текста, которые определяют, увидит ли Яндекс ваш сайт как авторитетный ресурс или как свалку мусорного контента. Большинство владельцев даже не открывают этот файл — мол, «там всё работает по умолчанию». А между тем «настройки по умолчанию» часто содержат критические ошибки, из-за которых половина сайта вылетает из индекса или, наоборот, в индекс попадает то, что там не должно быть. Сегодня раскроем все грязные секреты robots.txt, о которых молчат SEO-агентства.

Что такое robots.txt и зачем он нужен

Robots.txt — это текстовый файл в корне сайта (example.ru/robots.txt), в котором вы пишете инструкции для поисковых роботов. Что сканировать, что не сканировать, где искать карту сайта. Это первый файл, который открывает поисковый робот, придя на сайт.

Логика простая: правильно настроенный robots.txt направляет бота на нужные страницы, бережёт краулинговый бюджет, улучшает индексацию ценных страниц. Неправильный — блокирует индексацию нужного или, наоборот, забивает индекс мусором.

Опасность 1: Disallow: / — классический расстрел

Самая страшная ошибка, которую я видел сотни раз. Разработчик делал сайт на тестовом домене, в robots.txt прописал:

User-agent: *
Disallow: /

Эта конструкция запрещает индексацию всего сайта целиком. Сайт уехал в прод, файл забыли обновить, поисковые роботы увидели запрет — и сайт навсегда исчез из поиска.

Как обнаружить: открыть example.ru/robots.txt. Если увидите Disallow: / без дополнительных ограничений — срочно менять.

Как исправить: удалить эту строку, оставить более конкретные Disallow для служебных разделов.

Опасность 2: Закрытие CSS и JS от индексации

Устаревший совет из 2010 года: «закройте от индексации папки /css/ и /js/, чтобы не засорять индекс». В 2026 году это опасно.

Современные поисковики рендерят страницы как браузер, чтобы увидеть их «глазами пользователя». Если закрыть CSS и JS, Яндекс видит ваш сайт как голый HTML — без стилей, без функциональности. И оценивает его как плохо свёрстанный сайт из нулевых.

Правильно: открывать CSS и JS для индексации:

Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js

Опасность 3: Ошибки с wildcards (звёздочками)

Символ * в robots.txt означает «любой набор символов». Неправильно применённый — убивает половину сайта.

Пример опасной конструкции:

Disallow: /*.php

Многие думают, что это «закрыть все .php файлы». На деле — блокирует все страницы с .php в URL, а это может быть половина вашего сайта на самописной CMS.

Всегда проверяйте, что именно попадает под вашу директиву через инструмент «Анализ robots.txt» в Яндекс.Вебмастере.

Опасность 4: Устаревшее Disallow для плагинов и тем

Старые шаблоны robots.txt для WordPress включали:

Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/

В 2026 году это убивает правильную индексацию, потому что CSS и JS ваших тем и плагинов находятся именно там. Когда Яндекс не может их загрузить — он видит сайт «поломанным».

Правильно: закрыть только конкретные служебные папки, оставив доступ к ресурсам:

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*/feed/
Allow: /wp-content/

Опасность 5: Злоупотребление Clean-param

Clean-param — отличная директива Яндекса для игнорирования параметров URL. Но при неправильном использовании может ломать индексацию.

Ошибка: применение Clean-param к параметрам, которые меняют контент страницы. Например, /category?category_id=5 — если указать Clean-param: category_id /category, Яндекс проигнорирует параметр, и все страницы категорий станут дублями главной /category.

Правильно: применять Clean-param только к параметрам, не меняющим контент — UTM-меткам, сессионным ID, параметрам сортировки.

Опасность 6: Отсутствие sitemap.xml в robots.txt

В robots.txt обязательно должна быть указана ссылка на sitemap:

Sitemap: https://example.ru/sitemap.xml

Если её нет, поисковик может не найти вашу карту сайта, и индексация будет происходить хаотично, через внутренние ссылки. Новые страницы — медленно попадать в индекс.

У сайтов на WordPress с SEO-плагинами (Yoast, Rank Math) sitemap обычно генерируется по адресу /sitemap_index.xml — проверьте и укажите правильный путь.

Опасность 7: Слишком сложные конструкции

Иногда в погоне за «правильным SEO» в robots.txt пишут огромные файлы на 500+ строк с десятками правил и исключений. Чем сложнее файл — тем выше вероятность ошибки.

Мой принцип: robots.txt должен быть простым и читаемым. Минимальный, но достаточный. Обычно 20-40 строк закрывают все потребности типового сайта.

Правильный robots.txt для WordPress (шаблон)

Вот рабочий шаблон, который можно адаптировать:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*/trackback/
Disallow: /*/feed/
Disallow: /*/attachment/
Disallow: /comments/feed/
Disallow: /search/
Disallow: /?s=
Disallow: /*?replytocom=
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*/trackback/
Disallow: /*/feed/
Disallow: /*/attachment/
Disallow: /comments/feed/
Disallow: /search/
Disallow: /?s=
Disallow: /*?replytocom=
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid /
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/

Sitemap: https://example.ru/sitemap_index.xml

Правильный robots.txt для Bitrix (шаблон)

User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*sort=
Disallow: /*show=
Disallow: /*login=
Disallow: /*register=
Disallow: /*logout=
Disallow: /*print=
Disallow: /*back_url
Allow: /bitrix/components/
Allow: /bitrix/templates/

User-agent: Yandex
Disallow: /bitrix/
Disallow: /upload/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Clean-param: sort&show&back_url&utm_source&utm_medium /

Sitemap: https://example.ru/sitemap.xml

Как проверить свой robots.txt

Проверка 1: Открыть файл в браузере

Введите в адресной строке example.ru/robots.txt. Увидите содержимое файла. Если видите «404 Не найдено» — файла нет, срочно создавайте.

Проверка 2: Инструмент в Яндекс.Вебмастере

Зайдите в Вебмастер → «Инструменты» → «Анализ robots.txt». Можно проверить любой URL — доступен он для индексации или заблокирован. Идеальный способ убедиться, что вы случайно не закрыли важные страницы.

Проверка 3: Инструмент в Google Search Console

Аналогичный инструмент у Google: «Настройки» → «robots.txt Tester». Проверяет с точки зрения Googlebot.

Проверка 4: Screaming Frog в режиме соблюдения robots

Запустите сканирование сайта через Screaming Frog с опцией «Respect robots.txt». Увидите, какие URL он смог просканировать, а какие заблокированы.

Частые вопросы по robots.txt

Нужно ли закрывать страницы фильтров в robots.txt?

Лучше закрывать через canonical, а не через robots.txt. Если закрыть через Disallow, Яндекс не сможет даже зайти на страницу, чтобы увидеть ваш canonical. Закрытие в robots — это жёсткая мера для страниц, которые точно не нужны.

Что делать со страницами корзины и личного кабинета?

Их однозначно нужно закрывать в robots.txt. Также добавить noindex на сами страницы. Двойная защита от случайной индексации.

Что делать с версией для печати?

Закрывать в robots через Disallow: /*?print= и применять noindex на самой странице. Версия для печати — типичный дубль основной страницы.

Нужно ли писать директивы отдельно для Яндекса?

Да. User-agent: Yandex отдельно — лучшая практика. Позволяет использовать директивы, понятные только Яндексу (Clean-param, Host).

Что будет, если robots.txt вообще нет?

Яндекс решит, что разрешено сканировать всё. Это не критично для сайта, но неэффективно — будут индексироваться служебные страницы.

Реальный кейс «случайной катастрофы»

Клиент — интернет-магазин косметики. Обратились с жалобой: «Трафик упал в 4 раза за неделю, ничего не меняли, сайт работает нормально».

Первым делом открыл robots.txt. Там:

User-agent: *
Disallow: /

Как это случилось? Разработчик делал апдейт темы на тестовом домене, в конфиге стоял запрет индексации. При копировании в продакшн robots.txt перезаписался тестовым. Никто этого не заметил неделю.

Исправление заняло 5 минут — вернули правильный файл. Но на восстановление индексации и позиций ушло 6 недель. Потери за этот период — около 1,5 миллионов рублей несостоявшейся выручки.

Мораль: контролируйте robots.txt. Всегда после любых изменений на сайте.

Ваш план действий сегодня

1. Откройте example.ru/robots.txt.
2. Проверьте, нет ли там Disallow: / без уточнений.
3. Убедитесь, что CSS и JS не закрыты от индексации.
4. Проверьте, указан ли sitemap.
5. Через инструмент Вебмастера протестируйте 5-10 важных URL на доступность.
6. Если найдёте проблемы — исправьте.

Если после проверки понимаете, что robots.txt требует серьёзной доработки — закажите техническую доработку сайта. Сделаю аудит всего технического SEO, включая robots.txt, sitemap, canonical, микроразметку. Приведу в порядок за 1-2 недели.

Если хотите сначала понять, что именно у вас не так — запишитесь на консультацию. Разберём ваш robots.txt, найдём ошибки, дам список правок.

---

Robots.txt — это маленький файл с огромным влиянием на ваш сайт. Правильные настройки стоят 30 минут работы, неправильные — месяцы потерянной выручки. Выбор очевиден.