Мета-тег Robots и файл robots.txt

Мета-тег robots и файл robots.txt — два инструмента, которыми вы говорите поисковым роботам, что на сайте смотреть, а что обходить стороной. Звучит просто, но именно здесь совершается больше всего фатальных ошибок: одна неосторожная строчка способна выкинуть весь сайт из индекса на месяцы. Я регулярно вижу проекты, которые годами не растут только потому, что когда-то разработчик закрыл от индексации лишнее и забыл вернуть обратно.

Разберёмся по порядку: чем отличается robots.txt от мета-тега robots, когда применять каждый, какие директивы существуют и как не закрыть случайно то, что должно приносить трафик. Это базовая техничка, без которой бессмысленно говорить о продвижении.

robots.txt и мета-тег robots: в чём разница

Файл robots.txt лежит в корне сайта и даёт роботам рекомендации на уровне всего ресурса: какие разделы и типы файлов обходить, где лежит карта сайта. Это привратник на входе — он управляет сканированием, то есть тем, заходит ли робот на страницу вообще.

Мета-тег robots живёт в коде конкретной страницы, в секции head, и управляет индексированием — попадёт ли эта страница в поисковую базу и пойдут ли роботы по ссылкам с неё. Разница принципиальная: robots.txt регулирует доступ, мета-тег — судьбу уже посещённой страницы. Подробно про сам файл я писал в материале про файл robots.txt для сайта.

Если хотите глубже понять механику обхода, посмотрите статью о том, как поисковики индексируют сайты.

Основные директивы robots.txt

Файл состоит из простых правил. Перечислю те, что используются чаще всего:

User-agent — указывает, для какого робота правило. Звёздочка означает всех роботов, можно задать отдельные блоки для Яндекса и Google.

Disallow — запрещает обход указанного пути. Например, служебных страниц, корзины, результатов поиска по сайту.

Allow — явно разрешает обход, обычно чтобы открыть что-то внутри запрещённого раздела.

Sitemap — указывает адрес карты сайта, чтобы робот быстрее находил все страницы. Что это такое и как её сделать, я разбирал в статье про карту сайта sitemap и как её создать.

Раньше для Яндекса использовали ещё директиву Host для указания главного зеркала, но сейчас она не нужна — почему, я объяснял в заметке нужно ли прописывать директиву Host в robots.txt.

Значения мета-тега robots

Мета-тег robots принимает комбинации значений, и их полезно знать наизусть, потому что путаница здесь дорого обходится.

index / noindex — разрешает или запрещает включать страницу в индекс. Noindex — главный инструмент, когда страница нужна людям, но не нужна в поиске.

follow / nofollow — разрешает или запрещает роботу переходить по ссылкам со страницы и передавать по ним вес.

Чаще всего комбинируют так: noindex, follow для служебных страниц, которые сами в поиске не нужны, но через которые робот должен пройти дальше. Подробно про закрытие от индекса я писал в материале про мета-тег noindex.

Если нужно управлять индексацией постранично и тонко, посмотрите разбор постраничного robots и его влияния на продвижение.

Типичные ошибки, которые убивают сайт

Самая страшная ошибка — оставить после разработки строку Disallow: / в robots.txt. Она закрывает от обхода вообще всё. Сайт тихо выпадает из индекса, владелец недоумевает, куда делся трафик, а причина — одна строчка. Реальный разбор такой ситуации есть в статье как одна строчка в robots.txt убирает сайт из Яндекса на полгода.

Вторая частая беда — закрыть в robots.txt то, что нужно индексировать, например важные разделы каталога или статьи. Или наоборот — оставить открытыми мусорные служебные страницы, которые засоряют индекс. О балансе я писал в материале про ошибки robots.txt и sitemap.xml.

Третья ошибка — настройки по умолчанию от CMS. Многие движки ставят robots.txt с опасными правилами из коробки. Что с этим делать, разобрано в заметке про опасные настройки robots.txt по умолчанию.

Четвёртая ошибка — путать robots.txt и мета-тег. Закрытая в robots.txt страница не сканируется, а значит, робот не увидит на ней мета-тег noindex — и она может остаться в индексе как голая ссылка. Чтобы убрать страницу из поиска надёжно, её нужно оставить открытой для обхода, но закрыть мета-тегом noindex.

Как проверить и настроить корректно

После любых изменений обязательно проверьте файл в Яндекс Вебмастере — там есть инструмент анализа robots.txt, который покажет, какие страницы разрешены, а какие закрыты. Откройте несколько важных URL и убедитесь, что они доступны для обхода.

Базовый рабочий принцип такой: закрываем служебное и дубли, оставляем открытым весь полезный контент, обязательно указываем карту сайта. Не копируйте чужой robots.txt вслепую — у каждого движка своя структура. Как настроить файл грамотно, я подробно расписал в материале как настроить robots.txt.

И помните: robots — лишь часть технического здоровья сайта. Если хотите видеть всю картину, начните с разбора того, что такое техническое SEO.

Когда применять robots.txt, а когда мета-тег

На практике выбор между двумя инструментами решается одним вопросом: нужно ли, чтобы страница вообще попала в индекс? Если страница служебная, не несёт пользы для поиска и при этом не должна тратить ресурс робота на обход — её закрывают в robots.txt. Это, например, технические разделы, страницы фильтров и сортировок, результаты внутреннего поиска по сайту.

Если же страница должна быть доступна людям и роботу, но не должна светиться в выдаче, используют мета-тег noindex. Классический случай — страницы благодарности после заявки, версии для печати, отдельные посадочные под рекламу. Робот по ним ходит, ссылки видит, но в индекс страница не попадает.

Важный нюанс, на котором спотыкаются многие: нельзя закрыть страницу в robots.txt и одновременно ждать, что сработает мета-тег noindex. Если обход запрещён, робот просто не увидит мета-тег внутри страницы. Поэтому для надёжного удаления из индекса страницу оставляют открытой для обхода и закрывают именно мета-тегом.

Ещё одна тонкость касается уже проиндексированных страниц. Если вы хотите убрать из поиска то, что уже там есть, закрытие в robots.txt не всегда помогает — страница может остаться в индексе как ссылка без описания. Правильнее снять запрет на обход и поставить noindex, дождавшись переобхода.

Частые вопросы про robots

Что хуже — закрыть лишнее или оставить мусор открытым? Оба варианта вредны, но случайно закрыть нужное опаснее: можно мгновенно потерять трафик. Поэтому любые правки robots.txt проверяйте перед публикацией.

Нужен ли robots.txt маленькому сайту? Да, хотя бы для указания карты сайта и закрытия служебных страниц. Пустой или отсутствующий файл — упущенная возможность управлять обходом.

Как быстро Яндекс реагирует на изменения? После переобхода файла и страниц, обычно в течение нескольких дней. Ускорить можно через переобход в Вебмастере.

Можно ли скопировать чужой robots.txt? Нельзя вслепую: структура URL и движок у каждого сайта свои. Чужой файл может закрыть у вас важное или оставить открытым лишнее.

Короткий чек-лист по robots

Чтобы свести всё воедино, держите под рукой простой список проверок. Пройдитесь по нему на своём сайте — он закрывает большинство типичных проблем с обходом и индексацией.

Первое: в robots.txt нет строки, закрывающей весь сайт от обхода, а служебные разделы и дубли закрыты. Второе: в файле указан адрес карты сайта. Третье: важные разделы и страницы открыты для обхода — проверьте их в Вебмастере. Четвёртое: страницы, которые нужны людям, но не нужны в поиске, закрыты мета-тегом noindex, а не в robots.txt. Пятое: после каждой правки вы проверяете результат инструментом анализа, а не публикуете вслепую.

Этот короткий ритуал занимает несколько минут, но защищает от самой дорогой ошибки в техническом SEO — тихой потери индексации, которую замечают только тогда, когда трафик уже рухнул. Лучше потратить пять минут на проверку, чем полгода на восстановление.

---

Закажите технический аудит и продвижение

Если вы не уверены, что robots.txt и мета-теги на вашем сайте настроены правильно, не рискуйте — одна ошибка стоит месяцев трафика. На бесплатной консультации я проверю индексацию вашего проекта и подскажу, что исправить в первую очередь. Записаться можно на странице бесплатной SEO-консультации. А за полноценным SEO-продвижением сайтов в Яндексе обращайтесь ко мне напрямую.

Кроме классического SEO я готовлю сайты к выдаче нейросетей и AI-поиска — это направление GEO-продвижения, и техничка здесь играет ещё бо́льшую роль. Подробнее на странице продвижения сайта в нейросетях и AI-поиске.

Посмотреть результаты на реальных проектах можно в разделе кейсов по продвижению сайтов.