Файл robots.txt — это первое, что читает поисковый робот, заходя на сайт. Маленький текстовый файл в корне домена определяет, какие разделы можно обходить и индексировать, а какие нет. Ошибка в нём способна закрыть от поиска весь сайт или, наоборот, выпустить в индекс мусорные страницы и съесть краулинговый бюджет на ерунде. При этом многие настраивают robots.txt по чужим шаблонам, не понимая логики, и потом удивляются проблемам с индексацией. В этой статье я разберу, как настроить robots.txt правильно, какие директивы за что отвечают и каких ошибок избегать, чтобы файл помогал продвижению, а не вредил ему.
Сразу важная оговорка: robots.txt — это рекомендация, а не строгий запрет. Добросовестные роботы Яндекса и Google его соблюдают, но он не защищает страницы от посторонних глаз и не гарантирует на сто процентов, что закрытое не попадёт в индекс другими путями — например, по внешним ссылкам. Для надёжного закрытия от индексации есть отдельные инструменты, и robots.txt их не заменяет. Понимая это, перейдём к структуре файла и его директивам, а затем к типичным ошибкам.
Что такое robots.txt и зачем он нужен
Robots.txt управляет обходом сайта роботами. Он экономит краулинговый бюджет — то есть лимит страниц, которые робот готов обойти за визит, — направляя его на важное и уводя от служебного. Это особенно ценно для крупных сайтов, где роботу легко увязнуть в бесконечных технических разделах и не дойти до новых товаров или статей. Если интересно, как часто робот вообще заходит на сайт и от чего это зависит, почитайте про то, как часто Яндекс индексирует сайты: правильный robots.txt помогает расходовать эти визиты с максимальной пользой.
Закрывать в robots.txt стоит технические и дублирующие разделы: корзину, личный кабинет, страницы фильтров и сортировок, результаты внутреннего поиска, служебные каталоги движка, страницы оформления заказа. Это снижает риск попадания в индекс лишнего и помогает избежать проблем с дублями, которые размывают релевантность. Раздувание индекса слабыми и техническими страницами вредит — об этом материал о том, как количество страниц влияет на позиции сайта. Чистый, осмысленный индекс почти всегда лучше большого и замусоренного.
Основные директивы и как они работают
Структура файла строится из нескольких директив. User-agent указывает, к какому роботу относятся правила: звёздочка означает всех роботов, можно прописать и конкретного бота отдельным блоком. Disallow закрывает путь от обхода, Allow — открывает, причём при пересечении правил приоритет обычно у более длинного и точного пути. Sitemap указывает на карту сайта, чтобы робот быстрее нашёл все нужные страницы. Каждая директива пишется с новой строки, путь начинается со слэша, а пустой Disallow означает, что обходить можно всё.
Распространённая ошибка — закрыть через Disallow слишком много или, наоборот, открыть техническое. Например, нельзя случайно закрывать каталоги со стилями и скриптами: робот не отрисует страницу корректно и хуже её оценит, ведь он смотрит на сайт почти как пользователь. Будьте аккуратны и с понятием канонической страницы — robots.txt не заменяет канонизацию и не склеивает дубли. Если запутались, что считать основной версией страницы, поможет статья про неканоническую страницу: закрывать дубли стоит правильными инструментами, а не одним лишь грубым Disallow, который просто прячет страницу от обхода.
Типичные ошибки настройки
Самая опасная ошибка — оставить после разработки строку, закрывающую весь сайт от индексации. Сайт переезжает с тестового сервера на боевой, а запрет Disallow слэш остаётся, и страницы массово выпадают из поиска, обнуляя месяцы работы. Это частый и очень обидный случай в общем списке ошибок, которые мешают продвигать сайт. Возьмите за правило проверять robots.txt сразу после публикации сайта и после любого крупного обновления движка — пять минут проверки экономят недели восстановления.
Вторая ошибка — путать robots.txt с настройкой редиректов и протокола. Файл не решает вопросы перенаправлений; некорректные редиректы вредят отдельно, и как 301 редирект убивает SEO, я разбирал в отдельном материале. И помните про протокол: после перехода с http на https адрес карты сайта внутри robots.txt должен быть указан именно по защищённому протоколу, иначе робот запутается в версиях. Третья частая ошибка — забыть указать sitemap вовсе, из-за чего новые страницы находятся медленнее, чем могли бы.
Спецсимволы и тонкая настройка путей
Когда базовая логика ясна, стоит освоить тонкую настройку через спецсимволы. Звёздочка заменяет любую последовательность символов, и с её помощью удобно закрывать целые типы адресов — например, все страницы с параметрами сортировки или результаты внутреннего поиска по маске. Знак доллара обозначает конец адреса и нужен, когда важно закрыть строго определённую страницу, а не всё, что начинается с этого пути. Без понимания этих символов легко закрыть лишнее: написали правило для одной служебной папки, а под него случайно попали и нужные разделы каталога.
Особая осторожность нужна с параметрами в адресах. Динамические параметры вроде меток рекламных кампаний, идентификаторов сессий и фильтров плодят бесконечные варианты одной и той же страницы, и поиск может счесть это дублями. Аккуратно закрытые через маску параметры экономят краулинговый бюджет и держат индекс чистым. Но не рубите сплеча: иногда параметр меняет содержимое страницы по существу, и закрывать его нельзя, иначе вы потеряете полезные посадочные. Всегда проверяйте на конкретных примерах, что именно скрывает ваше правило, прежде чем выкатывать его на боевой сайт.
Помните и о том, что разные поисковые системы трактуют некоторые директивы по-своему. Часть правил, привычных для одного робота, другой может игнорировать или понимать иначе, поэтому слепо копировать чужой файл опасно. Лучше держать общие правила в блоке для всех роботов, а специфику выносить в отдельные блоки под конкретного бота. И обязательно сверяйтесь с актуальной документацией поисковиков: рекомендации со временем меняются, и то, что считалось правильным несколько лет назад, сегодня может работать иначе или вовсе не поддерживаться.
Связка с картой сайта и индексацией
Robots.txt и sitemap.xml работают в паре: первый говорит, куда не ходить, второй — куда идти в первую очередь и что обновилось. Указание карты сайта в robots.txt ускоряет обнаружение новых страниц и помогает роботу понять структуру. Это особенно важно, если вы регулярно публикуете материалы и хотите быстрой индексации свежего контента. Чем понятнее роботу структура, тем меньше шанс, что важная страница останется незамеченной или попадёт в категорию нулевых заходов в Яндекс.Метрике просто потому, что её вовремя не нашли и не проиндексировали.
После настройки обязательно проверьте файл в инструментах вебмастера: они покажут, какие страницы закрыты, какие открыты, и подсветят синтаксические ошибки до того, как они навредят. Не оставляйте файл без присмотра — при каждом крупном изменении структуры сайта, добавлении новых разделов или смене движка пересматривайте правила. Robots.txt живёт вместе с сайтом, а не пишется один раз навсегда: то, что было верно год назад, после переделки каталога может превратиться в дыру или, наоборот, в лишний запрет.
Robots.txt в эпоху нейросетей
Появился новый пласт задач: управление доступом для ботов нейросетей. Всё больше площадок решают, пускать ли краулеры искусственного интеллекта, которые собирают данные для обучения моделей и для формирования AI-ответов. Это часть большой темы подготовки сайта к новой выдаче — подробнее в материале про техническое GEO. Решение здесь зависит от стратегии: хотите ли вы, чтобы вас цитировали нейросети и приводили к вам трафик, или предпочитаете закрыться от сбора данных полностью.
Подведём итог. Robots.txt — простой по виду, но ответственный файл, цена ошибки в котором высока. Закрывайте служебное и дублирующее, открывайте важное, никогда не блокируйте стили и скрипты, указывайте карту сайта и всегда проверяйте файл после изменений. Понимая логику директив, вы превратите его из источника внезапных проблем в точный инструмент управления индексацией. А если не уверены в настройке технической части или боитесь закрыть лишнее, я помогу провести аудит и привести сайт в порядок без риска потерять позиции.
Давайте соберём короткий чек-лист, по которому удобно проверять готовый файл. Во-первых, robots.txt лежит строго в корне домена и открывается по прямому адресу — если его там нет или он отдаёт ошибку, робот действует так, будто разрешено всё. Во-вторых, директива, закрывающая весь сайт, отсутствует, если только сайт не на стадии разработки. В-третьих, каталоги со стилями, скриптами и изображениями открыты для обхода. В-четвёртых, закрыты технические и дублирующие разделы: корзина, личный кабинет, оформление заказа, результаты внутреннего поиска. В-пятых, указан актуальный адрес карты сайта по защищённому протоколу. Пройдитесь по этим пяти пунктам после каждого изменения структуры — и большинство проблем с индексацией вы предотвратите ещё до их появления.
И последнее важное замечание: robots.txt не работает в вакууме, он лишь часть системы управления индексацией. Рядом с ним стоят карта сайта, метатеги, заголовки ответа сервера и настройка канонических адресов. Только когда все эти инструменты согласованы между собой, поиск видит чёткую и непротиворечивую картину вашего сайта. Противоречия же сбивают робота с толку: например, страница открыта в robots.txt, но запрещена к индексации метатегом, или закрыта от обхода, но указана в карте сайта как приоритетная. Такие конфликты приводят к непредсказуемому поведению и трудноуловимым проблемам. Поэтому относитесь к robots.txt не как к отдельной галочке, а как к одному из винтиков общего технического механизма, который должен работать слаженно. Тогда индексация будет управляемой, а сайт — предсказуемо видимым в поиске.
Не хватает целевого трафика? Давайте исправим это
Правильный robots.txt — лишь одна деталь технического здоровья сайта, а заявки приходят, когда в порядке вся система целиком. Я провожу полный аудит, нахожу, что тормозит продвижение, и беру сайт в работу под ключ: техническая оптимизация, семантика, контент и перелинковка — всё ради стабильного потока целевых посетителей из поиска.
SEO-продвижение сайтов в Яндексе — вывожу коммерческие и информационные запросы в ТОП-10 и привожу трафик, который превращается в заявки: вы видите план, отчёты и реальные позиции в Топвизоре. GEO-продвижение — готовлю сайт к выдаче нейросетей и AI-поиска, чтобы вас рекомендовали Алиса, ChatGPT и Нейро, пока конкуренты об этом ещё не задумались.
👉 Запишитесь на бесплатную SEO-консультацию — разберу ваш сайт и честно скажу, что даст результат в вашей нише.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Старт 
Стандарт 
Премиум 
