Есть категория SEO-катастроф, которые случаются мгновенно и стоят бизнесу месяцев работы. Одна из самых коварных — ошибка в файле robots.txt. Это крошечный текстовый файл в корне сайта, буквально несколько строк, но именно он управляет тем, какие страницы поисковые роботы имеют право обходить. Одна неверная директива — и весь сайт исчезает из выдачи, а владелец неделями не понимает, почему трафик рухнул в ноль.
Самое страшное в этой ошибке — её незаметность. Сайт при этом работает идеально: страницы открываются, формы отправляются, всё выглядит нормально. Проблема видна только роботам, а они молча уходят. К тому времени, когда владелец разбирается, что произошло, позиции уже потеряны, и на восстановление уходят долгие месяцы. В этой статье я разберу, как именно происходит такая катастрофа, как её распознать и, главное, как не допустить.
Что такое robots.txt и почему он так опасен
robots.txt — это инструкция для поисковых роботов, которая лежит в корне сайта. В ней вы указываете, какие разделы можно обходить, а какие нет. Задумка полезная: она позволяет закрыть от индексации служебные страницы, корзину, личный кабинет, дубли. Но у этой мощи есть обратная сторона — файл не прощает ошибок.
Роковая директива выглядит так: строка, которая запрещает обход всего сайта целиком. Одно неверно поставленное правило — и вы говорите роботам «сюда нельзя вообще». Роботы послушно уходят, и постепенно все страницы выпадают из индекса. Причём в отличие от многих других ошибок, эта действует тотально: не одна страница, а весь ресурс. Именно поэтому опасные шаблонные настройки я вынес в отдельный разбор про опасные настройки robots.txt по умолчанию — там показано, как безобидные на вид строки закрывают половину сайта.
Понимание работы этого файла — часть общей грамотности в теме индексации. Как robots.txt связан с картой сайта и краулинговым бюджетом, я подробно разбираю в руководстве про индексацию сайта от А до Я. Без этой картины легко случайно навредить, пытаясь навести порядок.
Как происходит катастрофа: типичные сценарии
Никто не запрещает индексацию всего сайта специально. Ошибка всегда случайна, и сценариев её появления немного, но они повторяются из проекта в проект:
- Переезд с тестового домена. На разработке сайт закрывают от индексации, чтобы черновик не попал в поиск. При переносе на боевой домен запрет забывают снять — и живой сайт остаётся невидимым.
- Обновление CMS или темы. Некоторые системы перезаписывают robots.txt при обновлении, возвращая закрывающие директивы по умолчанию.
- Ручная правка с опечаткой. Специалист хотел закрыть один раздел, но неверно указал путь и закрыл весь сайт.
- Работа плагинов. SEO-плагины умеют генерировать robots.txt автоматически, и один неверный переключатель в настройках закрывает всё.
Общая черта всех сценариев — человек, который внёс правку, был уверен, что делает всё правильно. Именно поэтому ошибка живёт так долго: её никто не подозревает. Особенно часто она случается после доработок сайта, когда правят много всего сразу. Если вы заказываете изменения на сайте, обязательно включайте проверку robots.txt в приёмку — я всегда делаю это в рамках доработки сайта, потому что видел слишком много таких историй.
Почему восстановление занимает полгода
Логично спросить: если ошибку исправить, почему сайт не возвращается сразу? Ведь директиву убрали, робот снова может заходить. Проблема в том, что выпадение из индекса и возврат в него — процессы разной скорости. Выпадаешь быстро, возвращаешься медленно.
Когда сайт был закрыт, поисковик постепенно удалял его страницы из базы, а заодно снижал доверие к ресурсу — с его точки зрения сайт «пропал». После исправления робот должен заново обойти все страницы, переоценить их качество, вернуть в индекс и лишь потом постепенно поднять в выдаче. Это не мгновенный откат, а полноценное повторное освоение сайта. Плюс за время простоя конкуренты заняли ваши места, и теперь их нужно вытеснять заново.
Есть ещё один слой потерь, который редко считают, — накопленный за годы авторитет страниц. Поисковик доверяет ресурсу тем больше, чем дольше и стабильнее тот присутствует в выдаче и получает трафик. Когда сайт внезапно пропадает, часть этого доверия обнуляется, и после возврата его приходится наращивать заново. Именно поэтому старый сайт с историей теряет от такой ошибки больше, чем молодой: ему есть что терять, и восстановить накопленное сложнее, чем построить с нуля.
Скорость возврата зависит от размера сайта, его авторитета и того, насколько быстро вы устранили ошибку. Маленький сайт может восстановиться за пару месяцев, крупный — за полгода и дольше. Ускорить процесс помогает грамотная работа с картой сайта и переобходом — как её организовать, я разбираю в материале про карту сайта sitemap. Но полностью отменить период восстановления невозможно — вот почему цена ошибки так высока.
Как проверить свой robots.txt прямо сейчас
Хорошая новость: проверить файл можно за пять минут, и это стоит сделать каждому владельцу сайта. Вот последовательность действий:
- Откройте в браузере адрес вашего сайта и допишите к нему «/robots.txt». Файл откроется как обычный текст.
- Найдите строки с директивой запрета. Убедитесь, что там не закрыт весь сайт целиком, а закрыты только служебные разделы.
- Используйте инструмент проверки robots.txt в панели вебмастера — он покажет, какие страницы разрешены, а какие запрещены для робота.
- Проверьте несколько важных страниц: главную, ключевые разделы, карточки товаров. Они должны быть доступны роботу.
- Сверьте число страниц в индексе с ожидаемым — резкое расхождение сигналит о проблеме.
Если вы обнаружили, что важные разделы закрыты, не паникуйте, но действуйте быстро — каждый день простоя усугубляет ситуацию. После исправления сразу отправьте сайт на переобход. Комплексно проверить не только robots.txt, но и всю картину индексации помогает разбор темы индексации сайта в поисковых системах, где robots.txt — лишь одна из точек контроля.
Как настроить robots.txt правильно
Правильный robots.txt — это баланс: закрыть мусор, оставить полезное. Разберу базовые принципы грамотной настройки, чтобы вы не навредили себе.
Закрывайте только служебное. Корзина, оформление заказа, личный кабинет, страницы поиска по сайту, технические разделы — вот что действительно стоит скрывать от роботов. Весь остальной контент должен быть открыт.
Указывайте карту сайта. В robots.txt должна быть ссылка на sitemap — это помогает роботу быстрее находить все страницы. Один этот пункт заметно ускоряет обнаружение нового контента.
Помните и о том, что robots.txt управляет обходом, но не всегда управляет индексацией напрямую. Иногда закрытая в нём страница всё равно попадает в выдачу без описания, если на неё ведёт много внешних ссылок. Для гарантированного исключения страницы из поиска используют мета-тег на самой странице, а не запрет в robots.txt. Путать эти два инструмента — распространённая ошибка, из-за которой служебные страницы то остаются видимыми, то, наоборот, пропадают нужные разделы.
Проверяйте каждую директиву запрета. Перед тем как закрыть раздел, убедитесь, что путь указан точно и не задевает лишнего. Одна лишняя звёздочка или слеш — и запрет расползается на весь сайт.
Настройка robots.txt — это часть общей технической гигиены сайта. Она тесно связана с внутренней оптимизацией сайта по шагам, где важно не только что закрыто от индексации, но и как выстроена структура открытых страниц. Файл нельзя настраивать в отрыве от общей архитектуры сайта.
Профилактика: как не наступить на эти грабли
Лучшая защита от катастрофы — регулярный контроль. Ошибку в robots.txt невозможно предотвратить на сто процентов, но можно ловить её в первые часы, а не через полгода. Вот система, которую я рекомендую внедрить:
- Проверка после каждого изменения сайта. Обновили CMS, поставили плагин, сделали доработку — сразу проверьте robots.txt.
- Мониторинг индексации. Настройте регулярный контроль числа страниц в индексе. Резкое падение — сигнал тревоги.
- Контроль трафика. Резкий обвал органического трафика без видимой причины — повод в первую очередь проверить именно robots.txt.
- Уведомления вебмастера. Панели вебмастера присылают предупреждения о проблемах с индексацией — не игнорируйте их.
Если вы не уверены в своих силах или сайт слишком важен, чтобы рисковать, доверьте проверку специалисту. Я всегда включаю аудит robots.txt в бесплатный аудит сайта, а при необходимости разберу вашу ситуацию на SEO-консультации и покажу, как выстроить контроль. Ответы на частые вопросы про индексацию собраны в разделе частых вопросов.
Закажите продвижение сайта
Одна строка в robots.txt показывает, насколько хрупок трафик без постоянного контроля. Системное SEO-продвижение сайтов — это не только рост позиций, но и защита от таких катастроф: регулярный технический контроль, мониторинг индексации, быстрая реакция на сбои. Вдобавок я развиваю GEO — подготовку сайта к рекомендациям нейросетей и AI-поиска, чтобы ваш бренд советовали сами языковые модели. Начните с SEO-консультации, подключите продвижение в нейросетях и AI-поиске — и ваш сайт будет расти стабильно и в классическом поиске, и в ответах искусственного интеллекта, без риска внезапно пропасть из выдачи.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Старт 
Стандарт 
Премиум 
Кратко: robots это рубильник для робота. Перед публикацией проверяйте его дважды, одна строка решает судьбу всего сайта.
Спорно про полгода, у меня вернулось за три недели после снятия запрета и переобхода. Зависит от размера сайта наверное.
Совет: держите robots под контролем и в системе версий, чтобы видеть кто и когда менял этот критичный файл.
robots не удаляет из индекса мгновенно, он лишь запрещает обход. Иногда закрытые страницы еще долго висят в выдаче.
Узнала себя, скопировала чужой robots с кучей запретов, не разобравшись. Закрыла важные разделы, трафик просел.
Прошел этот кошмар. Теперь после любого деплоя первым делом открываю robots и проверяю что ничего лишнего не закрыто.
Не всегда виноват robots, иногда noindex случайно в шаблоне сидит. Проверяйте оба места, а не только один файл.
Разъясните разницу, чем отличается запрет в robots от запрета через мета тег noindex для страниц, когда что применять?
Марат, разница принципиальная. robots запрещает роботу заходить на страницу, но если на нее есть ссылки, она может остаться в индексе без описания. Мета тег noindex наоборот пускает робота, но говорит не добавлять страницу в индекс, и это надежно ее убирает. Правило простое: чтобы выкинуть страницу из поиска, используйте noindex и не закрывайте ее при этом в robots, иначе робот не увидит запрет.
Полезно. Добавлю что после исправления надо переотправить страницы на переобход в вебмастере, так быстрее вернется.
robots это мощь и опасность в одном файле. Одна ошибка в звездочке и полсайта в закрытом доступе для робота.
У нас так магазин выпал перед сезоном. Программист выкатил тестовый robots на боевой, потеряли две недели продаж.
Не понимаю, почему после снятия запрета в robots сайт так долго возвращается в индекс, робот же должен сразу все переобойти?
Ефим, robots лишь запрещает обход, но не удаляет из индекса мгновенно и не ускоряет возврат. После снятия запрета роботу надо заново обойти страницы, а он приходит по своему графику, у молодых сайтов реже. Ускорить можно, отправив ключевые страницы на переобход в вебмастере и обновив карту сайта. Тогда возврат идет неделями, а не месяцами.
Спасибо, побежала проверять свой файл. Разработчик ставил заглушку на тесте, вдруг забыл убрать запрет.
Одна строчка Disallow и весь сайт улетает. Проверяю robots первым делом при любом падении трафика, спасало не раз.
Помогите советом, как проверить не закрыл ли я случайно весь сайт от индексации в robots, куда именно смотреть новичку?
Раиса, откройте файл по адресу ваш-домен слэш robots.txt прямо в браузере и найдите строки с Disallow. Опасна строка Disallow слэш без уточнений, она закрывает весь сайт. Затем проверьте тот же файл в вебмастере через инструмент анализа robots, он покажет какие страницы запрещены. Это первое, что нужно смотреть при резком падении индексации у новичка.
Однажды закрыл сайт от индексации при переносе и забыл открыть. Три месяца падения трафика, пока не заметил Disallow слэш.