Краулинговый бюджет сливается в никуда, пока вы пишете тексты: куда на самом деле уходит внимание робота

Двадцать лет в SEO, и за это время я наблюдал одну и ту же картину сотни раз. Владелец сайта героически пишет тексты, заказывает копирайтеров, переписывает карточки товаров, добавляет статьи в блог. А позиции стоят. Трафик не растёт. Новые страницы в выдаче не появляются неделями, а иногда и месяцами.

И тут начинается классическое: «Яндекс зарезал», «алгоритм поменялся», «конкуренты накрутили». А правда чаще всего скучнее и обиднее. Робот просто не дошёл до ваших новых текстов. Он был занят. Очень занят. И занимался он на вашем же сайте — только не тем, чем вам хотелось бы.

Меня зовут Анатолий Кузнецов, я занимаюсь поисковым продвижением с 2005 года. Сегодня хочу разобрать тему, которую большинство владельцев сайтов либо не знают, либо знают неправильно — краулинговый бюджет. И главное — куда именно он утекает, пока вы пишете очередной шедевр для блога.

Что такое краулинговый бюджет простыми словами

Представьте, что к вам каждый день приходит уборщица. У неё есть ровно два часа. Она не может убирать вечно — у неё другие квартиры, время, силы. Если в вашей квартире разбросаны вещи, забиты шкафы хламом, а на полу валяются коробки — она потратит время на это. И до люстры, которую вы хотели помыть, просто не дойдёт.

Краулинговый бюджет работает примерно так же. Это лимит ресурсов, который поисковая система готова потратить на ваш сайт за определённый промежуток времени. У Яндекса это выражается в количестве запросов, которые робот делает к вашему серверу. У Google — аналогично.

Бюджет зависит от двух вещей: насколько ваш сайт ценен с точки зрения поисковика (это называется crawl demand — спрос на обход) и насколько ваш сервер способен переварить нагрузку (crawl rate limit — лимит скорости обхода). Чем хуже хостинг, чем медленнее отвечает сайт, тем меньше бюджета вам выделят. Чем меньше алгоритм видит ценности — тем меньше робот вообще заходит.

И вот тут начинается самое интересное. Допустим, у вас тысяча страниц на сайте. Из них реально полезных — двести. Остальные восемьсот — это шлак, который вы либо не видите, либо считаете нормой. Робот заходит, тратит свой лимит на эти восемьсот мусорных страниц и уходит. До двухсот ценных он либо не доходит вообще, либо доходит раз в две недели вместо ежедневного посещения.

Куда именно утекает бюджет: семь главных пожирателей

За двадцать лет работы с самыми разными проектами — от лендингов до интернет-магазинов на миллион SKU — я составил список того, на что робот тратит время чаще всего. Это не теоретические размышления, а реальные находки из аудитов.

Дубликаты страниц с параметрами в URL

Самая распространённая беда. У вас есть страница каталога /catalog/divany/, а к ней пристёгиваются хвосты: ?sort=price, ?sort=name, ?page=2, ?utm_source=yandex, ?session_id=abc123. Для робота каждый такой URL — отдельная страница. Он её скачивает, обрабатывает, сравнивает с другими. И обнаруживает, что контент идентичный или почти идентичный.

Я разбирал подробно, как дубли страниц съедают бюджет и убивают ранжирование — там вся механика расписана детально. Но если коротко: вы пишете новую статью, а робот в это время триста раз пересканирует одну и ту же карточку товара с разными метками от рекламных кампаний.

Пагинация без правильных директив

Страницы вида /blog/page/2/, /blog/page/3/, /blog/page/15/. Если на каждой стоит canonical на главную блога — робот это игнорирует и продолжает их обходить. Если canonical нет вообще — он считает каждую отдельным документом. На сайтах с большой пагинацией бюджет улетает только в это.

Фильтры в каталогах интернет-магазинов

Это вообще отдельная боль. Десять фильтров с пятью значениями каждый — это потенциально миллионы комбинаций URL. И робот, если ему не запретить, будет это всё методично обходить. Я видел проекты, где из бюджета в 50 000 запросов в сутки 47 000 уходило на бесполезные комбинации фильтров. До новых товаров в каталоге очередь доходила через две недели.

Старые удалённые страницы, отдающие 200 или 301

Удалили категорию, поставили редирект на главную. Через год редиректов накопилось две тысячи. Робот честно ходит по каждому, тратит запросы, получает 301, переходит дальше. Каждый такой переход — минус из бюджета.

Битые ссылки, отдающие 404 не сразу

Тут вообще цирк. Страница вроде бы вернула 404, но перед этим сервер выдал заголовки, прогрузил часть HTML, выполнил несколько запросов к базе. Робот всё это съел. Двести таких страниц в день — и треть бюджета на ровном месте.

Огромные XML-карты сайта с мусором

В sitemap.xml часто попадают страницы тегов, архивы, авторские страницы, страницы пагинации, технические разделы. Робот добросовестно сканирует всё, что вы сами ему положили. Если вы не понимаете, что должно быть в карте, а что нет — почитайте мой материал про то, как правильно составить и зачем нужен sitemap. Это базовая гигиена, без которой остальное не работает.

Медленный сервер

Тут даже комментировать сложно. Если страница отдаётся за три секунды вместо двухсот миллисекунд — робот за тот же бюджетный интервал успеет обойти в десять раз меньше документов. Тема скорости и Core Web Vitals прямо влияет на то, сколько внимания вам достанется от поисковика.

Как понять, что бюджет реально сливается

Самый простой способ — зайти в Яндекс Вебмастер, раздел «Индексирование» → «Статистика обхода». Вы увидите, сколько страниц робот посещает в день, какие коды ответов получает, сколько времени тратит на загрузку.

На что смотреть в первую очередь:

Если 30–40% обходов приходится на коды 3xx — у вас проблема с редиректами. Робот тратит ресурс на цепочки, которые должны быть линейными или которых вообще не должно существовать.

Если в обходе фигурируют URL с параметрами utm, ref, sid и подобными — robots.txt и canonical у вас настроены криво.

Если робот заходит на сайт два-три раза в неделю и обходит по 50–100 страниц — значит сайт не считается ценным. Это уже вопрос не только технический, но и контентный. И тут одной правкой robots.txt не отделаешься, нужна работа по SEO продвижению сайта в комплексе.

Ещё один полезный трюк — анализ серверных логов. Это технически сложнее, но даёт картину без искажений. Видно, какие именно URL посещает робот, как часто, какие коды получает. После анализа логов клиенты обычно хватаются за голову — половина бюджета уходит на страницы, о существовании которых владельцы сайта даже не подозревали.

Что делать практически: пошаговый план

Теория теорией, но статья ради статьи мне неинтересна. Расскажу, что я делаю на реальных проектах, когда вижу проблему с краулинговым бюджетом.

Первый шаг — инвентаризация. Берём все URL, которые робот посещал за последний месяц. Раскладываем на категории: полезные, технические дубли, мусор, ошибки. Без этой картины дальше двигаться бессмысленно.

Второй шаг — закрытие мусора в robots.txt. Все параметры сортировок, сессий, рекламных меток, страницы личного кабинета, корзины, оформления заказа — это всё должно быть закрыто директивой Disallow. Не canonical, не noindex, а именно robots.txt — чтобы робот даже не пытался туда заходить.

Третий шаг — canonical для дублей, которые роботу нужно видеть, но не индексировать. Пагинация, версии товара с разным цветом, варианты группировки. Тут canonical работает.

Четвёртый шаг — чистка sitemap.xml. В карту попадают только страницы, которые должны быть в индексе. Никаких тегов, архивов, страниц авторов, если у вас не блог энциклопедического масштаба.

Пятый шаг — устранение цепочек редиректов. Если страница A редиректит на B, а B на C — переписываем так, чтобы A сразу шла на C. Цепочки больше двух шагов — это утечка бюджета.

Шестой шаг — работа со скоростью. Кеширование, оптимизация изображений, минификация. Чем быстрее отвечает сервер, тем больше страниц робот обойдёт за то же время.

Седьмой шаг — работа с внутренней перелинковкой. Робот двигается по ссылкам. Если на важную страницу ведут две внутренние ссылки, а на бесполезную — пятьдесят, угадайте, куда он будет ходить чаще. Структура перелинковки должна отражать приоритеты сайта.

Если вы не уверены в том, что у вас на сайте происходит технически — закажите бесплатный аудит сайта. За двадцать лет я научился видеть проблемы краулингового бюджета буквально по первым десяти показателям, и за час разбора по аудиту можно получить чёткое понимание, куда уходит ресурс.

Почему писать тексты в этой ситуации бесполезно

Возвращаюсь к началу статьи. Многие владельцы сайтов искренне верят, что если они будут писать больше контента — позиции вырастут. Это работает только в одном случае: если у вас технически здоровый сайт, бюджет распределяется правильно, новые страницы быстро попадают в индекс и оцениваются алгоритмом.

Если же бюджет утекает в дубли, фильтры и редиректы — вы можете писать хоть по пять статей в день. Робот доберётся до них через неделю-две. К этому моменту половина инфоповодов уже устарела, конкуренты их перехватили, а ваш текст индексируется по остаточному принципу.

Я регулярно сталкиваюсь с тем, что владелец сайта оплатил копирайтеру двадцать статей, выложил их за два месяца, а в индексе оказалось три. Семнадцать просто не дождались своей очереди — робот был занят сканированием UTM-меток с прошлогодней рекламной кампании.

Тексты — это вершина пирамиды. Под ней должна быть техническая база. Без базы вершина просто висит в воздухе и не работает. Это касается и классического поискового продвижения, и GEO оптимизации под ИИ-поиск, которая сейчас становится отдельным направлением и требует ещё более жёсткого подхода к качеству и доступности контента для краулеров нового поколения.

Как это связано с GEO и ИИ-поиском

Тема свежая, но я уже на ней успел поработать с несколькими клиентами. GEO — это оптимизация под генеративные поисковые системы, всякие ИИ-ассистенты, нейросетевые поисковики, в том числе Алису, ChatGPT с поиском, Perplexity и подобные.

Так вот. Их краулеры устроены ещё более избирательно, чем классические. Если ваш сайт плохо обходится Яндексом и Гуглом — для ИИ-краулеров вы вообще можете быть невидимы. Они хуже терпят редиректы, медленные ответы, дубли. Им нужно чётко понять, какие именно страницы являются авторитетными источниками — и работать только с ними.

Сайт с разрулённым краулинговым бюджетом получает огромное преимущество в GEO. Потому что нейросетевой поисковик видит чистую структуру, понимает иерархию, быстро находит нужный контент. А сайт-помойка с миллионом мусорных URL для ИИ просто не существует как источник.

Несколько практических наблюдений напоследок

За двадцать лет работы я вывел для себя несколько эмпирических правил, которые в учебниках не пишут.

Если робот стал ходить на сайт реже — это всегда симптом, а не диагноз. Реже ходит — значит вы упали в его глазах. Либо технически (медленный сервер, ошибки), либо контентно (старые тексты потеряли актуальность, конкуренты обошли).

Если бюджет распределяется на тысячи мусорных URL — никакой контент-маркетинг не поможет, пока эта проблема не решена. Бессмысленно лить воду в дырявое ведро.

Если вы переехали на HTTPS, сменили структуру URL, обновили CMS — будьте готовы, что краулинговый бюджет на пару месяцев просядет. Это нормально. Главное — не паниковать и не делать резких движений, а методично разгребать накопившиеся редиректы и дубли.

И главное: краулинговый бюджет — это не магическая абстракция, а вполне измеримый ресурс. Его можно посчитать, проанализировать и перераспределить в свою пользу. Без этого никакие тексты, никакие ссылки, никакая реклама не дадут стабильного результата.

---

Хватит писать тексты в пустоту

Если вы дочитали до этого места, скорее всего, узнали в описании свой сайт. Знакомая ситуация: контент пишется, деньги тратятся, а трафика как не было, так и нет. Робот не доходит до новых страниц, потому что увязает в технической каше.

Я работаю в SEO с 2005 года и за это время вытащил в топ Яндекса больше сотни проектов в Санкт-Петербурге, Москве и других регионах. Принимаю в работу ограниченное количество клиентов — потому что веду всё лично, без посредников и без перепродажи задач фрилансерам.

Что предлагаю:

Полноценное SEO продвижение сайта — комплексная работа с краулинговым бюджетом, технической оптимизацией, контентом, ссылочной массой и поведенческими факторами. Это не «магия» и не «секретные методы», а методичная работа по всем направлениям, которые реально влияют на ранжирование.

GEO продвижение — отдельное направление под ИИ-поиск и нейросетевые поисковики. Тема новая, специалистов мало, и пока конкуренция в этом сегменте низкая. Кто зайдёт сейчас — тот через год будет собирать трафик с ИИ-ассистентов в промышленных масштабах.

Перед тем как браться за проект, всегда делаю бесплатный аудит сайта. Это не маркетинговая обёртка, а реальный разбор по 40+ параметрам, после которого вы получите конкретный список проблем и понимание, что с ними делать. Даже если не будете работать со мной — аудит ваш, пользуйтесь.

Хотите обсудить ваш проект — напишите через форму обратной связи или закажите SEO консультацию. За час разговора по делу разберём, куда у вас уходит краулинговый бюджет, что с этим делать в первую очередь и какой результат реально получить.

Анатолий Кузнецов, специалист по поисковому продвижению с 2005 года.