Представьте интернет-магазин с 50 000 товаров. Каждый товар доступен в нескольких вариациях цвета и размера — это ещё 200 000 URL с параметрами. Плюс страницы фильтров, пагинации, поиска по сайту. Итого — больше полумиллиона URL. Краулинговый бюджет сайта — 2 000 страниц в день. Реально полезных страниц из 50 000 Яндекс видит только 400.
Это не гипотетика — это реальная ситуация, которую я видел на аудитах сотни раз. Краулинговый бюджет — один из самых игнорируемых факторов SEO для сайтов с большим количеством страниц. Разберём механику и способы оптимизации.
Как Яндекс рассчитывает краулинговый бюджет
Crawl budget — это не фиксированная квота, выданная Яндексом. Это динамическая величина, которая зависит от двух факторов:
Crawl rate limit — максимальная скорость обхода, которую может выдержать ваш сервер без деградации. Яндекс адаптируется: если TTFB вашего сервера высокий, бот снижает темп обхода, чтобы не перегружать его.
Crawl demand — насколько Яндекс считает ваши страницы ценными для индексации. Страницы с высоким авторитетом (PageRank), часто обновляемые, часто посещаемые пользователями — получают приоритет. Страницы с тонким контентом, дубли, страницы без внутренних ссылок — в конце очереди.
Итоговый бюджет — произведение скорости обхода и приоритета страниц. Для небольших сайтов (до 1 000 страниц) проблема краулинга обычно несущественна. Критично это становится при 10 000+ страниц.
Как проверить краулинговый бюджет вашего сайта
Яндекс.Вебмастер → «Индексирование» → «Статистика обхода» — здесь три ключевых показателя:
Страниц в день: сколько страниц обходит Яндекс.Бот ежедневно — это ваш фактический бюджет.
Среднее время ответа: нормально — до 300 мс. Больше 600 мс — сервер медленный, бот снижает темп.
Последний обход страниц: отфильтруйте по дате — страницы, не обходившиеся 30+ дней, практически не попадут в индекс.
Дополнительно: Яндекс.Вебмастер → «Поиск по сайту» → «Страницы в поиске» — сравните это число с общим количеством страниц вашего сайта. Разница и есть ваша «мёртвая зона» — страницы, существующие, но не индексированные.
6 главных пожирателей краулингового бюджета
1. Фасетные фильтры (интернет-магазины). Каждая комбинация фильтров — отдельный URL. 10 фильтров по 5 значений = 100 000 потенциальных URL. Решение: закрыть через robots.txt или canonical.
2. UTM-параметры в URL. Если ссылки с UTM-метками попадают на сайт и индексируются — они дублируют каждую страницу. Решение: Disallow: /*?utm_ в robots.txt.
3. Страницы пагинации. /page/2/, /page/3/ и т.д. — если контент на них идентичен главной странице категории. Решение: canonical на первую страницу или rel=next/prev.
4. Страницы 404. Яндекс продолжает обходить 404 по старым ссылкам. Каждый такой визит — потраченный бюджет. Настройте 301-редиректы.
5. Страницы с noindex. Бот обходит их, но не индексирует. Если страницы не нужны ни пользователям ни поисковику — закройте через Disallow в robots.txt вместо noindex.
6. Дублированные страницы. Все версии www/non-www/http/https — это 4 копии каждой страницы. Решение: 301-редирект на каноническую версию.
Пошаговый план оптимизации краулингового бюджета
Шаг 1: Аудит robots.txt. Убедитесь, что технические разделы закрыты — /wp-admin/, /wp-includes/, /xmlrpc.php. Добавьте закрытие для параметров URL:
# Закрываем технические параметры Disallow: /*?utm_ Disallow: /*?yclid= Disallow: /*?fbclid= Disallow: /*?sort= Disallow: /*?filter= Disallow: /*?page= # Технические разделы WordPress Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /feed/ Disallow: /comments/feed/
Шаг 2: Ускорьте сервер. TTFB (время до первого байта) должен быть менее 300 мс. Включите кеширование на уровне сервера (Redis, Memcached) или через плагин WP Rocket. Это напрямую увеличит дневной бюджет обхода.
Шаг 3: Обновите sitemap.xml. Включите только страницы с уникальным контентом и статусом 200. Удалите из sitemap страницы с noindex, 404 и редиректами. Отправьте обновлённую карту в Яндекс.Вебмастер.
Шаг 4: Настройте canonical. Все дублирующиеся страницы должны иметь canonical, указывающий на основную версию. Это не запрещает обход, но говорит Яндексу, какой URL индексировать.
Шаг 5: Удалите тонкий контент. Страницы с меньше чем 200 словами уникального текста получают низкий приоритет обхода. Объедините такие страницы или наполните реальным контентом.
На практике после оптимизации бюджета на проектах с 20-50 тыс. страниц индексируемых страниц становится в 3-5 раз больше. Новые статьи начинают появляться в индексе за дни, а не недели. Позиции начинают расти быстрее.
Анализ краулингового бюджета и его оптимизация — часть нашего технического аудита сайта. Проверим и дадим конкретный план.
Проверим краулинговый бюджет вашего сайта
Технический аудит — полный анализ с планом оптимизации.
Получить бесплатный аудитНашли технические проблемы на своём сайте?
Описанные выше ошибки — лишь часть того, что может тормозить рост сайта в Яндексе. Анатолий Кузнецов проведёт полный технический SEO-аудит: проверит индексацию, скорость, структуру, ссылки и метаданные — и выдаст приоритетный план исправлений. Не знаете, с чего начать? Начните с бесплатного экспресс-аудита — первые выводы уже сегодня.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Старт 
Стандарт 
Премиум 
Подтверждаю, после оптимизации карты сайта краулинг пошёл заметно бодрее.
У нас на строительном сайте была та же беда с бесконечными фильтрами по цене.
Спасибо за структуру, всё разложено по полкам.
Логи сервера это золото, там всё видно про поведение робота на сайте.
А мы просто вычистили битые ссылки и лишние редиректы и обход выровнялся сам.
Отличная статья, автор явно на практике собаку съел.
У меня сайт на пятьдесят страниц и всё равно не весь в индексе, теперь понятно куда копать.
Как правильно настроить скорость обхода в настройках вебмастера чтобы не положить сервер но при этом ускорить индексацию новых материалов
Ирина, скорость обхода поднимайте плавно и наблюдайте за нагрузкой в панели хостинга. Резко не стоит, иначе робот сам сбавит темп. Ступенчато увеличивайте и смотрите на время ответа сервера.
После чистки дублей и склейки бюджет реально перераспределился и важные страницы стали обходиться чаще.
Полезно, добавил в закладки чтобы не потерять.
Не соглашусь что дело всегда в бюджете. У нас триста страниц а половина не в индексе хотя обход есть. Тут скорее качество контента.
А имеет ли смысл ускорять обход через переобход страниц в вебмастере если сайт небольшой всего двести страниц или это лишнее
Елена, для двухсот страниц ручной переобход имеет смысл только для новых и важных адресов. Массово гонять его не нужно, робот и так справится. Лучше следите за скоростью ответа сервера, она важнее.
Спасибо разобрался с логами сервера по вашему методу, всё встало на места.
У нас интернет магазин на десять тысяч товаров половина в индекс не заходила. Закрыли параметры в директивах и через месяц пошло.
Подскажите пожалуйста как понять что именно робот Яндекса тратит бюджет на мусорные страницы фильтров и сортировок а не на важные разделы каталога
Алексей, смотрите логи сервера и отчёт по обходу в вебмастере. Мусорные страницы фильтров закрывайте директивами и через канонический адрес, тогда робот перераспределит бюджет на каталог. За двадцать лет практики это самый частый источник слива краулинга.
Наконец то внятное объяснение про краулинговый бюджет. Раньше думал что это миф для крупных порталов.