Представьте интернет-магазин с 50 000 товаров. Каждый товар доступен в нескольких вариациях цвета и размера — это ещё 200 000 URL с параметрами. Плюс страницы фильтров, пагинации, поиска по сайту. Итого — больше полумиллиона URL. Краулинговый бюджет сайта — 2 000 страниц в день. Реально полезных страниц из 50 000 Яндекс видит только 400.
Это не гипотетика — это реальная ситуация, которую я видел на аудитах сотни раз. Краулинговый бюджет — один из самых игнорируемых факторов SEO для сайтов с большим количеством страниц. Разберём механику и способы оптимизации.
Как Яндекс рассчитывает краулинговый бюджет
Crawl budget — это не фиксированная квота, выданная Яндексом. Это динамическая величина, которая зависит от двух факторов:
Crawl rate limit — максимальная скорость обхода, которую может выдержать ваш сервер без деградации. Яндекс адаптируется: если TTFB вашего сервера высокий, бот снижает темп обхода, чтобы не перегружать его.
Crawl demand — насколько Яндекс считает ваши страницы ценными для индексации. Страницы с высоким авторитетом (PageRank), часто обновляемые, часто посещаемые пользователями — получают приоритет. Страницы с тонким контентом, дубли, страницы без внутренних ссылок — в конце очереди.
Итоговый бюджет — произведение скорости обхода и приоритета страниц. Для небольших сайтов (до 1 000 страниц) проблема краулинга обычно несущественна. Критично это становится при 10 000+ страниц.
Как проверить краулинговый бюджет вашего сайта
Яндекс.Вебмастер → «Индексирование» → «Статистика обхода» — здесь три ключевых показателя:
Страниц в день: сколько страниц обходит Яндекс.Бот ежедневно — это ваш фактический бюджет.
Среднее время ответа: нормально — до 300 мс. Больше 600 мс — сервер медленный, бот снижает темп.
Последний обход страниц: отфильтруйте по дате — страницы, не обходившиеся 30+ дней, практически не попадут в индекс.
Дополнительно: Яндекс.Вебмастер → «Поиск по сайту» → «Страницы в поиске» — сравните это число с общим количеством страниц вашего сайта. Разница и есть ваша «мёртвая зона» — страницы, существующие, но не индексированные.
6 главных пожирателей краулингового бюджета
1. Фасетные фильтры (интернет-магазины). Каждая комбинация фильтров — отдельный URL. 10 фильтров по 5 значений = 100 000 потенциальных URL. Решение: закрыть через robots.txt или canonical.
2. UTM-параметры в URL. Если ссылки с UTM-метками попадают на сайт и индексируются — они дублируют каждую страницу. Решение: Disallow: /*?utm_ в robots.txt.
3. Страницы пагинации. /page/2/, /page/3/ и т.д. — если контент на них идентичен главной странице категории. Решение: canonical на первую страницу или rel=next/prev.
4. Страницы 404. Яндекс продолжает обходить 404 по старым ссылкам. Каждый такой визит — потраченный бюджет. Настройте 301-редиректы.
5. Страницы с noindex. Бот обходит их, но не индексирует. Если страницы не нужны ни пользователям ни поисковику — закройте через Disallow в robots.txt вместо noindex.
6. Дублированные страницы. Все версии www/non-www/http/https — это 4 копии каждой страницы. Решение: 301-редирект на каноническую версию.
Пошаговый план оптимизации краулингового бюджета
Шаг 1: Аудит robots.txt. Убедитесь, что технические разделы закрыты — /wp-admin/, /wp-includes/, /xmlrpc.php. Добавьте закрытие для параметров URL:
# Закрываем технические параметры Disallow: /*?utm_ Disallow: /*?yclid= Disallow: /*?fbclid= Disallow: /*?sort= Disallow: /*?filter= Disallow: /*?page= # Технические разделы WordPress Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /feed/ Disallow: /comments/feed/
Шаг 2: Ускорьте сервер. TTFB (время до первого байта) должен быть менее 300 мс. Включите кеширование на уровне сервера (Redis, Memcached) или через плагин WP Rocket. Это напрямую увеличит дневной бюджет обхода.
Шаг 3: Обновите sitemap.xml. Включите только страницы с уникальным контентом и статусом 200. Удалите из sitemap страницы с noindex, 404 и редиректами. Отправьте обновлённую карту в Яндекс.Вебмастер.
Шаг 4: Настройте canonical. Все дублирующиеся страницы должны иметь canonical, указывающий на основную версию. Это не запрещает обход, но говорит Яндексу, какой URL индексировать.
Шаг 5: Удалите тонкий контент. Страницы с меньше чем 200 словами уникального текста получают низкий приоритет обхода. Объедините такие страницы или наполните реальным контентом.
На практике после оптимизации бюджета на проектах с 20-50 тыс. страниц индексируемых страниц становится в 3-5 раз больше. Новые статьи начинают появляться в индексе за дни, а не недели. Позиции начинают расти быстрее.
Анализ краулингового бюджета и его оптимизация — часть нашего технического аудита сайта. Проверим и дадим конкретный план.
Проверим краулинговый бюджет вашего сайта
Технический аудит — полный анализ с планом оптимизации.
Получить бесплатный аудитНашли технические проблемы на своём сайте?
Описанные выше ошибки — лишь часть того, что может тормозить рост сайта в Яндексе. Анатолий Кузнецов проведёт полный технический SEO-аудит: проверит индексацию, скорость, структуру, ссылки и метаданные — и выдаст приоритетный план исправлений. Не знаете, с чего начать? Начните с бесплатного экспресс-аудита — первые выводы уже сегодня.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Старт 
Стандарт 
Премиум 
