Я почти каждую неделю читаю свежие статьи коллег про индексацию — и почти каждую неделю натыкаюсь на одно и то же. Перепечатанные тезисы пятилетней давности, ссылки на справку Google, которую автор явно не открывал, и магические «100 факторов ранжирования», переписанные друг у друга по кругу. За двадцать с лишним лет работы я насмотрелся на эти мифы достаточно, чтобы понимать: проблема не в том, что они полностью ложные. Проблема в том, что они описывают не то, что поисковик делает, а то, что о нём принято говорить.
Меня зовут Анатолий Кузнецов, я занимаюсь поисковым продвижением с тех времён, когда Яндекс ещё показывал тИЦ, а Google не умел толком читать JavaScript. И в этой статье я хочу разобрать, что системы Google и Яндекса реально проверяют, когда решают — взять вашу страницу в индекс, оставить её там и поднять в выдаче. Не по блогам, а по тому, что я вижу в логах серверов, в Search Console, в Вебмастере и в поведении реальных проектов.
Индексация — это не одно действие, а три разных решения
Первое заблуждение, которое мешает большинству вебмастеров, — представление об индексации как о единой кнопке. Робот пришёл, страница появилась в выдаче, всё. На самом деле поисковая система принимает по вашей странице как минимум три независимых решения, и каждое из них работает по своим правилам.
Сначала система решает, стоит ли вообще тратить ресурсы на обход страницы — это вопрос краулинга. Потом, уже скачав страницу, решает, добавлять ли её в индекс — это вопрос индексации в узком смысле. И только затем, если страница в индексе, система решает, на какой позиции её показывать по конкретному запросу — это ранжирование. Можно успешно пройти первый этап и застрять на втором. Можно попасть в индекс и никогда не подняться выше пятой страницы выдачи.
Когда вебмастер пишет «у меня не индексируется сайт», в девяти случаях из десяти при разборе выясняется, что страницы прекрасно обходятся роботом, но система сознательно отказывается включать их в индекс. Это разные болезни с разным лечением, и путать их — значит лечить насморк антибиотиками от ангины.
Что происходит на этапе краулинга
Робот не обходит весь интернет подряд. У каждого сайта есть свой краулинговый бюджет — условный лимит страниц, которые робот готов скачать за определённый период. Для маленького блога это не проблема: пара сотен страниц обходятся за день. А вот для интернет-магазина с десятками тысяч карточек, фильтров и сортировок краулинговый бюджет становится узким горлышком.
Google и Яндекс распределяют этот бюджет не случайно. Они смотрят на то, как быстро отвечает ваш сервер, как часто меняется контент, насколько глубоко страница зарыта в структуре сайта и сколько внутренних ссылок на неё ведёт. Страница, до которой нужно сделать семь кликов от главной, для робота почти не существует — он просто не доберётся до неё в разумные сроки. Именно поэтому грамотная внутренняя структура и перелинковка сайта влияет на индексацию сильнее, чем любые мета-теги.
Технические сигналы, которые поисковик проверяет в первую очередь
Здесь начинается территория, где блоги особенно любят разводить мистику. Я разберу по порядку то, что действительно влияет на решение системы, и то, что переоценено.
Скорость ответа сервера и Core Web Vitals
Скорость загрузки — это не косметика. Для робота медленный сервер означает, что за единицу времени он успеет скачать меньше страниц, а значит, потратит на ваш сайт меньше бюджета. Для пользователя медленная загрузка означает, что он закроет вкладку раньше, чем увидит контент. Оба сигнала система фиксирует.
Google формализовал это в метриках Core Web Vitals — времени до отрисовки основного контента, стабильности макета при загрузке и скорости реакции на действия пользователя. Яндекс прямо такие метрики не публикует, но фактически учитывает скорость через поведение: если страница грузится долго, пользователи уходят, и система это видит. Здесь важно не гнаться за идеальными 100 баллами в PageSpeed Insights — это лабораторный показатель. Важны реальные данные пользователей. Если вы хотите понять, где именно теряете скорость и краулинговый бюджет, имеет смысл начать с бесплатного технического аудита сайта — он показывает узкие места без догадок.
Дубли, канонические адреса и то, как система выбирает «главную» версию
Вот реальный механизм, который блоги почти всегда описывают неправильно. Когда система находит несколько страниц с похожим содержимым — например, карточку товара, доступную по трём разным URL из-за фильтров и UTM-меток, — она не банит вас за дубли. Это устаревший миф. Она просто выбирает одну версию как каноническую и показывает в выдаче только её, а остальные либо не индексирует, либо склеивает.
Проблема в том, что выбор канонической версии делает система, а не вы. Ваш тег rel=canonical — это не приказ, а рекомендация. Если структура сайта противоречит этой рекомендации, система проигнорирует ваш тег и выберет URL по своему усмотрению — нередко не тот, который вам нужен. В результате в выдаче оказывается страница с мусорным адресом, а та, которую вы оптимизировали, остаётся за бортом. Именно из-за этого многие проекты «теряют» в индексе важные страницы, не понимая причины.
robots.txt, мета-robots и noindex — что из этого что делает
Эти три инструмента постоянно путают, и путаница стоит людям трафика. robots.txt запрещает роботу обходить страницу, но не запрещает её индексировать — если на закрытую в robots.txt страницу ведут внешние ссылки, она может попасть в индекс без описания, просто как голый URL. Мета-тег noindex работает наоборот: страницу обходить можно, но в индекс она не попадёт. А чтобы noindex сработал, робот обязан страницу обойти — поэтому закрывать её одновременно в robots.txt бессмысленно, система просто не увидит ваш noindex.
Я регулярно вижу сайты, где важные разделы случайно закрыты от индексации ещё со времён разработки, а владелец месяцами не понимает, почему нет трафика. Это одна из первых вещей, которые я проверяю при разборе любого проекта.
Контентные сигналы: что система реально считает качеством
Здесь мы переходим от технической части к смысловой. И тут мифов даже больше.
Миф о «плотности ключевых слов» и о чём система думает на самом деле
Плотность ключевых слов как фактор умерла примерно тогда же, когда умер Internet Explorer 6. Современные системы Google и Яндекса не считают, сколько раз вы написали «купить пластиковые окна». Они анализируют, отвечает ли страница на запрос целиком — раскрыта ли тема, есть ли связанные подтемы, термины и сущности, которые логично ожидать в качественном материале.
Это то, что иногда называют LSI или тематическим окружением: система понимает, что в хорошей статье про индексацию должны встречаться слова «краулинговый бюджет», «канонический адрес», «Search Console» — не потому что это ключи, а потому что без них тему не раскрыть. Поэтому работающая стратегия сегодня — не набивать ключи, а писать SEO-тексты, которые полностью закрывают интент пользователя. Разница между «текст с ключами» и «текст, отвечающий на вопрос» — это разница между десятой и первой страницей выдачи.
E-E-A-T: опыт, экспертность, авторитет и доверие
Google открыто описывает принцип E-E-A-T в руководстве для асессоров, и хотя это не прямой алгоритмический фактор, система обучена распознавать его косвенные сигналы. Кто автор материала? Есть ли у него реальный опыт в теме? Ссылаются ли на сайт другие авторитетные ресурсы? Для коммерческих и медицинских тематик это критично — система не хочет показывать совет о здоровье или деньгах с анонимного сайта без репутации.
Яндекс движется в ту же сторону через свои оценки качества и асессорские проверки. Поэтому страница об авторе и его экспертизе — это не формальность для галочки, а реальный сигнал доверия, который видят и пользователи, и системы оценки. Если на вашем сайте нет понятного ответа на вопрос «кто это написал и почему ему можно верить», вы проигрываете конкуренту, у которого этот ответ есть.
Поведенческие факторы: главное, о чём молчат блоги
А вот это — самый недооценённый и при этом один из самых мощных пластов. После того как страница попала в выдачу, система продолжает за ней наблюдать. И наблюдает она за поведением людей.
Кликнул ли пользователь именно по вашему сниппету или выбрал соседний? Сколько времени он провёл на странице? Вернулся ли он сразу обратно в выдачу, чтобы выбрать другой результат — это так называемый pogo-sticking, и для системы это прямой сигнал, что ваша страница не ответила на запрос. Дочитал ли он материал, пролистал ли, перешёл ли на другие страницы сайта?
Яндекс исторически придаёт поведению огромный вес — это публично подтверждалось много раз. Google это отрицает в формулировках, но данные о взаимодействии с выдачей у него есть, и независимые исследования регулярно показывают корреляцию. Важный нюанс: системы давно умеют отличать естественное поведение от накрученного. Попытки имитировать клики и поведенческие сигналы ботами сегодня не просто не работают — они приводят к санкциям, и я с такими методами принципиально не работаю. Единственный надёжный способ улучшить поведенческие — сделать страницу, на которой человек реально находит то, что искал, и хочет остаться.
GEO: новый слой, который большинство ещё не замечает
И вот здесь начинается то, ради чего, по большому счёту, и стоит читать эту статью до конца. Пока коллеги спорят о плотности ключей образца 2015 года, поиск меняется на фундаментальном уровне.
Яндекс уже показывает Нейро — ответы, сгенерированные нейросетью прямо в выдаче, поверх обычных ссылок. ChatGPT, Perplexity и другие AI-системы всё чаще становятся первой точкой, куда человек идёт с вопросом вместо классического поиска. И эти системы тоже «индексируют» контент — но по своим правилам, которые отличаются от классического SEO.
Генеративные системы смотрят не на позицию в выдаче, а на то, насколько ваш контент удобно процитировать. Чёткая структура, прямые ответы на вопросы, фактическая точность, наличие источника и автора — всё это влияет на то, попадёте ли вы в сгенерированный ответ или останетесь невидимыми. Это и есть GEO — оптимизация под генеративные поисковые системы. Те, кто начинает работать с этим сейчас, через год-два будут собирать трафик там, где конкуренты даже не понимают, что трафик уходит. Если вам интересно, как адаптировать сайт под этот новый слой поиска, запишитесь на консультацию по SEO и GEO — разберём вашу ситуацию конкретно.
Что со всем этим делать на практике
Если свести всё сказанное к рабочему алгоритму, картина получается такая. Сначала вы убираете технические барьеры — открываете для индексации то, что должно быть открыто, ускоряете сервер, наводите порядок в канонических адресах и перелинковке. Затем делаете контент, который реально закрывает запрос пользователя, а не имитирует это набором ключей. Потом подкрепляете его сигналами доверия — авторством, экспертизой, репутацией. Следите за поведением людей и улучшаете страницы там, где люди уходят. И параллельно начинаете адаптацию под генеративный поиск, пока это ещё не стало обязательной нормой для всех.
Звучит как большой объём работы — потому что это и есть большой объём работы. И именно поэтому большинство сайтов застревают на полпути.
Не хватает целевого трафика? Давайте разберёмся почему
Если вы дочитали до этого места, скорее всего, вы узнали в описанных проблемах свой проект. Страницы вроде в индексе, а трафика нет. Или трафик есть, но не растёт. Или конкуренты с виду слабее, а стоят выше.
Я предлагаю не гадать, а посмотреть на ваш сайт системно. Закажите SEO-продвижение сайта у Анатолия Кузнецова — я работаю не по принципу «накупим ссылок и подождём», а разбираю реальные причины, по которым система не пускает вас наверх: от технических барьеров индексации до слабых поведенческих и недостаточных сигналов доверия. А чтобы вы не теряли трафик нового типа, я подключаю GEO-продвижение — адаптацию вашего контента под Яндекс Нейро, ChatGPT и другие генеративные системы, куда уже сегодня уходит часть вашей аудитории.
Начать можно без вложений и без обязательств: я провожу бесплатный аудит вашего сайта, на котором показываю конкретные точки роста именно по вашему проекту — что мешает индексации, где вы теряете позиции и сколько трафика реально можно вернуть. Если решите работать дальше — отлично. Если нет — у вас на руках останется честная картина состояния сайта. Свяжитесь со мной, и мы начнём с разбора вашей ситуации.
Поиск меняется быстрее, чем успевают переписывать SEO-блоги. Выигрывает не тот, кто знает больше мифов, а тот, кто работает с реальными сигналами систем — и начинает раньше остальных.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Старт 
Стандарт 
Премиум 
