# Общие правила для всех поисковых систем.
# Дата-архивы (/2026/07/) и страницы авторов НЕ закрыты здесь намеренно:
# они отдают <meta name="robots" content="noindex, follow"> — закрыть их в robots.txt
# значило бы запретить роботу зайти и увидеть этот noindex.
# Пагинация (/page/N/) тоже открыта, но она ИНДЕКСИРУЕТСЯ (index, follow) с self-canonical.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-json/
Disallow: /cgi-bin/
Disallow: /?s=
Disallow: /search/
# /seo-propeller-pdf/ — обработчик выгрузки отчёта в PDF: отдаёт пустой
# ответ без HTML, поэтому метатег robots поставить некуда.
Disallow: /seo-propeller-pdf/
Allow: /feed/$
Disallow: */feed/
Disallow: /xmlrpc.php
Disallow: */embed$
Disallow: *?replytocom=
Disallow: *&replytocom=
Disallow: *utm*=
Disallow: *openstat=
Allow: /wp-content/uploads/

# Специфические правила для Google
User-agent: Googlebot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-json/
Disallow: /cgi-bin/
Disallow: /?s=
Disallow: *&s=
Disallow: /search/
Disallow: /seo-propeller-pdf/
Allow: /feed/$
Disallow: */feed/
Disallow: */xmlrpc.php
Disallow: */embed$
Disallow: *?replytocom=
Disallow: *&replytocom=
Disallow: *utm*=
Disallow: *openstat=
Allow: /wp-content/uploads/

# Специфические правила для Яндекс.
# Метки и replytocom склеиваем через Clean-param — это надёжнее Disallow:
# Яндекс приводит такие URL к канонической форме, а не просто пропускает.
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-json/
Disallow: /cgi-bin/
Disallow: /?s=
Disallow: *&s=
Disallow: /search/
Disallow: /seo-propeller-pdf/
Allow: /feed/$
Disallow: */feed/
Disallow: */xmlrpc.php
Disallow: */embed$
Allow: /wp-content/uploads/
Clean-param: replytocom&cpage
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&openstat&yclid&from
Clean-param: etext&ysclid
Clean-param: gclid&fbclid&gclsrc&_openstat&roistat

# ИИ-поисковые боты — разрешаем индексацию для попадания в ответы нейросетей.
# Google AI (Gemini, AI Overviews, SGE)
User-agent: Google-Extended
Allow: /

# ChatGPT / OpenAI
User-agent: GPTBot
Allow: /
Disallow: /wp-admin/
Disallow: /wp-login.php

User-agent: ChatGPT-User
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# Claude / Anthropic
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /

# Microsoft Copilot / Bing AI
User-agent: Bingbot
Allow: /

# Яндекс Нейро (использует основной Yandex-бот).
# Правила для Yandex уже заданы выше.

# Meta AI
User-agent: FacebookBot
Allow: /

# Общие ИИ-краулеры
User-agent: Applebot-Extended
Allow: /

User-agent: cohere-ai
Allow: /

# Блокируем ботов, которые только скрейпят контент без пользы
User-agent: CCBot
Disallow: /

User-agent: GPTBot-Old
Disallow: /

User-agent: Bytespider
Disallow: /

# Sitemap
Sitemap: https://seo-prodvizhenie-biznesa.ru/wp-sitemap.xml

# LLM-карта сайта (стандарт llms.txt для AI-ассистентов: Claude, Perplexity, Cursor)
# https://llmstxt.org
# llms.txt: https://seo-prodvizhenie-biznesa.ru/llms.txt