# Индексируемость

_Источник: https://seomatrix.ai/ru/tools/indexability/_

---

## Что делает

Индексируемость — это разрешено ли поисковикам и AI-краулерам вообще индексировать страницу и показывать её в выдаче; ею управляют мета-тег robots, HTTP-заголовок X-Robots-Tag, canonical и правила robots.txt. Страница может быть в sitemap, быстро грузиться и проходить любой контент-аудит, но одна директива noindex убирает её из Google — и из тех AI-движков, что опираются на поисковый индекс. Проверка запрашивает страницу от имени Googlebot и AI-ботов (GPTBot, PerplexityBot, ClaudeBot) и показывает каждую директиву, которая блокирует или перенаправляет индексацию.

## Что проверяет

- **noindex в мета-robots** — Тег <meta name="robots" content="noindex"> в head удаляет страницу из индекса независимо от качества контента — самая частая незаметная причина выпадения нормальных страниц.
- **Заголовок X-Robots-Tag** — Директива noindex (или none) в HTTP-заголовке ответа делает то же, что мета-тег, но не видна в исходном коде страницы, поэтому её легко пропустить.
- **Тег canonical** — rel=canonical указывает движкам, какой URL считается основным; canonical на другой адрес говорит индексировать его, а не проверяемую страницу.
- **Доступ в robots.txt** — Правило Disallow вообще запрещает краулеру загружать страницу, а то, что нельзя загрузить, нельзя прочитать, проиндексировать или процитировать.
- **Доступ для AI-ботов** — GPTBot, PerplexityBot, ClaudeBot и Google-Extended подчиняются собственным правилам robots.txt, поэтому открытая для Googlebot страница может быть закрыта для краулеров, питающих AI-ответы.
- **Загружаемость для Googlebot** — Код ответа и директивы, отдаваемые именно user-agent'у Googlebot, ведь серверы иногда обращаются с ботами иначе, чем с браузером.

## Как пользоваться

1. Вставьте URL страницы и запустите проверку.
2. Просмотрите отмеченные директивы — любой noindex, кросс-доменный canonical или Disallow по каждому краулеру.
3. Устраните блокировку в источнике (уберите директиву из мета-тега или заголовка, исправьте canonical или отредактируйте robots.txt) и перезапустите проверку, чтобы подтвердить индексируемость.

## Вопросы

### Страница открывается нормально, но её нет в Google — почему?

Визуально исправная страница может нести директиву noindex в мета-теге или заголовке X-Robots-Tag либо быть закрыта в robots.txt; проверка покажет, что именно сработало.

### Чем robots.txt отличается от noindex?

robots.txt определяет, можно ли краулеру загрузить страницу, а noindex разрешает загрузку, но запрещает индексировать. При этом странице, закрытой в robots.txt, нельзя даже передать noindex, поэтому лишний Disallow способен оставить URL в индексе без сниппета.

### AI-движки вроде ChatGPT и Perplexity следуют тем же правилам?

Они подчиняются собственным user-agent'ам в robots.txt (GPTBot, PerplexityBot, ClaudeBot, Google-Extended), поэтому индексируемая Google страница может быть невидима для AI-ответов — инструмент проверяет каждого бота отдельно.

### Может ли canonical помешать индексации?

Напрямую нет, но canonical на другой URL говорит движкам индексировать тот адрес вместо этого, так что неверный canonical способен фактически убрать из индекса нужную страницу.