бесплатный инструмент

Чекер индексируемости

Страница может пройти все on-page аудиты и всё равно быть выкинута из Google и AI-ответов через noindex. Вставьте URL — проверим meta-robots, X-Robots-Tag, canonical и доступ в robots.txt для Googlebot и AI-ботов цитирования.

Что проверяет этот инструмент

Индексируемость — это разрешено ли поисковикам и AI-краулерам вообще индексировать страницу и показывать её в выдаче; ею управляют мета-тег robots, HTTP-заголовок X-Robots-Tag, canonical и правила robots.txt. Страница может быть в sitemap, быстро грузиться и проходить любой контент-аудит, но одна директива noindex убирает её из Google — и из тех AI-движков, что опираются на поисковый индекс. Проверка запрашивает страницу от имени Googlebot и AI-ботов (GPTBot, PerplexityBot, ClaudeBot) и показывает каждую директиву, которая блокирует или перенаправляет индексацию.

Что учитывается

noindex в мета-robots: Тег <meta name="robots" content="noindex"> в head удаляет страницу из индекса независимо от качества контента — самая частая незаметная причина выпадения нормальных страниц.
Заголовок X-Robots-Tag: Директива noindex (или none) в HTTP-заголовке ответа делает то же, что мета-тег, но не видна в исходном коде страницы, поэтому её легко пропустить.
Тег canonical: rel=canonical указывает движкам, какой URL считается основным; canonical на другой адрес говорит индексировать его, а не проверяемую страницу.
Доступ в robots.txt: Правило Disallow вообще запрещает краулеру загружать страницу, а то, что нельзя загрузить, нельзя прочитать, проиндексировать или процитировать.
Доступ для AI-ботов: GPTBot, PerplexityBot, ClaudeBot и Google-Extended подчиняются собственным правилам robots.txt, поэтому открытая для Googlebot страница может быть закрыта для краулеров, питающих AI-ответы.
Загружаемость для Googlebot: Код ответа и директивы, отдаваемые именно user-agent'у Googlebot, ведь серверы иногда обращаются с ботами иначе, чем с браузером.

Как пользоваться

Вставьте URL страницы и запустите проверку.
Просмотрите отмеченные директивы — любой noindex, кросс-доменный canonical или Disallow по каждому краулеру.
Устраните блокировку в источнике (уберите директиву из мета-тега или заголовка, исправьте canonical или отредактируйте robots.txt) и перезапустите проверку, чтобы подтвердить индексируемость.

Частые вопросы

Страница открывается нормально, но её нет в Google — почему?

Визуально исправная страница может нести директиву noindex в мета-теге или заголовке X-Robots-Tag либо быть закрыта в robots.txt; проверка покажет, что именно сработало.

Чем robots.txt отличается от noindex?

robots.txt определяет, можно ли краулеру загрузить страницу, а noindex разрешает загрузку, но запрещает индексировать. При этом странице, закрытой в robots.txt, нельзя даже передать noindex, поэтому лишний Disallow способен оставить URL в индексе без сниппета.

AI-движки вроде ChatGPT и Perplexity следуют тем же правилам?

Они подчиняются собственным user-agent'ам в robots.txt (GPTBot, PerplexityBot, ClaudeBot, Google-Extended), поэтому индексируемая Google страница может быть невидима для AI-ответов — инструмент проверяет каждого бота отдельно.

Может ли canonical помешать индексации?

Напрямую нет, но canonical на другой URL говорит движкам индексировать тот адрес вместо этого, так что неверный canonical способен фактически убрать из индекса нужную страницу.

Что почитать дальше

поделиться результатом Полезный результат? Отправьте коллеге: Telegram WhatsApp X

это лишь один инструмент

Этот аудит — 1 из 85 операций seo·matrix

Бесплатные тулзы показывают, ЧТО чинить. Полный аудит и автономная команда из 20 ИИ-агентов чинят это под ключ — стратегия, тексты, GEO, перелинковка, публикация и поддержка на «дне втором».

Заказать полный аудит → Отслеживать еженедельно — вход бесплатный →

Все бесплатные тулзы →