Чекер доступа ИИ-краулеров

Что проверяет этот инструмент

Проверяет, разрешает или блокирует ваш robots.txt конкретных ИИ-краулеров, на которых работают ответные движки, — GPTBot и OAI-SearchBot (OpenAI), PerplexityBot, ClaudeBot, Google-Extended и другие. Если вы закрыли в Disallow бота, который собирает или подгружает ваш контент для ИИ-движка, движок не сможет обойти страницы и никогда не процитирует вас в ответах. Инструмент разделяет ботов для обучения моделей и поисковых ботов, которые реально формируют ответы со ссылками.

Что учитывается

совпадение user-agent

Точный токен бота в robots.txt (например, GPTBot, PerplexityBot); правила сопоставляются по строке user-agent, поэтому опечатка приводит к тому, что правило молча не срабатывает.

директива Disallow

`Disallow: /` под user-agent ИИ-бота закрывает ему весь сайт, а заблокированный бот-цитатор не сможет загрузить и процитировать ваши страницы.

обучающие боты против поисковых

GPTBot и Google-Extended работают на обучение моделей, а OAI-SearchBot и PerplexityBot подгружают живые страницы для ответов — именно блокировка поисковых ботов стоит вам цитирований.

общее правило-заглушка

Блок `User-agent: *` применяется к любому боту без собственного правила, поэтому широкий Disallow может случайно накрыть и ИИ-краулеров, которых вы хотели пустить.

переопределение через Allow

Отдельная строка `Allow:` под ИИ-ботом может снова открыть раздел внутри более широкого Disallow, так что итог зависит от приоритета правил.

отсутствующий или недоступный robots.txt

Отсутствие robots.txt или ответ 4xx (404, а по правилам Google и 403) трактуется как «обход разрешён», тогда как недоступный файл или ответ 5xx Google и RFC 9309 считают временным полным запретом.

Как пользоваться

1. Вставьте URL сайта (или адрес robots.txt) и запустите проверку.
2. Просмотрите отмеченных ботов — какие ИИ-краулеры разрешены, какие закрыты и какое правило сработало для каждого.
3. Исправьте правила robots.txt, которые блокируют нужных вам ботов-цитаторов, и перепроверьте.

Частые вопросы