# Доступ ИИ-краулеров

_Источник: https://seomatrix.ai/ru/tools/ai-access/_

---

## Что делает

Проверяет, разрешает или блокирует ваш robots.txt конкретных ИИ-краулеров, на которых работают ответные движки, — GPTBot и OAI-SearchBot (OpenAI), PerplexityBot, ClaudeBot, Google-Extended и другие. Если вы закрыли в Disallow бота, который собирает или подгружает ваш контент для ИИ-движка, движок не сможет обойти страницы и никогда не процитирует вас в ответах. Инструмент разделяет ботов для обучения моделей и поисковых ботов, которые реально формируют ответы со ссылками.

## Что проверяет

- **совпадение user-agent** — Точный токен бота в robots.txt (например, GPTBot, PerplexityBot); правила сопоставляются по строке user-agent, поэтому опечатка приводит к тому, что правило молча не срабатывает.
- **директива Disallow** — `Disallow: /` под user-agent ИИ-бота закрывает ему весь сайт, а заблокированный бот-цитатор не сможет загрузить и процитировать ваши страницы.
- **обучающие боты против поисковых** — GPTBot и Google-Extended работают на обучение моделей, а OAI-SearchBot и PerplexityBot подгружают живые страницы для ответов — именно блокировка поисковых ботов стоит вам цитирований.
- **общее правило-заглушка** — Блок `User-agent: *` применяется к любому боту без собственного правила, поэтому широкий Disallow может случайно накрыть и ИИ-краулеров, которых вы хотели пустить.
- **переопределение через Allow** — Отдельная строка `Allow:` под ИИ-ботом может снова открыть раздел внутри более широкого Disallow, так что итог зависит от приоритета правил.
- **отсутствующий или недоступный robots.txt** — Отсутствие robots.txt или ответ 4xx (404, а по правилам Google и 403) трактуется как «обход разрешён», тогда как недоступный файл или ответ 5xx Google и RFC 9309 считают временным полным запретом.

## Как пользоваться

1. Вставьте URL сайта (или адрес robots.txt) и запустите проверку.
2. Просмотрите отмеченных ботов — какие ИИ-краулеры разрешены, какие закрыты и какое правило сработало для каждого.
3. Исправьте правила robots.txt, которые блокируют нужных вам ботов-цитаторов, и перепроверьте.

## Вопросы

### Если закрыть GPTBot, перестанет ли ChatGPT меня цитировать?

Блокировка GPTBot лишь запрещает OpenAI обходить вас для обучения модели; живые веб-ответы ChatGPT использует OAI-SearchBot, поэтому разрешите именно его, чтобы попадать в цитаты ChatGPT Search.

### Если robots.txt нет, разрешены ли ИИ-боты?

Да — отсутствующий robots.txt трактуется как «всё разрешено», поэтому по умолчанию все ИИ-краулеры могут заходить на сайт.

### Чем обучающий бот отличается от поискового?

Обучающие боты (GPTBot, Google-Extended) собирают контент для обучения моделей, а поисковые (OAI-SearchBot, PerplexityBot) подгружают страницы в реальном времени для ответов со ссылками — именно вторые напрямую дают ИИ-цитирования.

### Не навредит ли разрешение этих ботов обычному SEO?

Нет — правила для ИИ-краулеров не связаны с Googlebot, поэтому можно открыть OAI-SearchBot и PerplexityBot, не меняя того, как Google индексирует и ранжирует сайт.