# Логи ИИ-краулеров

_Источник: https://seomatrix.ai/ru/tools/ai-crawler-log/_

---

## Что делает

Анализатор логов AI-краулеров разбирает журнал доступа сервера или CDN и показывает, какие AI-боты — GPTBot, ClaudeBot, PerplexityBot, Google-Extended — заходили на сайт, как часто и какие страницы читали. Это единственный точный способ увидеть, замечают ли вас движки вроде ChatGPT и Perplexity: страницу, которую AI-краулер ни разу не скачал, он не сможет процитировать в ответе.

## Что проверяет

- **User-agent AI-краулера** — Строка в каждой записи лога, по которой опознаётся бот (GPTBot, ClaudeBot, PerplexityBot, Google-Extended); без неё нельзя понять, какой движок к вам приходил.
- **Частота обхода** — Сколько запросов сделал каждый бот за период лога; частота показывает, насколько активно движок обновляет своё представление о сайте.
- **Охват страниц** — Какие именно URL боты реально скачали; страницу, которую не обошли, процитировать в AI-ответе невозможно.
- **Назначение бота (обучение или ответ)** — Отделяет краулеры для обучения моделей (GPTBot, Google-Extended, ClaudeBot) от краулеров живого ответа (OAI-SearchBot, PerplexityBot, Claude-User), которые тянут страницу в момент формирования AI-ответа.
- **HTTP-статус по каждому боту** — Какой код получил краулер: 200 значит страницу прочитали, а 403 или 404 — доступ закрыт либо страницы нет.
- **Свежесть обхода** — Дата последнего визита; устаревшая дата означает, что движок ещё не перечитал обновлённый контент.

## Как пользоваться

1. Вставьте или загрузите журнал доступа (формат Combined, JSON или .gz) в поле на странице.
2. Просмотрите разбивку по ботам: кто из AI-краулеров заходил, как часто и какие страницы читал.
3. Откройте нужным ботам доступ в robots.txt и настройках сервера, а недостающие страницы добавьте в sitemap и внутреннюю перелинковку.

## Вопросы

### Каким AI-краулерам стоит разрешать доступ?

Разрешайте тех, кто питает нужные вам AI-ответы: OAI-SearchBot для поиска ChatGPT, PerplexityBot для Perplexity. А для AI Overviews достаточно обычного доступа Googlebot — AI Overviews работают на индексации Google Поиска, а не на Google-Extended; Google-Extended лишь управляет использованием контента для обучения моделей Gemini/Vertex. Боты только для обучения (GPTBot) — вопрос вашей политики по данным.

### Чем краулер обучения отличается от краулера ответа?

GPTBot, Google-Extended и ClaudeBot скачивают контент, чтобы обучать модели, а OAI-SearchBot, PerplexityBot и Claude-User тянут страницу вживую, чтобы собрать конкретный AI-ответ со ссылкой на вас.

### Почему AI-краулеры не заходят на сайт или на часть страниц?

Обычные причины — запрет в robots.txt, блокировка user-agent на сервере или WAF, отсутствие страницы в sitemap и внутренних ссылках либо слишком свежая публикация.

### Логи куда-то загружаются?

Нет, анализ идёт прямо в браузере — журнал не покидает ваш компьютер.