Анализатор логов ИИ-краулеров

Что проверяет этот инструмент

Анализатор логов AI-краулеров разбирает журнал доступа сервера или CDN и показывает, какие AI-боты — GPTBot, ClaudeBot, PerplexityBot, Google-Extended — заходили на сайт, как часто и какие страницы читали. Это единственный точный способ увидеть, замечают ли вас движки вроде ChatGPT и Perplexity: страницу, которую AI-краулер ни разу не скачал, он не сможет процитировать в ответе.

Что учитывается

User-agent AI-краулера

Строка в каждой записи лога, по которой опознаётся бот (GPTBot, ClaudeBot, PerplexityBot, Google-Extended); без неё нельзя понять, какой движок к вам приходил.

Частота обхода

Сколько запросов сделал каждый бот за период лога; частота показывает, насколько активно движок обновляет своё представление о сайте.

Охват страниц

Какие именно URL боты реально скачали; страницу, которую не обошли, процитировать в AI-ответе невозможно.

Назначение бота (обучение или ответ)

Отделяет краулеры для обучения моделей (GPTBot, Google-Extended, ClaudeBot) от краулеров живого ответа (OAI-SearchBot, PerplexityBot, Claude-User), которые тянут страницу в момент формирования AI-ответа.

HTTP-статус по каждому боту

Какой код получил краулер: 200 значит страницу прочитали, а 403 или 404 — доступ закрыт либо страницы нет.

Свежесть обхода

Дата последнего визита; устаревшая дата означает, что движок ещё не перечитал обновлённый контент.

Как пользоваться

1. Вставьте или загрузите журнал доступа (формат Combined, JSON или .gz) в поле на странице.
2. Просмотрите разбивку по ботам: кто из AI-краулеров заходил, как часто и какие страницы читал.
3. Откройте нужным ботам доступ в robots.txt и настройках сервера, а недостающие страницы добавьте в sitemap и внутреннюю перелинковку.

Частые вопросы