# Logs de crawlers de IA

_Fuente: https://seomatrix.ai/es/tools/ai-crawler-log/_

---

## Qué hace

Un analizador de logs de rastreadores de IA lee el registro de acceso de tu servidor o CDN y muestra qué bots de IA —GPTBot, ClaudeBot, PerplexityBot, Google-Extended— visitaron el sitio, con qué frecuencia y qué páginas leyeron. Es la única forma exacta de saber si motores como ChatGPT y Perplexity realmente te ven: una página que un rastreador de IA nunca descargó no puede citarse en una respuesta de IA.

## Qué revisa

- **User-agent del rastreador de IA** — La cadena presente en cada línea del log que identifica al bot (GPTBot, ClaudeBot, PerplexityBot, Google-Extended); sin ella no se sabe qué motor te visitó.
- **Frecuencia de rastreo** — Cuántas peticiones hizo cada bot durante el periodo del log; la frecuencia indica con qué actividad el motor actualiza su visión del sitio.
- **Cobertura de páginas** — Qué URL descargaron realmente los bots; una página que no rastrearon no puede citarse en una respuesta de IA.
- **Propósito del bot (entrenamiento o respuesta)** — Separa los rastreadores de entrenamiento de modelos (GPTBot, Google-Extended, ClaudeBot) de los de respuesta en vivo (OAI-SearchBot, PerplexityBot, Claude-User), que descargan la página al construir una respuesta de IA.
- **Estado HTTP por bot** — El código que recibió cada rastreador: un 200 significa que leyó la página; un 403 o 404, que fue bloqueado o la página no existe.
- **Recencia del rastreo** — La fecha de la última visita; una fecha antigua indica que el motor aún no ha releído tu contenido actualizado.

## Cómo usarla

1. Pega o sube tu registro de acceso (formato Combined, JSON o .gz) en el campo de la página.
2. Revisa el desglose por bot: qué rastreadores de IA te visitaron, con qué frecuencia y qué páginas leyeron.
3. Abre el acceso a los bots que quieras en robots.txt y la configuración del servidor, y añade las páginas que faltan al sitemap y al enlazado interno.

## Preguntas

### ¿A qué rastreadores de IA debería permitir el acceso?

Permite los que alimentan las respuestas de IA donde quieres aparecer: OAI-SearchBot para la búsqueda de ChatGPT y PerplexityBot para Perplexity. Para los AI Overviews basta con el acceso normal de Googlebot: los AI Overviews se basan en la indexación de Google Search, no en Google-Extended; Google-Extended solo controla el uso de tu contenido para entrenar los modelos de Gemini/Vertex. Los bots solo de entrenamiento (GPTBot) dependen de tu política de datos.

### ¿Qué diferencia hay entre un rastreador de entrenamiento y uno de respuesta?

GPTBot, Google-Extended y ClaudeBot descargan contenido para entrenar modelos, mientras que OAI-SearchBot, PerplexityBot y Claude-User descargan la página en vivo para construir una respuesta de IA concreta que te cita.

### ¿Por qué los rastreadores de IA no visitan mi sitio o algunas páginas?

Las causas habituales son un bloqueo en robots.txt, el filtrado del user-agent en el servidor o el WAF, la ausencia de la página en el sitemap y el enlazado interno, o una publicación demasiado reciente.

### ¿Se suben mis logs a algún servidor?

No, el análisis ocurre en tu navegador y el registro nunca sale de tu equipo.