¿Tu robots.txt deja entrar a la IA? Pasamos 6 sitios famosos por el verificador gratuito

El GEO tiene una pregunta #0 que va antes de las cápsulas, el marcado y el llms.txt: ¿puede un motor de IA leer tu sitio siquiera? La respuesta vive en el robots.txt, y un bot de citación bloqueado ahí nunca te citará, por mejor que optimices el contenido. Verificarlo toma diez segundos: el verificador de acceso de crawlers de IA.

Qué evalúa el verificador

Pega un dominio y el verificador lee el robots.txt en vivo y ordena 27 bots de IA en tres grupos con un veredicto permitido/bloqueado para cada uno. Los grupos se diferencian por el precio de bloquearlos: motores de citación (14 UAs: OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot y otros): bloquea uno y desapareces de las respuestas de ese motor; crawlers de entrenamiento (11 UAs: GPTBot, CCBot, Google-Extended…): bloquearlos es legítimo y no cuesta visibilidad; UAs obsoletos (anthropic-ai, cohere-ai): las reglas que los apuntan están muertas.

Verificamos seis sitios famosos

Pasamos el robots.txt de seis sitios importantes por el verificador (instantánea del 3 de julio de 2026; “bloqueado” = el UA cae bajo un Disallow: / general). La dispersión demuestra que el robots.txt dejó de ser hace tiempo un archivo técnico: hoy es una posición de negocio en las negociaciones con las empresas de IA:

Sitio	Bots de citación bloqueados (de 14)	Entrenamiento (de 11)	Qué significa
reddit.com	14	11	todo cerrado; acceso solo por contrato
nytimes.com	9	9	una postura dura de licenciamiento
cnn.com	10	10	lo mismo
theverge.com	10	9	pero OpenAI está permitido: el acuerdo Vox↔OpenAI se ve directo en el robots.txt
bbc.com	6	9	término medio
medium.com	0	6	el modelo: entrenamiento cerrado, citación abierta

La fila más reveladora es The Verge: OAI-SearchBot y GPTBot están permitidos, todos los demás bots de citación están cerrados. Un acuerdo de licenciamiento de un editor con OpenAI, legible en un simple archivo de texto plano.

Citación ≠ entrenamiento: el error #1

Los gigantes de medios bloquean los bots de citación a propósito: es su palanca en las negociaciones de licencias, y NYT y Reddit sí tienen esa palanca. Pero cuando un sitio de negocio corriente copia su receta de “protégete de la IA”, no hay palanca, solo una desaparición silenciosa de ChatGPT Search, Perplexity y Bing Copilot. El patrón correcto para la mayoría de los sitios es el de Medium: entrenamiento cerrado, citación abierta.

Sobre nosotros mismos, y cómo arreglarlo

Nuestro propio robots.txt sirve User-agent: * + Allow: /: las 27 filas del verificador salen en verde. Es un resultado aburrido, y para la mayoría de los sitios también es el correcto: primero la visibilidad, y el opt-out de entrenamiento opcional después. Si el verificador muestra rojo, el generador de robots.txt amigable con la IA construye un archivo listo para la política que elijas, y el acceso de crawlers —junto con el marcado, las cápsulas y la velocidad— lo cubre la auditoría GEO/SEO de pago.

→ Verifica el acceso de los bots de IA a tu sitio