El panel de Agentes IA de tu dashboard se construye solo con señales públicas: la política de tu robots.txt para bots de IA conocidos, si publicas un llms.txt y con qué frecuencia las respuestas de IA guardadas por tus escaneos citaron tu dominio. Eso es información honesta de accesibilidad — pero no es tráfico de rastreadores. Los conteos reales de peticiones de bots de IA existen en un único lugar: los logs de tu servidor. Nosotros nunca tenemos acceso a ellos, y no fingiremos lo contrario.
Si tu sitio funciona detrás de Cloudflare, puedes ver el tráfico real de rastreadores de IA tú mismo en pocos minutos, sin dar acceso a nadie más.
Opción 1: el panel AI Audit / AI Crawl Control (la más fácil)
Cloudflare incluye una vista dedicada exactamente a esto:
- Inicia sesión en el panel de Cloudflare y selecciona tu sitio (zona).
- Abre AI Crawl Control (antes AI Audit) en la navegación izquierda.
- Verás qué rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended y otros) solicitaron tus páginas, con qué frecuencia y qué rutas visitaron — contado a partir de peticiones reales en el edge de Cloudflare.
Desde la misma pantalla puedes permitir o bloquear rastreadores de IA individuales. Antes de bloquear, recuerda el compromiso: los bots que no pueden leer tu sitio tampoco pueden citarlo.
Opción 2: analítica de Security → Bots
En cualquier plan, Security → Bots muestra el tráfico de bots clasificado por nombre de bot verificado. Filtra por los rastreadores de IA que te interesen para ver los volúmenes de peticiones a lo largo del tiempo. Es menos detallado que AI Crawl Control pero está disponible en todos los planes.
Opción 3: Logpush para logs en bruto (Enterprise)
Si necesitas registros en bruto por petición — para tus propios dashboards o retención a largo plazo — Logpush de Cloudflare puede transmitir los logs de peticiones HTTP (incluida la cabecera User-Agent) a tu propio almacenamiento (R2, S3 y otros). Filtra esos logs por las cadenas de user-agent de bots de IA conocidos para obtener conteos exactos por bot. Requiere un plan Enterprise.
Cómo se relaciona con el panel de Agentes IA
- Nuestro panel responde: ¿podrían los rastreadores de IA alcanzarte (robots.txt, llms.txt), y las respuestas de IA de tus escaneos te citaron realmente?
- Tus logs de Cloudflare responden: ¿qué bots de IA solicitaron realmente tus páginas, y con qué frecuencia?
Ambos son complementarios. Si Cloudflare muestra mucho tráfico de GPTBot pero tus escaneos muestran pocas citas, tu contenido se está leyendo pero no se considera digno de cita. Si nuestro panel muestra bots bloqueados, ningún análisis de logs ayudará hasta que robots.txt los permita.
No te pedimos que compartas ninguno de estos datos con nosotros. Es tu tráfico; deberías verlo directamente.