Por qué importa el acceso de los rastreadores de IA
Cuando un asistente de IA responde una pregunta de compra — «mejor dentista familiar en Denver», «mejor herramienta de facturación para freelancers» — se apoya en dos tipos de conocimiento: lo que el modelo aprendió durante el entrenamiento y lo que un sistema de recuperación acaba de traer de la web en vivo. Ambos caminos empiezan con rastreadores. Si los bots que recopilan datos de entrenamiento y los que traen páginas para la recuperación no pueden leer tu sitio, le estás entregando toda la respuesta de la IA a competidores cuyos sitios sí pueden leer.
Lo frustrante es que la mayoría de los bloqueos a rastreadores de IA son accidentes. En 2023–2024 muchos sitios (o sus CDN y plugins de seguridad) añadieron reglas generales que bloqueaban bots como GPTBot por precaución. Esas reglas siguen hoy en los robots.txt, excluyendo silenciosamente a negocios de las respuestas de IA mientras sus dueños se preguntan por qué nunca los recomiendan. Una comprobación de un minuto detecta esta clase de problema antes de gastar un céntimo en contenido.
Los rastreadores que importan en 2026
OpenAI opera GPTBot (recopilación de datos de entrenamiento), OAI-SearchBot (índice de búsqueda para la navegación de ChatGPT) y ChatGPT-User (peticiones en tiempo real cuando el chat de un usuario visita una página). Anthropic opera ClaudeBot y anthropic-ai. Perplexity usa PerplexityBot. El rastreo de Google para funciones de IA va ligado a Googlebot y Google-Extended — bloquear Google-Extended excluye tu contenido del entrenamiento de Gemini manteniendo la búsqueda normal. Otros a tener en cuenta: Amazonbot, Applebot-Extended, Bytespider (ByteDance), CCBot (Common Crawl, con cuyo corpus entrenan muchos modelos) y Meta-ExternalAgent.
Cada uno responde a las directivas estándar de robots.txt bajo su propio token de user-agent. Este comprobador solicita tu robots.txt y evalúa las reglas allow/disallow para cada uno de esos tokens exactamente como lo hacen los propios rastreadores, incluidos los bloqueos con comodín de user-agent que atrapan a los bots de IA como daño colateral.
Cómo leer tus resultados
«Permitido» significa que el rastreador puede traer tus páginas; no garantiza que lo haga, ni que tu contenido aparezca en ningún sistema de IA — solo elimina un bloqueo duro. «Bloqueado» significa que el rastreador queda excluido por una regla disallow coincidente. Presta especial atención cuando todo está bloqueado por un «User-agent: *» genérico: eso suele indicar una configuración de staging o un preset de seguridad demasiado agresivo, no una política deliberada.
Una política mixta deliberada es perfectamente legítima. Algunos editores permiten los bots de recuperación (que pueden citarles y enlazarles) mientras bloquean los de entrenamiento. Para un negocio que quiere que la IA lo recomiende, el valor por defecto pragmático en 2026 es permitir los principales rastreadores de IA: la ventaja es aparecer en las respuestas; el inconveniente para un sitio de negocio típico es insignificante.
Arreglar un bloqueo
robots.txt vive en la raíz de tu dominio y es texto plano. Para desbloquear un rastreador concreto, elimina su regla disallow o añade una sección allow explícita, por ejemplo: «User-agent: GPTBot» seguido de «Allow: /». Si tu archivo tiene un «User-agent: *» con «Disallow: /», acótalo a las rutas que de verdad necesitas privadas. Recuerda que la protección anti-bots a nivel de CDN (Cloudflare, Akamai) y los plugins de seguridad pueden bloquear rastreadores aunque robots.txt los permita — si este comprobador dice que estás abierto pero los sistemas de IA siguen sin poder resumir tu sitio, revisa a continuación la configuración de tu WAF.
Después de arreglarlo, vuelve a ejecutar la comprobación para confirmar, y da tiempo a los sistemas: los bots de recuperación recogen cambios en días, mientras que los corpus de entrenamiento se refrescan en ciclos mucho más largos. El acceso de rastreadores es el paso cero de la visibilidad en IA — cuando está en verde, la pregunta pasa a ser si la IA realmente te recomienda, que es lo que mide nuestro escaneo gratuito.