¿Pueden los rastreadores de IA leer tu web? Auditoría de robots.txt para 48 bots de IA conocidos — comparada lado a lado con dominios de competidores.
Auditoría estática de robots.txt: qué permiten o bloquean tus reglas, antes de cualquier visita de crawler.
Auditando robots.txt…
La lista de bots y las categorías se basan en documentación pública de user-agents: la lista comunitaria ai.robots.txt, Dark Visitors y la documentación de cada operador. ai.robots.txt · Dark Visitors