Os rastreadores de IA conseguem ler seu site? Auditoria de robots.txt para 48 bots de IA conhecidos — comparada lado a lado com domínios concorrentes.
Auditoria estática do robots.txt: o que suas regras permitem ou bloqueiam, antes de qualquer visita de crawler.
Auditando robots.txt…
A lista de bots e as categorias baseiam-se em documentação pública de user-agents: a lista comunitária ai.robots.txt, o Dark Visitors e a documentação de cada operador. ai.robots.txt · Dark Visitors