搜索页面、问题、竞品…
你的第一个成果
四个快速步骤,获得第一个洞察。
已完成 0/4
AI 爬虫能读取你的网站吗?针对 48 个已知 AI bot 的 robots.txt 审计 — 并与竞品域名并排对比。
静态 robots.txt 审计:在爬虫真正访问之前,看你的规则允许或屏蔽了什么。
正在审计 robots.txt…
Bot 清单与分类基于公开的 user-agent 资料:ai.robots.txt 社区清单、Dark Visitors 以及各运营方官方文档。 ai.robots.txt · Dark Visitors