Können KI-Crawler deine Website lesen? robots.txt-Audit für 48 bekannte KI-Bots — im direkten Vergleich mit Wettbewerber-Domains.
Statisches robots.txt-Audit: was deine Regeln erlauben oder blockieren — vor jedem Crawler-Besuch.
robots.txt wird geprüft…
Bot-Liste und Kategorien basieren auf öffentlicher User-Agent-Dokumentation: der ai.robots.txt-Community-Liste, Dark Visitors und den Docs der jeweiligen Betreiber. ai.robots.txt · Dark Visitors