Das KI-Agenten-Panel in deinem Dashboard basiert ausschließlich auf öffentlichen Signalen: deiner robots.txt-Richtlinie für bekannte KI-Bots, ob du eine llms.txt veröffentlichst und wie oft die von deinen Scans gespeicherten KI-Antworten deine Domain zitiert haben. Das sind ehrliche Erreichbarkeitsdaten — aber kein Crawler-Traffic. Echte KI-Bot-Anfragezahlen existieren an genau einem Ort: in deinen Server-Logs. Darauf haben wir nie Zugriff, und wir tun auch nicht so.

Läuft deine Website hinter Cloudflare, kannst du echten KI-Crawler-Traffic in wenigen Minuten selbst sehen — ohne irgendjemandem Zugriff zu geben.

Option 1: das AI-Audit- / AI-Crawl-Control-Dashboard (am einfachsten)

Cloudflare bietet genau dafür eine eigene Ansicht:

  1. Melde dich im Cloudflare-Dashboard an und wähle deine Website (Zone).
  2. Öffne AI Crawl Control (früher AI Audit) in der linken Navigation.
  3. Du siehst, welche KI-Crawler (GPTBot, ClaudeBot, PerplexityBot, Google-Extended und andere) deine Seiten angefragt haben, wie oft und welche Pfade — gezählt aus echten Anfragen an Cloudflares Edge.

Auf demselben Bildschirm kannst du einzelne KI-Crawler erlauben oder blockieren. Bedenke vor dem Blockieren den Zielkonflikt: Bots, die deine Website nicht lesen können, können sie auch nicht zitieren.

Option 2: Security → Bots-Analytik

In jedem Plan zeigt Security → Bots den Bot-Traffic nach verifiziertem Bot-Namen klassifiziert. Filtere nach den KI-Crawlern, die dich interessieren, um Anfragevolumen über die Zeit zu sehen. Das ist gröber als AI Crawl Control, aber überall verfügbar.

Option 3: Logpush für Roh-Logs (Enterprise)

Brauchst du rohe Einzelanfrage-Datensätze — für eigene Dashboards oder Langzeitaufbewahrung — kann Cloudflare Logpush HTTP-Anfrage-Logs (inklusive des User-Agent-Headers) in deinen eigenen Speicher streamen (R2, S3 und andere). Filtere diese Logs nach den User-Agent-Strings bekannter KI-Bots, um exakte Zählungen pro Bot zu erhalten. Das erfordert einen Enterprise-Plan.

Der Zusammenhang mit dem KI-Agenten-Panel

  • Unser Panel beantwortet: könnten KI-Crawler dich erreichen (robots.txt, llms.txt), und haben die KI-Antworten in deinen Scans dich tatsächlich zitiert?
  • Deine Cloudflare-Logs beantworten: welche KI-Bots haben deine Seiten tatsächlich angefragt, und wie oft?

Beides ergänzt sich. Zeigt Cloudflare viel GPTBot-Traffic, aber deine Scans wenige Zitate, wird dein Inhalt zwar gelesen, aber nicht als zitierwürdig eingestuft. Zeigt unser Panel blockierte Bots, hilft keine Log-Analyse, bis die robots.txt sie erlaubt.

Wir bitten dich nicht, diese Daten mit uns zu teilen. Es ist dein Traffic; du solltest ihn direkt sehen.