Wenn KI-Assistenten Ihre Website nicht lesen können, können sie Ihr Unternehmen nicht empfehlen. Dieser eine Satz erklärt, warum Ihre robots.txt — eine schlichte Textdatei, die die meisten Inhaber nie geöffnet haben — im Stillen über einen Teil Ihrer KI-Sichtbarkeit entscheidet. Viele Websites blockieren KI-Crawler, ohne es zu wissen: eine CDN-Voreinstellung, der „KI-Bots blockieren“-Schalter eines Plugins oder eine 2023 aus einem Blogbeitrag kopierte robots.txt-Regel können Sie für genau die Systeme unsichtbar machen, die Ihre Kunden heute um Empfehlungen bitten.

Dies ist eine Referenzliste der KI-Crawler, die 2026 zählen: wer den jeweiligen Crawler betreibt, was er mit Ihren Inhalten tatsächlich macht und welche ein Unternehmen mit Sichtbarkeitszielen zulassen sollte. Jeder User Agent unten ist vom Betreiber dokumentiert; wo ein Betreiber nichts dokumentiert, sagen wir das.

Zuerst: die drei Arten von KI-Bots verstehen

„KI-Crawler“ umfasst drei sehr unterschiedliche Verhaltensweisen — und die richtige Strategie unterscheidet sich je nach Art:

  • Trainings-Crawler sammeln Inhalte, um künftige Modelle zu trainieren. Sie zu blockieren begrenzt, was die Modelle von morgen über Sie wissen; der Effekt ist langsam und diffus.
  • Suchindex-Crawler bauen die Abruf-Indizes, die KI-Suchprodukte live zitieren. Sie zu blockieren entfernt Sie aus web-gestützten KI-Antworten — ein schneller, direkter Schlag gegen die Sichtbarkeit.
  • Nutzeranfrage-Abrufer besuchen eine Seite, weil ein Mensch den Assistenten gerade jetzt danach gefragt hat. Sie zu blockieren heißt, dass der Assistent Ihre Angaben nicht verifizieren kann — auch dann, wenn ein potenzieller Kunde fragt: „Ist dieses Unternehmen seriös?“

Für ein Unternehmen, das Kunden gewinnen will, sind die letzten beiden Kategorien praktisch nicht verhandelbar. Die erste ist eine echte Grundsatzentscheidung.

OpenAI (ChatGPT)

OpenAI dokumentiert drei Bots (offizielle Dokumentation):

  • GPTBot — der Trainings-Crawler. Ihn zuzulassen erlaubt Ihren Inhalten, künftige GPT-Modelle zu informieren.
  • OAI-SearchBot — baut den Suchindex hinter der Websuche von ChatGPT. Ihn zu blockieren kann Sie aus ChatGPT-Antworten mit Quellenlinks heraushalten. Wenn KI-Sichtbarkeit das Ziel ist: zulassen.
  • ChatGPT-User — ruft Seiten ab, wenn die Anfrage eines Nutzers den Besuch Ihrer Website erfordert. Zulassen: Dahinter steckt oft ein echter Interessent, eine Frage von der Kontaktaufnahme entfernt.

Anthropic (Claude)

Anthropic dokumentiert seine Crawler ebenfalls und bestätigt, dass sie robots.txt respektieren (offizielle Dokumentation):

  • ClaudeBot — der Trainings-Crawler.
  • Claude-User — ruft Seiten als Reaktion auf die Live-Anfrage eines Nutzers ab.
  • Claude-SearchBot — indexiert Inhalte, um Claudes Suchergebnisse zu verbessern.

Es gilt dieselbe Logik wie bei OpenAI: Die Nutzer- und Such-Bots entscheiden direkt darüber, ob Claude Sie heute lesen und zitieren kann.

Perplexity

Perplexity ist eine KI-Suchmaschine — ihre Crawler drehen sich komplett um Live-Antworten (offizielle Dokumentation):

  • PerplexityBot — baut den Suchindex von Perplexity.
  • Perplexity-User — besucht eine Seite, wenn die Frage eines Nutzers es erfordert.

Diese zu blockieren entfernt Sie von einer der zitationsreichsten KI-Oberflächen überhaupt — Perplexity-Antworten zeigen ihre Quellen prominent, und genau diese Art von Präsenz will ein Unternehmen.

Google (Gemini und KI-Funktionen)

Google-Extended ist kein eigener Crawler — es ist ein robots.txt-Token, das steuert, ob von Googlebot bereits gecrawlte Inhalte zum Training der Gemini-Modelle verwendet werden dürfen (offizielle Dokumentation). Zwei Details sind wichtig:

  • Google-Extended zu blockieren beeinflusst weder Ihr Google-Ranking noch Ihr Erscheinen in AI Overviews — dafür gelten die normalen Googlebot-Regeln.
  • Es zuzulassen kostet keinen zusätzlichen Crawl-Traffic, da es auf dem bestehenden Googlebot-Crawl aufsetzt.

Der Rest der Liste

  • CCBot (Common Crawl) — der Crawler einer Non-Profit-Organisation, der ein offenes Webarchiv aufbaut (offizielle Dokumentation). Selbst kein KI-Unternehmen, aber Common-Crawl-Daten waren historisch eine wichtige Trainingsquelle vieler Modelle — CCBot zu blockieren verringert Ihre Präsenz in den Datensätzen, mit denen viele Labore starten.
  • Meta-ExternalAgent (Meta) — Metas Crawler für KI-Training und Produktverbesserung (offizielle Dokumentation), relevant für Meta AI in WhatsApp, Instagram und Facebook.
  • Bytespider (ByteDance) — der Crawler von ByteDance, der mit dem Training seiner Modelle in Verbindung gebracht wird. ByteDance veröffentlicht dafür keine offizielle Dokumentationsseite, und er hat den Ruf, aggressiv zu crawlen; ob er robots.txt beachtet, bestätigt der Betreiber öffentlich nicht. Wir führen ihn der Vollständigkeit halber auf, nicht als Empfehlung.

Andere Agents, die Ihnen in Logs begegnen können — Applebot-Extended (Apples Opt-out-Token fürs KI-Training), Amazonbot, DuckAssistBot und diverse Startup-Crawler — folgen derselben Drei-Wege-Logik: Betreiber-Dokumentation prüfen, einordnen (Training, Suche oder Nutzeranfrage), entsprechend entscheiden.

Eine vernünftige Standard-Richtlinie

Für ein Unternehmen, dessen Ziel es ist, gefunden und empfohlen zu werden: Lassen Sie alle Suchindex- und Nutzeranfrage-Bots zu, plus die Trainings-Bots der großen Assistenten, die Ihre Kunden nutzen:

  • Zulassen: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Perplexity-User, Google-Extended.
  • Ermessensfrage: CCBot und Meta-ExternalAgent (trainingsorientiert; sie zuzulassen ist ein vernünftiger Standard für Sichtbarkeit, sie zu blockieren eine vertretbare Entscheidung zum Schutz von Inhalten).
  • Ermessensfrage: Bytespider (undokumentiert; blockieren Sie ihn, wenn sein Traffic stört — für die meisten westlichen Kleinunternehmen ist sein Sichtbarkeitsnutzen gering).

Da robots.txt-Regeln standardmäßig erlauben, besteht die häufigste Korrektur nicht darin, Allow-Zeilen hinzuzufügen — sondern darin, ein zu breites Disallow: / zu entfernen, das ein Sicherheits-Plugin oder eine CDN-Voreinstellung für diese User Agents gesetzt hat. Wenn Sie dennoch explizite Regeln wollen, ist dies das Minimalmuster:

User-agent: GPTBot
Allow: /

…pro Bot wiederholt. Eine Warnung aus Websites, die wir gescannt haben: Manche Firewalls blockieren KI-Crawler auf Netzwerkebene, selbst wenn robots.txt sie erlaubt — eine saubere robots.txt garantiert also keinen Zugang. Testen Sie das reale Verhalten, nicht nur die Datei.

Prüfen Sie Ihre Website in 30 Sekunden

Sie können Ihre robots.txt gegen diese gesamte Liste mit unserem kostenlosen KI-Crawler-Checker prüfen — Domain eingeben, und er zeigt Bot für Bot, wer erlaubt ist, wer blockiert und durch welche Regel.

Wenn Sie das Terminal bevorzugen (oder die Prüfung in Ihre CI einbauen wollen, damit ein Deployment nie wieder stillschweigend KI aussperrt): Dieselbe Prüfung steckt in unserer Open-Source-CLI (GitHub): npx rankedbyai crawlers ihreseite.de beendet sich mit einem Fehlercode, sobald einer der 11 großen KI-Crawler blockiert ist. Und um zu sehen, was KI-Assistenten tatsächlich über Ihr Unternehmen sagen, sobald sie Sie lesen können, starten Sie einen kostenlosen KI-Sichtbarkeits-Scan.

FAQ

Sollte ich KI-Crawler jemals blockieren?

Das hängt davon ab, was Ihre Inhalte für Sie wert sind. Verlage, deren Produkt der Inhalt selbst ist, blockieren oft Trainings-Crawler, um Lizenzwerte zu schützen. Ein lokales Unternehmen ist der Gegenfall: Ihre Inhalte existieren, um gefunden zu werden — die Systeme zu blockieren, die Kunden um Empfehlungen bitten, schadet vor allem Ihnen selbst. Für den Mittelweg: Such- und Nutzeranfrage-Bots zulassen, Trainings-Bots blockieren — die Kategorien oben machen diese Trennung einfach.

Schadet das Zulassen von KI-Crawlern meinem Google-Ranking?

Nein. KI-Crawler-Regeln in robots.txt gelten pro User Agent und betreffen Googlebot nicht. Google-Extended ist ausdrücklich als ohne Einfluss auf das Suchranking dokumentiert — es steuert nur das Training der Gemini-Modelle.

Woher weiß ich, ob meine Website gerade KI-Crawler blockiert?

Prüfen Sie Ihre robots.txt auf Disallow-Regeln für die oben genannten User Agents (einschließlich eines pauschalen User-agent: * / Disallow: /) und verifizieren Sie mit dem Crawler-Checker. Prüfen Sie auch Ihre CDN- oder Sicherheitseinstellungen — Cloudflare etwa bietet eine Ein-Klick-Blockade für KI-Bots, die unabhängig von robots.txt arbeitet.

Halten sich all diese Bots wirklich an robots.txt?

OpenAI, Anthropic, Perplexity, Google, Common Crawl und Meta dokumentieren, dass ihre gelisteten Crawler robots.txt beachten. Bytespiders Konformität ist nicht offiziell dokumentiert, und unabhängige Website-Betreiber berichten von inkonsistentem Verhalten — wenn Ihnen das Blockieren wichtig ist, erwägen Sie eine Firewall-Regel, statt allein auf robots.txt zu vertrauen.