Technik-Tools · Bot-Management für KI-Crawler
Cloudflare AI Crawl Control
Kurz gesagt: AI Crawl Control zeigt dir im Cloudflare-Dashboard, welche KI-Crawler deine Website abrufen, und legt per Regel fest, welche Bots Inhalte für Suche, Training oder Agenten bekommen.
- Anbieter
- Cloudflare, Inc., San Francisco, USA
- Typ
- Bot-Management für KI-Crawler
- Preisrahmen
- in allen Cloudflare-Tarifen enthalten, auch im Free-Plan; einzelne Funktionen wie eigene 402-Antworten nur in bezahlten Tarifen, Pay per Crawl als private Beta (Stand 09/2026)
Einordnung
AI Crawl Control ist Cloudflares Steuerzentrale für KI-Crawler. Das Werkzeug hieß bis 2025 AI Audit und ist seit dem 27. August 2025 allgemein verfügbar. Im Dashboard siehst du, welche Betreiber mit welchen Bots wie oft zugreifen, welche Pfade sie abrufen, welche Statuscodes sie bekommen und wie viele Besuche von KI-Plattformen zurück auf deine Seite kommen. Für jeden einzelnen Crawler lässt sich festlegen, ob er durchgelassen oder gesperrt wird. Der Tab „Directives“ (früher „Robots.txt“) zeigt, welche Bots deine robots.txt missachten, und erlaubt, daraus harte Sperrregeln zu machen.
Das Werkzeug arbeitet auf Ebene des Cloudflare-Proxys, funktioniert also nur für Domains, deren Verkehr über Cloudflare läuft. Seit dem 1. Juli 2026 teilt Cloudflare KI-Verkehr in drei Kategorien ein: Search (Crawler für Antwortsysteme mit Verweis oder Vergütung), Agent (Abrufe im Auftrag eines Nutzers, etwa Chat-Fetch-Bots) und Training. Pro Kategorie kannst du erlauben, überall sperren oder nur auf Seiten mit Werbung sperren. Seit dem 15. September 2026 gilt für neue Domains und für Free-Kunden ohne eigene Einstellung: Training und Agent werden auf Seiten mit Anzeigen blockiert, Search bleibt erlaubt. Pay per Crawl – also ein Preis pro Abruf mit HTTP-Status 402 – ist weiterhin eine private Beta.
Für GEO ist das Werkzeug vor allem ein Kontrollinstrument. Häufig verhindert eine vergessene WAF- oder Bot-Regel, dass OAI-SearchBot oder PerplexityBot überhaupt Inhalte bekommen – hier fällt das sofort auf. Vorsicht bei der Kategorie Agent: Sie umfasst Abrufe, die ein Mensch im Chat auslöst. Wer sie sperrt, verhindert unter Umständen, dass ein Assistent deine Seite live liest und zitiert. Cloudflare weist außerdem darauf hin, dass Mehrzweck-Crawler, die Suche und Training kombinieren, von Training-Sperren mitbetroffen sind.
Für Websites in Deutschland gelten dieselben Regeln wie überall; eine Länderlogik gibt es nicht. Wer seine Domain nicht über Cloudflare betreibt, bekommt vergleichbare Daten nur aus eigenen Server-Logs. Mehr zum Hintergrund steht unter Bot-Management und KI-Crawler blockieren.
Was gut funktioniert und was nicht
Stärken
- Zeigt pro Crawler Anfragen, Statuscodes, Pfade und Rückverweise, ohne dass du Logfiles auswerten musst
- Sperren und Freigaben pro Bot oder pro Kategorie mit wenigen Klicks, auch im Free-Plan
- Erkennt Crawler, die robots.txt-Anweisungen ignorieren, und macht daraus durchsetzbare Regeln
- Kategorien Search, Agent und Training trennen Sichtbarkeit in KI-Suchen von Trainingsnutzung
Schwächen
- Funktioniert nur für Domains, deren Verkehr über Cloudflare läuft
- Neue Standardwerte seit 15.09.2026 können Agent-Abrufe auf Seiten mit Werbung sperren, ohne dass es jemand bemerkt
- Pay per Crawl ist private Beta, einige Funktionen sind bezahlten Tarifen vorbehalten
- Zeigt Crawler-Zugriffe, nicht ob ein KI-System deine Inhalte am Ende nennt
Passt Cloudflare AI Crawl Control zu dir?
Pflichtprüfung für jede Website, die bereits über Cloudflare läuft: Ein Blick ins Dashboard zeigt, ob Such- und Agent-Bots der KI-Anbieter durchkommen. Für Seiten ohne Cloudflare lohnt ein Umzug allein dafür selten. Wer wissen will, ob die Marke in Antworten auftaucht, braucht zusätzlich ein Prompt-Monitoring; Crawler-Daten allein sagen darüber nichts. Alternative ohne Cloudflare: Server-Logs nach User-Agents auswerten.
Häufige Fragen zu Cloudflare AI Crawl Control
Was hat sich am 15. September 2026 bei Cloudflare geändert?
Für neue Domains und für Free-Kunden, die nichts eingestellt hatten, sind Training- und Agent-Bots seitdem auf Seiten mit Anzeigen standardmäßig gesperrt. Search-Crawler bleiben erlaubt. Prüf im Dashboard, ob diese Voreinstellung zu deinen Zielen passt.
Sollte ich die Kategorie Agent sperren?
Nur mit gutem Grund. Agent umfasst Abrufe, die ein Nutzer im Chat auslöst, etwa wenn ein Assistent eine Seite live öffnet. Sperrst du sie, kann das System deine Inhalte in diesem Moment nicht lesen und damit auch nicht zitieren.
Brauche ich AI Crawl Control, wenn ich schon eine robots.txt habe?
Die robots.txt ist eine Bitte, keine Sperre. AI Crawl Control zeigt, welche Bots sich daran halten, und kann Regeln serverseitig durchsetzen. Beides ergänzt sich: robots.txt für kooperative Crawler, Cloudflare-Regeln für den Rest.
Alternativen in derselben Kategorie
Quellen: AI Crawl Control – Cloudflare Docs (Stand September 2026) · Changelog: New options to manage AI traffic (Stand September 2026) · AI Crawl Control Changelog (Stand September 2026)
Kein Affiliate-Eintrag: Die Einordnung ist redaktionell, ohne Gegenleistung des Anbieters. Zurück zum Verzeichnis
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.