Crawler
Bot-Management
Kurz gesagt: Bot-Management bezeichnet Verfahren, die automatisierten Datenverkehr auf einer Website erkennen, einordnen und je nach Zweck zulassen, bremsen, prüfen oder sperren – von Scrapern über Suchmaschinen-Crawler bis zu KI-Agenten.
Bot-Management: die Kurzfassung
Bot-Management ist eine Sicherheits- und Steuerungsfunktion, die meist beim CDN oder in einer Web Application Firewall sitzt. Anbieter wie Cloudflare, Akamai oder DataDome bewerten jede Anfrage anhand von Merkmalen wie Headern, IP-Reputation, Browser-Signalen und Verhalten. Cloudflare vergibt dafür einen Bot Score von 1 (sicher automatisiert) bis 99 (sicher menschlich). Anders als robots.txt, das nur eine Bitte an kooperative Crawler ist, setzt Bot-Management Regeln technisch durch, auch gegenüber Bots, die sich nicht an Vorgaben halten.
Warum das für deine KI-Sichtbarkeit zählt
Moderne Systeme ordnen Bots nicht mehr nur nach „gut“ und „böse“. Cloudflare etwa unterscheidet verifizierte Bots, deren Betreiber sich identifiziert hat, von unbekannten Automaten und berechnet bei Enterprise-Kunden einen granularen Score aus Heuristiken und Machine Learning. Kunden ab dem Pro-Tarif sehen den Verkehr in groben Gruppen: automatisiert, wahrscheinlich automatisiert, wahrscheinlich menschlich, verifizierter Bot. Das Anomaly-Detection-Modul, das Ausreißer gegenüber einer gelernten Basislinie erkennt, wird laut Dokumentation abgekündigt.
Seit 2026 verschiebt sich die Einteilung vom Bot-Typ zum Verwendungszweck. Cloudflare hat am 1. Juli 2026 drei KI-Kategorien eingeführt, die alle Kunden steuern können: Search (Inhalte für spätere Antworten indexieren), Agent (in Echtzeit im Auftrag eines Menschen handeln, etwa ChatGPT-User) und Training (Inhalte für Modelltraining sammeln). Für den 15. September 2026 hat Cloudflare neue Standards angekündigt: Für neu angelegte Domains werden Training und Agent auf Seiten mit Werbung standardmäßig blockiert, Search bleibt erlaubt. Zugleich werden Crawler mit mehreren Zwecken nach der strengsten zutreffenden Regel behandelt. Wer Training sperrt, blockiert damit laut Cloudflare auch Mehrzweck-Crawler wie Googlebot, Applebot und Bingbot, sofern er die Umstellung nicht vorher abgewählt hat.
Genau hier liegt das größte Risiko für Sichtbarkeit. Eine Bot-Regel, die aus Sicherheitsgründen gesetzt wurde, kann Googlebot, OAI-SearchBot oder PerplexityBot aussperren, ohne dass die Marketingabteilung davon erfährt. Die robots.txt sieht dann völlig korrekt aus, der Server liefert aber 403 oder eine Challenge-Seite. In der Search Console zeigt sich das als Crawling-Fehler, bei KI-Systemen nur als fehlende Nennung. Ein weiterer Irrtum: Den User-Agent als Erkennungsmerkmal zu nutzen, reicht nicht, weil er beliebig gefälscht werden kann. Google empfiehlt zur Prüfung einen Reverse-DNS-Abgleich oder die veröffentlichten IP-Listen.
Was du konkret tun solltest: Prüfe nach jeder Änderung an Firewall oder CDN, ob die für dich wichtigen Crawler noch Status 200 erhalten, etwa mit unserem KI-Crawler-Check. Lege schriftlich fest, welche Kategorie du zulässt: Such- und Abruf-Crawler bringen Nennungen in KI-Antworten, Trainings-Crawler nicht unmittelbar. Und stimm Bot-Regeln mit der robots.txt ab, damit beide dasselbe sagen.
Praxisbeispiel
Ein Möbelhändler aktiviert in seinem CDN die Option, KI-Bots zu blockieren, um Preis-Scraping zu erschweren. Wochen später taucht er in Perplexity-Antworten zu „Massivholztisch kaufen“ nicht mehr auf. Die Logfiles zeigen, dass PerplexityBot eine Challenge-Seite bekommt. Nach der Umstellung auf eine zweckbezogene Regel mit Freigabe für Such-Crawler und Sperre für Trainings-Crawler ist die Seite wieder abrufbar.
Wie wir das bei Kunden umsetzen, steht hier: Technik für KI-Sichtbarkeit: Crawler, Schema, llms.txt →
Bot-Management: typische Fragen
Worin unterscheidet sich Bot-Management von robots.txt?
Die robots.txt ist eine Bitte, die nur kooperative Crawler befolgen. Bot-Management setzt Regeln auf Server- oder CDN-Ebene technisch durch und erfasst auch Bots, die sich tarnen. Beide sollten zusammenpassen, sonst erlaubt die robots.txt einen Crawler, den die Firewall trotzdem aussperrt.
Blockiert Cloudflare jetzt Googlebot?
Nicht pauschal. Laut Ankündigung vom Juli 2026 behandelt Cloudflare Mehrzweck-Crawler ab dem 15. September 2026 nach der strengsten zutreffenden Regel. Wer die Kategorie Training blockiert, sperrt damit laut Cloudflare auch Googlebot, Applebot und Bingbot, sofern er das nicht vorher abgewählt hat. Prüfe deine Security-Einstellungen.
Wie erkenne ich, ob meine Firewall KI-Crawler blockiert?
Schau in die Server- oder CDN-Logs, welche Statuscodes Bots wie OAI-SearchBot, PerplexityBot oder ClaudeBot erhalten. Stehen dort 403, 429 oder Challenge-Antworten, greift eine Sperre. Ein Test mit gesetztem User-Agent zeigt nur einen Teil, weil Bot-Management auch IP und Signatur prüft.
Weiter im Glossar
Quellen: Cloudflare Docs: Bot scores (Stand September 2026) · Cloudflare Blog: Your site, your rules – new AI traffic options (1. Juli 2026) (Stand September 2026) · Google: Verify requests from Google crawlers and fetchers (Stand September 2026)
Dieser Eintrag beschreibt den Stand zum Prüfdatum. Hinweise auf Fehler oder neue Entwicklungen nehmen wir gern per E-Mail entgegen. Zurück zum Glossar
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.