Pay per Crawl

Was bedeutet Pay per Crawl?

Cloudflare, ein US-Anbieter für CDN und Netzwerksicherheit, hat Pay per Crawl am 1. Juli 2025 vorgestellt. Die Funktion gehört zu AI Crawl Control und ist laut Dokumentation (Stand Juli 2026) weiterhin eine geschlossene Beta. Betreiber legen für eine Zone einen Preis fest und wählen je Crawler Allow, Charge oder Block. Cloudflare tritt als Merchant of Record auf. Anders als eine Sperre per robots.txt ist Pay per Crawl kein Verbot, sondern ein Angebot: Wer zahlt, bekommt den Inhalt, wer nicht zahlt, erhält eine Preisauskunft statt der Seite.

Auch genannt:Pay-per-CrawlPay Per Crawlbezahltes Crawling

Warum das für deine KI-Sichtbarkeit zählt

Technisch belebt das Modell einen Statuscode wieder, den es seit Jahrzehnten gibt, aber kaum jemand nutzte. RFC 9110, die aktuelle HTTP-Spezifikation, sagt über 402 Payment Required nur, er sei „reserved for future use“. Cloudflare füllt ihn mit Inhalt: Fragt ein registrierter Crawler eine kostenpflichtige Seite an, bekommt er 402 und im Header crawler-price den Preis. Er kann die Anfrage mit crawler-exact-price wiederholen oder vorab mit crawler-max-price ein Budget mitschicken. Liegt der Preis darunter, liefert der Server die Seite mit Status 200 aus und protokolliert die Abrechnung.

Damit sich niemand als zahlender Crawler ausgeben kann, setzt Cloudflare auf Web Bot Auth: Der Crawler signiert seine Anfragen mit einem Ed25519-Schlüssel, dessen öffentlicher Teil in einem Verzeichnis hinterlegt ist. Ein einfacher User-Agent-String reicht also nicht. Einige Regeln aus der FAQ sind für die Praxis wichtig: Der Preis gilt einheitlich für alle Crawler mit der Einstellung Charge. Erneute Abrufe derselben Seite kosten erneut. Fehlerantworten werden nicht berechnet. Und /robots.txt, /sitemap.xml sowie security.txt sind immer frei. Seit Juni 2026 lassen sich einzelne URL-Muster ausnehmen und Preise dynamisch vom eigenen Server oder per Worker setzen.

Eine Regel übersehen viele: Sperrt eine WAF- oder Bot-Management-Regel einen Crawler, gewinnt die Sperre. Charge greift erst danach. Wer also zuvor alle KI-Bots blockiert hat, verdient mit Pay per Crawl nichts, sondern bleibt gesperrt.

Für GEO ist die Frage heikel. Such- und Abruf-Crawler, die Inhalte für Antworten in ChatGPT, Perplexity oder Claude holen, liefern Sichtbarkeit. Wer diese Crawler bezahlen lässt, riskiert, dass sie einfach nicht zahlen und die Seite in Antworten fehlt. Für Trainings-Crawler ist das Modell naheliegender, für KI-Crawler mit Suchfunktion eher ein Hebel für große Verlage mit exklusiven Inhalten. Cloudflare selbst nennt das Crawlen inzwischen ein „grobes Maß für Wert“ und hat im Juli 2026 angekündigt, das Modell zu „Pay Per Use“ weiterzuentwickeln: Experimente mit Ceramic.ai und You.com sollen Betreiber dann bezahlen, wenn ihre Inhalte in Antworten erscheinen, nicht bloß beim Abruf. Ob sich das durchsetzt, ist Stand September 2026 offen. Welche Bots deine Website heute überhaupt erreichen, zeigt der KI-Crawler-Check.

Praxisbeispiel

In der Praxis setzen wir das so um: Technik für KI-Sichtbarkeit: Crawler, Schema, llms.txt →

Weiter im Glossar

Quellen: Cloudflare Docs: What is Pay Per Crawl? (Stand September 2026) · Cloudflare Blog: Introducing pay per crawl (1. Juli 2025) (Stand September 2026) · Cloudflare Blog: Making AI search smarter (1. Juli 2026) (Stand September 2026)

Dieser Eintrag beschreibt den Stand zum Prüfdatum. Hinweise auf Fehler oder neue Entwicklungen nehmen wir gern per E-Mail entgegen. Zurück zum Glossar