Crawler
ClaudeBot
Kurz gesagt: ClaudeBot ist der Crawler, mit dem Anthropic Webinhalte für das Training seiner Claude-Modelle sammelt; für Suche und Nutzeranfragen betreibt Anthropic die getrennten Bots Claude-SearchBot und Claude-User.
ClaudeBot kurz erklärt
ClaudeBot gehört zu Anthropic, dem 2021 gegründeten US-Unternehmen hinter dem KI-Assistenten Claude. Anthropic dokumentiert drei Bots mit eigenen User-Agent-Namen: ClaudeBot sammelt Inhalte, die zum Training beitragen können, Claude-SearchBot indexiert Inhalte zur Verbesserung der Suchergebnisse, und Claude-User ruft Seiten ab, wenn eine Person Claude eine Frage stellt. Abzugrenzen ist ClaudeBot damit von den beiden sichtbarkeitsrelevanten Bots: Eine Sperre von ClaudeBot betrifft nur künftige Trainingsdaten, nicht die Suche in Claude.
Was dahintersteckt
Die Folgen einer Sperre beschreibt Anthropic für jeden Bot einzeln. Blockiert eine Website ClaudeBot, signalisiert sie, dass ihre künftigen Inhalte aus den Trainingsdatensätzen ausgeschlossen werden sollen. Wer Claude-SearchBot sperrt, verhindert laut Anthropic, dass Inhalte für die Suche indexiert werden, was Sichtbarkeit und Genauigkeit in Suchergebnissen verringern kann. Wer Claude-User sperrt, verhindert Abrufe als Reaktion auf konkrete Nutzerfragen. Die Entscheidung ist also dreigeteilt, und für die meisten Unternehmen lautet sie: Training nach eigener Abwägung, Suche und Nutzerabrufe zulassen.
Technisch hält sich Anthropic nach eigener Aussage an die Anweisungen in der robots.txt, unterstützt zusätzlich die nicht standardisierte Direktive Crawl-delay und umgeht keine CAPTCHAs. Die robots.txt muss für jede Subdomain einzeln angelegt werden, die ausgeschlossen werden soll. Ein Detail mit Praxisfolgen: Anthropic rät davon ab, sich allein über IP-Sperren abzumelden, weil der Bot dann auch die robots.txt nicht mehr lesen kann und der Ausschluss nicht verlässlich dokumentiert ist. Die IP-Bereiche veröffentlicht Anthropic trotzdem, damit sich echte Zugriffe von gefälschten unterscheiden lassen, denn jeder kann den User-Agent „ClaudeBot“ in eine Anfrage schreiben.
Beim Rendering gilt dieselbe Einschränkung wie bei den meisten KI-Crawlern. Eine Auswertung von Vercel und MERJ aus dem Dezember 2024 fand keinen Hinweis darauf, dass ClaudeBot JavaScript ausführt. Inhalte, die erst im Browser zusammengesetzt werden, sind für ihn unsichtbar. Wer in Claude-Antworten vorkommen will, liefert den Kern der Seite deshalb als fertiges HTML aus, etwa über Server-Side Rendering.
Aus GEO-Sicht ist die Unterscheidung zwischen Trainings- und Suchzugriff entscheidend. Was ClaudeBot heute sammelt, kann in künftige Modelle einfließen, wirkt aber erst nach deren Training-Cutoff und lässt sich nachträglich nicht korrigieren. Was Claude-SearchBot und Claude-User abrufen, fließt dagegen in aktuelle Antworten mit Quellenangabe. Ob die drei Bots auf deiner Website tatsächlich ankommen oder von einer Firewall abgewiesen werden, prüfst du mit dem KI-Crawler-Check oder im Server-Log.
Ein Beispiel aus der Praxis
Ein Softwarehaus für Laborsoftware will nicht, dass seine ausführliche Dokumentation in künftige Trainingsdaten wandert, möchte aber in Claude-Antworten zu Laborprozessen mit Link auftauchen. Es trägt in der robots.txt ein Disallow für ClaudeBot ein und lässt Claude-SearchBot und Claude-User ausdrücklich zu. Im Server-Log prüft das Team anschließend über die veröffentlichten IP-Bereiche, dass die Zugriffe der beiden Such-Bots echt sind und nicht von der Firewall blockiert werden.
Wenn du das nicht selbst aufbauen willst: Technik für KI-Sichtbarkeit: Crawler, Schema, llms.txt →
Was oft gefragt wird
Verschwindet meine Website aus Claude, wenn ich ClaudeBot sperre?
Nein. ClaudeBot ist nur für Trainingsdaten zuständig. Für die Suche in Claude arbeitet Claude-SearchBot, für Abrufe während eines Gesprächs Claude-User. Erst wenn du diese beiden sperrst, sinkt laut Anthropic die Sichtbarkeit in den Antworten.
Wie sperre ich ClaudeBot richtig?
Mit einem Eintrag in der robots.txt, etwa User-agent: ClaudeBot und Disallow: /, und zwar auf jeder Subdomain, die ausgeschlossen werden soll. Anthropic rät davon ab, nur IP-Adressen zu blockieren, weil der Bot dann die robots.txt nicht lesen kann.
Wie erkenne ich echte Zugriffe von ClaudeBot?
Am User-Agent allein nicht, denn der lässt sich fälschen. Gleiche die Quell-IP im Server-Log mit den von Anthropic veröffentlichten IP-Bereichen ab. Stimmen Name und IP-Bereich überein, stammt der Zugriff tatsächlich von Anthropic.
Kann ich die Crawl-Frequenz von ClaudeBot begrenzen?
Ja. Anthropic unterstützt die nicht standardisierte Direktive Crawl-delay in der robots.txt. Ein Eintrag wie Crawl-delay: 1 unter dem User-Agent ClaudeBot bremst die Abrufe, ohne den Bot vollständig auszusperren.
Das hängt damit zusammen
Quellen: Anthropic Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler? (Stand September 2026) · Vercel/MERJ: The rise of the AI crawler (17.12.2024) (Stand September 2026)
Wo Anbieter einen Begriff unterschiedlich verwenden, nennen wir beide Lesarten. Einen Fehler gefunden? Schreib uns, wir korrigieren ihn. Zurück zum Glossar
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.