Kostenloses Werkzeug
KI-Crawler-Check
Prüft in wenigen Sekunden, ob die Crawler von ChatGPT, Claude, Perplexity, Google und anderen deine Website abrufen dürfen. Ohne Anmeldung, ohne Speicherung deiner Eingabe über eine Stunde hinaus.
Welche Bots der Check prüft
Die Tabelle zeigt die 16 Crawler, die für die Sichtbarkeit in KI-Antworten am meisten zählen. Entscheidend ist die Spalte Zweck: Wer Trainings-Crawler sperrt, verliert keine Sichtbarkeit in der Suche. Wer Such- oder Abruf-Crawler sperrt, schon.
| Bot | Betreiber | Zweck | Was eine Sperre bewirkt |
|---|---|---|---|
| GPTBot | OpenAI | Training | Sammelt Inhalte für künftige OpenAI-Modelle. Sperre betrifft nicht die Suche in ChatGPT. |
| OAI-SearchBot | OpenAI | Suche | Baut den Index für ChatGPT Search. Gesperrt heißt: keine Zitate in ChatGPT-Suchantworten. |
| ChatGPT-User | OpenAI | Abruf | Ruft eine Seite ab, wenn ein Nutzer in ChatGPT danach fragt. |
| ClaudeBot | Anthropic | Training | Sammelt Inhalte für das Training von Claude. |
| Claude-SearchBot | Anthropic | Suche | Arbeitet für die Suchfunktion von Claude. |
| Claude-User | Anthropic | Abruf | Ruft Seiten ab, wenn ein Nutzer in Claude danach fragt. |
| PerplexityBot | Perplexity | Suche | Baut den Index, aus dem Perplexity Antworten belegt. |
| Perplexity-User | Perplexity | Abruf | Ruft Seiten ab, die eine Nutzerfrage in Perplexity verlangt. |
| Googlebot | Suche | Crawlt für die Google-Suche und damit auch für AI Overviews. | |
| Google-Extended | Training | Steuerzeichen für Gemini-Training und Grounding, kein eigener Bot. Ändert nichts an der Google-Suche. | |
| Bingbot | Microsoft | Suche | Crawlt für Bing, auf dessen Index Copilot und andere KI-Suchen aufsetzen. |
| Applebot-Extended | Apple | Training | Steuerzeichen für die Nutzung in Apples KI-Modellen. |
| CCBot | Common Crawl | Training | Offener Webkorpus, der in viele Trainingsdatensätze einfließt. |
| Meta-ExternalAgent | Meta | Training | Sammelt Inhalte für Metas KI-Modelle. |
| Bytespider | ByteDance | Training | Crawler von ByteDance, unter anderem für KI-Modelle. |
| Amazonbot | Amazon | Suche | Crawler von Amazon, unter anderem für Alexa-Antworten. |
So rechnet der Check
Das Werkzeug lädt die robots.txt deiner Domain und wertet sie nach dem Robots Exclusion Protocol (RFC 9309) aus: Für jeden Bot gilt die Gruppe, die ihn namentlich nennt, sonst die allgemeine Gruppe mit User-agent: *. Innerhalb der Gruppe entscheidet die längste passende Regel für die Startseite, bei Gleichstand gewinnt Allow. Fehlt die robots.txt, gilt alles als erlaubt. Antwortet der Server mit einem Fehler, behandeln die meisten Crawler das wie eine Sperre.
Zusätzlich ruft der Check deine Startseite dreimal mit dem Namen eines KI-Bots im User-Agent ab und vergleicht das Ergebnis mit einem normalen Browser-Abruf. Weicht der Statuscode ab, blockiert vermutlich eine Firewall oder ein Bot-Schutz. Das ist ein Hinweis, kein Beweis: Echte Bots kommen aus festen IP-Bereichen, und manche Firewalls prüfen genau diese.
Was der Check nicht kann
Er sieht nicht, ob ein Bot deine Seite tatsächlich besucht, und nicht, ob ein System dich zitiert. Dafür brauchst du dein Server-Log und eine Messung über ein Fragenset. Beides ist Teil unseres GEO-Audits.
Crawler dürfen rein. Und jetzt?
Ob dich die Systeme auch nennen, klärt eine Messung über echte Kundenfragen. Wir zeigen dir, wie sie abläuft.