Crawler
OAI-SearchBot
Kurz gesagt: OAI-SearchBot ist der Crawler, mit dem OpenAI Websites für die Suchfunktionen von ChatGPT erfasst — wer ihn sperrt, erscheint nicht mehr in den Suchantworten von ChatGPT.
Was bedeutet OAI-SearchBot?
OAI-SearchBot ist einer von vier Agenten, die OpenAI dokumentiert. Laut OpenAI dient er dazu, Websites in den Suchergebnissen der ChatGPT-Suchfunktionen anzuzeigen. Seiten, die ihn in der robots.txt ausschließen, werden nicht in ChatGPT-Suchantworten gezeigt, können aber weiterhin als reine Navigationslinks auftauchen. Abzugrenzen ist er vom Trainings-Crawler GPTBot und von ChatGPT-User, der Seiten abruft, wenn eine Person in ChatGPT eine Aktion auslöst. OpenAI veröffentlicht für jeden Agenten einen eigenen User-Agent und eigene IP-Bereiche.
Was dahintersteckt
Für Unternehmen, die in ChatGPT genannt und verlinkt werden wollen, ist OAI-SearchBot der wichtigste der OpenAI-Bots. OpenAI empfiehlt ausdrücklich, ihn in der robots.txt zuzulassen und Anfragen aus den veröffentlichten IP-Bereichen zu erlauben. Änderungen an der robots.txt brauchen laut OpenAI rund 24 Stunden, bis die Systeme sie berücksichtigen. Wer also eine Sperre aufhebt, sollte nicht am selben Tag Ergebnisse erwarten.
In der Praxis ist die häufigste Ursache fehlender Sichtbarkeit keine bewusste Sperre, sondern Bot-Management, das unbekannte Crawler pauschal abweist. CDN- und Firewall-Regeln liefern OAI-SearchBot dann einen Statuscode 403 oder eine Captcha-Seite, ohne dass es im Redaktionsalltag auffällt. Ein Abruf mit dem echten User-Agent-String deckt das in Minuten auf. Umgekehrt gilt: Nicht jeder Zugriff mit diesem Namen ist echt. Erst der Abgleich der Quell-IP mit der von OpenAI veröffentlichten Liste zeigt, ob tatsächlich OpenAI anfragt.
Die Abgrenzung zu den übrigen Agenten ist wichtig für saubere Regeln. GPTBot sammelt Trainingsdaten, eine Sperre betrifft nur künftige Modelle. ChatGPT-User ruft Seiten ab, wenn Nutzer das auslösen. Laut OpenAI wird ChatGPT-User nicht verwendet, um zu entscheiden, ob Inhalte in der Suche erscheinen, und für solche nutzerausgelösten Abrufe gelten robots.txt-Regeln möglicherweise nicht. Dazu kommt OAI-AdsBot, der nur Zielseiten eingereichter ChatGPT-Anzeigen besucht. Wer Such-Opt-outs steuern will, muss also OAI-SearchBot adressieren.
Ob die Zulassung wirkt, zeigt sich in zwei Messgrößen. Die erste sind Nennungen und Quellenlinks in ChatGPT-Antworten auf die Fragen deiner Zielgruppe, die zweite ist KI-Referral-Traffic aus ChatGPT in der Webanalyse. Wie ChatGPT Search als Produkt funktioniert, beschreibt der Eintrag ChatGPT Search im Verzeichnis. Bleiben beide Werte trotz Freigabe bei null, liegt das Problem meist nicht mehr beim Crawler, sondern beim Inhalt.
Ein Beispiel aus der Praxis
Ein Hotel an der Ostsee hat in der robots.txt nie etwas gegen OpenAI eingetragen und wundert sich, warum es in ChatGPT-Antworten zu Hotels in der Region nicht mit Link auftaucht. Ein Test mit dem User-Agent von OAI-SearchBot zeigt: Der Bot-Schutz des Hosting-Anbieters liefert eine Captcha-Seite aus. Nach einer Ausnahme für die veröffentlichten OpenAI-IP-Bereiche kann der Crawler die Seiten abrufen. Das Team beobachtet danach die Nennungen über feste Testfragen.
Die passende Leistung dazu: Technik für KI-Sichtbarkeit: Crawler, Schema, llms.txt →
Fragen, die dazu oft kommen
Muss ich OAI-SearchBot und ChatGPT-User beide zulassen?
Für die Suche ist OAI-SearchBot entscheidend. ChatGPT-User ruft Seiten ab, wenn Nutzer das auslösen, und laut OpenAI gelten robots.txt-Regeln dafür möglicherweise nicht. Wichtig ist vor allem, dass keine Firewall-Regel diese Abrufe blockiert.
Wie lange dauert es, bis eine Freigabe wirkt?
OpenAI nennt für Änderungen an der robots.txt rund 24 Stunden, bis die Systeme sie berücksichtigen. Bis Seiten tatsächlich gecrawlt und in Antworten zitiert werden, kann es länger dauern, einen garantierten Zeitraum gibt es nicht.
Erscheine ich nach einer Sperre gar nicht mehr in ChatGPT?
Nicht in den Suchantworten mit Quellenangabe. Laut OpenAI kann eine ausgeschlossene Seite aber weiterhin als Navigationslink auftauchen, etwa wenn jemand gezielt nach deiner Marke fragt. Das Modellwissen aus früheren Trainings bleibt davon ohnehin unberührt.
Das hängt damit zusammen
Quellen: OpenAI: Overview of OpenAI Crawlers (Stand September 2026)
Wo Anbieter einen Begriff unterschiedlich verwenden, nennen wir beide Lesarten. Einen Fehler gefunden? Schreib uns, wir korrigieren ihn. Zurück zum Glossar
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.