Crawler
PerplexityBot
Kurz gesagt: PerplexityBot ist der Crawler, mit dem die KI-Suchmaschine Perplexity Websites für ihre Suchergebnisse erfasst; für Abrufe während einer Nutzerfrage nutzt sie den separaten Agenten Perplexity-User.
Was ist mit PerplexityBot gemeint?
Perplexity ist eine KI-Suchmaschine des gleichnamigen US-Unternehmens, die Antworten mit nummerierten Quellenlinks ausgibt. Das Unternehmen dokumentiert zwei Agenten. PerplexityBot soll laut Doku Websites in den Suchergebnissen auffinden und verlinken und wird nicht zum Crawlen für das Training von KI-Grundlagenmodellen genutzt. Perplexity-User besucht Seiten, wenn Nutzer eine Frage stellen, und ignoriert robots.txt-Regeln nach eigener Aussage in der Regel, weil ein Mensch den Abruf veranlasst hat. Einen eigenen Trainings-Crawler wie OpenAIs GPTBot führt die Doku nicht auf.
Warum das für deine KI-Sichtbarkeit zählt
Für Websites, die in Perplexity zitiert werden wollen, empfiehlt der Anbieter zweierlei: PerplexityBot in der robots.txt zulassen und Anfragen aus den veröffentlichten IP-Bereichen erlauben. Für beide Agenten stellt Perplexity eigene JSON-Dateien mit IP-Adressen bereit und rät, Firewall-Regeln stets aus User-Agent und IP-Bereich zu kombinieren. Wer nur auf den Namen prüft, lässt auch Nachahmer durch. Wer nur auf IPs prüft, muss die Listen regelmäßig aktualisieren, weil sie sich ändern.
Um das Verhalten von Perplexity gab es wiederholt Streit. Im August 2025 warf der CDN-Anbieter Cloudflare dem Unternehmen vor, bei gesperrten Websites nicht deklarierte Crawler einzusetzen: Die Zugriffe hätten ihren User-Agent als gewöhnlichen Browser getarnt, IP-Adressen über verschiedene Netzbetreiber gewechselt und robots.txt-Dateien ignoriert oder gar nicht abgerufen. Cloudflare nahm Perplexity daraufhin aus seinem Programm verifizierter Bots. Perplexity bestritt die Darstellung und argumentierte, nutzergesteuerte Assistenten seien etwas anderes als klassische Crawler. Die Debatte ist ein gutes Beispiel dafür, dass robots.txt eine Konvention ist und kein technischer Schutz.
Wer Perplexity bewusst aussperren will, braucht deshalb mehr als einen robots.txt-Eintrag. Wirksam sind nur Regeln im Bot-Management des Servers oder CDN, und selbst die erfassen nicht jeden verdeckten Zugriff. Für die meisten Unternehmen stellt sich die Frage umgekehrt: Kommen die Bots überhaupt durch? Strenge Standardregeln mancher Hosting-Anbieter blockieren beide Agenten, ohne dass es jemand bemerkt.
Aus GEO-Sicht ist Perplexity das System, in dem sich Maßnahmen besonders gut beobachten lassen, weil jede Antwort ihre Quellen offen ausweist. Im Server-Log zeigt sich die Arbeitsteilung: PerplexityBot besucht Seiten regelmäßig und breit verteilt, Perplexity-User dagegen punktuell, wenn jemand eine passende Frage gestellt hat. Solche Einzelabrufe sind ein direkter Hinweis darauf, dass eine Seite gerade als Quelle geprüft wurde. Wie sich die Nutzung anschließend als KI-Referral-Traffic niederschlägt, zeigt die Webanalyse. Mehr zum System selbst steht im Verzeichniseintrag zu Perplexity.
Praxisbeispiel
Ein Fachhändler für Imkereibedarf filtert sein Server-Log nach den beiden Perplexity-Agenten. PerplexityBot taucht regelmäßig auf und ruft Kategorie- und Ratgeberseiten ab. Perplexity-User erscheint dagegen vereinzelt, meist auf der Seite zur Varroa-Behandlung im Spätsommer. Das Team gleicht die Zugriffe mit den veröffentlichten IP-Listen ab und stellt Perplexity danach gezielt Fragen zu diesem Thema, um zu sehen, in welchem Zusammenhang die Seite zitiert wird.
Wenn du das nicht selbst aufbauen willst: Technik für KI-Sichtbarkeit: Crawler, Schema, llms.txt →
Was oft gefragt wird
Nutzt Perplexity meine Inhalte für das Training von KI-Modellen?
Laut Perplexity-Dokumentation nicht über diese beiden Agenten. PerplexityBot dient der Suche, Perplexity-User den Abrufen bei Nutzerfragen, und für beide schreibt Perplexity, dass sie nicht zum Sammeln von Trainingsdaten für KI-Grundlagenmodelle dienen.
Hält sich Perplexity an die robots.txt?
PerplexityBot respektiert sie laut Doku. Perplexity-User ignoriert robots.txt-Regeln in der Regel, weil ein Nutzer den Abruf veranlasst hat. Cloudflare warf Perplexity 2025 zudem verdeckte Zugriffe vor, was Perplexity bestritt. Eine verlässliche Sperre erfordert Serverregeln.
Wie sehe ich, welche Seiten Perplexity abruft?
Im Server-Log nach den User-Agents PerplexityBot und Perplexity-User filtern und die Quell-IPs mit den veröffentlichten JSON-Listen abgleichen. Punktuelle Abrufe von Perplexity-User zeigen, dass eine Seite gerade für eine konkrete Nutzerfrage geprüft wurde.
Weiter im Glossar
Quellen: Perplexity Docs: Perplexity Crawlers (Stand September 2026) · Cloudflare Blog: Perplexity is using stealth, undeclared crawlers (04.08.2025) (Stand September 2026)
Dieser Eintrag beschreibt den Stand zum Prüfdatum. Hinweise auf Fehler oder neue Entwicklungen nehmen wir gern per E-Mail entgegen. Zurück zum Glossar
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.