KI-Crawler, Schema Markup, llms.txt: die Technik, damit KI-Systeme reinkommen

Woran es in der Praxis meistens scheitert

Wir sehen regelmäßig Websites, die seit Monaten für OAI-SearchBot oder PerplexityBot nicht erreichbar sind. Nicht wegen einer bewussten Entscheidung, sondern weil ein Bot-Schutz im Hosting oder CDN unbekannte User-Agents blockiert. Die robots.txt erlaubt alles, die Firewall davor lässt trotzdem niemanden durch. Der Betreiber wundert sich über fehlende Nennungen, während im Log seit einem halben Jahr 403er stehen.

Das Problem ist dokumentiert: OpenAI und Perplexity veröffentlichen für ihre Crawler nicht nur die User-Agent-Strings, sondern auch IP-Listen als JSON-Datei. Perplexity empfiehlt in seiner Dokumentation ausdrücklich, Firewall-Regeln aus User-Agent und IP-Adresse zu kombinieren und diese Anfragen gezielt durchzulassen. Wer nur auf den User-Agent schaut, lässt Fälschungen durch. Wer nur blockt, sperrt die Echten aus.

Der zweite Klassiker ist Rendering. Googlebot führt clientseitigen Code aus, wenn auch mit Verzögerung. Bei KI-Crawlern sehen wir in Abruf-Tests regelmäßig, dass nur das ausgelieferte HTML ankommt. Was erst nach dem Laden im Browser erscheint, ist für sie schlicht nicht vorhanden. Deshalb gehört der wesentliche Inhalt serverseitig ins HTML.

Welche Crawler du unterscheiden solltest

„KI-Crawler“ ist keine einheitliche Gruppe. Die Anbieter trennen selbst zwischen Bots für Training, für den Suchindex und für Abrufe, die ein Nutzer auslöst. Für die Sichtbarkeit in Antworten sind vor allem die beiden letzten wichtig.

Stand der Angaben: September 2026, laut Dokumentation von OpenAI, Perplexity und Google. Die Bot-Namen ändern sich gelegentlich, deshalb prüfen wir vor jeder Umsetzung neu.

So läuft es ab

1. 1

   Technik-Check

   im GEO-Audit, 2–3 Wochen

   Wir rufen deine wichtigsten Seiten mit den echten User-Agent-Strings ab, vergleichen die Antworten mit einem normalen Browser-Abruf, lesen robots.txt, Sitemaps und Statuscodes und prüfen, welcher Inhalt ohne Rendering im HTML steht. Wenn du Server- oder CDN-Logs bereitstellst, werten wir die Zugriffe der Bots aus.

2. 2

   Crawler-Politik festlegen

   Gemeinsam mit dir: Welche Bots sollen rein, welche nicht? Training sperren und Suche erlauben ist eine legitime Entscheidung, pauschal alles sperren fast nie. Das Ergebnis halten wir schriftlich fest, damit es beim nächsten Hosting-Wechsel nicht verloren geht.

3. 3

   Umsetzung

   in der Aufbauphase, 4–8 Wochen

   robots.txt, Firewall-Regeln, Auslieferung der Kerninhalte im HTML, strukturierte Daten, Sitemaps, IndexNow und llms.txt. Mit Zugang setzen wir selbst um, sonst bekommt deine Entwicklung oder dein Hoster eine konkrete Anleitung.

4. 4

   Nachtest und Kontrolle

   danach monatlich

   Nach der Umsetzung wiederholen wir den Abruf-Test. In der laufenden Betreuung kontrollieren wir monatlich, ob Updates, Plugins oder CDN-Änderungen den Zugang wieder geschlossen haben. Das passiert häufiger, als man denkt.

Was du konkret bekommst

• Prüfprotokoll je User-Agent: HTTP-Status, Weiterleitungen, sichtbarer Inhalt, Abweichung zum Browser.
• Priorisierte Befundliste mit Aufwand und Zuständigkeit (wir, deine Entwicklung, dein Hoster).
• robots.txt-Entwurf nach Zweck der Bots getrennt, mit Kommentar zu jeder Regel.
• Regelvorschlag für Firewall oder CDN auf Basis der veröffentlichten IP-Listen und User-Agent-Strings.
• Schema Markup als JSON-LD-Graph: Organization, Person, Service, FAQ und DefinedTerm, über @id verknüpft statt als isolierte Blöcke.
• llms.txt nach dem Format von llmstxt.org, abgestimmt auf deine wichtigsten Seiten.
• Nachtest-Protokoll nach der Umsetzung.

Muster: Auszug aus einem Prüfprotokoll

So dokumentieren wir den Crawler-Check. Muster, keine echten Kundendaten.

Einen ersten Schnelltest kannst du selbst machen: Unter Werkzeuge findest du einen Crawler-Check und einen llms.txt-Generator.

llms.txt umsetzen – mit realistischer Erwartung

Die llms.txt ist ein Vorschlag von Jeremy Howard aus dem Jahr 2024: eine Markdown-Datei, in der eine H1 mit dem Namen der Website Pflicht ist, danach optional eine Kurzbeschreibung und Linklisten zu den wichtigsten Seiten. Wir schreiben sie so, dass sie auf die Seiten verweist, die eine Frage vollständig beantworten, nicht auf alles.

Ehrlich: Es gibt keinen Beleg dafür, dass die Datei die Sichtbarkeit erhöht. Google schreibt in seiner Dokumentation zu AI Overviews und AI Mode, dass du dafür keine neuen maschinenlesbaren Dateien, keine KI-Textdateien und kein spezielles Markup brauchst. Von den anderen Anbietern gibt es keine dokumentierte Zusage. Wir legen sie trotzdem an, weil sie wenig kostet und nicht schadet. Als Maßnahme mit erwartbarer Wirkung verkaufen wir sie nicht.

Schema Markup: wofür es gut ist und wofür nicht

Dieselbe Google-Seite sagt auch: Für AI Overviews gibt es kein spezielles schema.org-Markup, das du ergänzen musst. Warum wir strukturierte Daten trotzdem sorgfältig bauen: Sie sagen eindeutig, wer hinter der Website steht, welche Leistungen angeboten werden und wer welchen Text verantwortet. Diese Zuordnung von Entitäten ist der Teil, den wir für KI-Systeme für relevant halten, nicht das Sternchen im Suchergebnis. Deshalb ein verknüpfter Graph statt einzelner Snippets aus einem Plugin.

Was wir von dir brauchen

• Für den Check: nur die öffentliche Website. Logs aus Server oder CDN machen ihn deutlich genauer.
• Für die Umsetzung: Zugang zum CMS, zur Search Console und zu den Firewall- oder CDN-Einstellungen, alternativ eine Ansprechperson bei Entwicklung oder Hoster.
• Deine Entscheidung, ob Trainings-Crawler Zugriff haben sollen.

Was die Technik nicht leistet

Technik öffnet die Tür, sie sorgt nicht dafür, dass jemand hereinkommt. Eine perfekt erreichbare Seite ohne zitierfähigen Inhalt wird nicht genannt. Und robots.txt ist laut Standard RFC 9309 keine Zugriffskontrolle: Seriöse Crawler halten sich daran, erzwingen lässt sich damit nichts. Wer Bots wirklich aussperren will, braucht Regeln in Firewall oder Server. Auch nach der Umsetzung gilt: keine Garantie auf Nennung, und eine Veränderung bewerten wir erst über mindestens drei Messungen.

Aufwand und Kosten

Der Technik-Check ist Teil des GEO-Audits (1.900–3.400 € netto, 2–3 Wochen, Festpreis). Die Umsetzung gehört zur Aufbauphase (5.000–20.000 € netto, 4–8 Wochen); wie viel davon auf Technik entfällt, hängt davon ab, wie viel zu tun ist. Die monatliche Kontrolle läuft in der Betreuung ab 1.500 € im Monat netto mit. Details auf der Seite Preise.

Verwandte Begriffe

KI-Crawler · robots.txt · KI-Crawler blockieren · Bot-Management · JSON-LD · schema.org · DefinedTerm · HTTP-Statuscode

Weiterlesen

• Ratgeber: GEO-Optimierung: Anleitung
• Ratgeber: Strukturierte Daten für die KI-Suche
• Leistung: GEO-Audit – der Technik-Check ist dort enthalten

Quellen

Stand: September 2026

• OpenAI: Overview of OpenAI Crawlers – Zweck von OAI-SearchBot, GPTBot und ChatGPT-User, User-Agents, IP-Listen, eingeschränkte Geltung von robots.txt für ChatGPT-User
• Perplexity: Perplexity Crawlers – PerplexityBot und Perplexity-User, IP-Listen, Empfehlung zu Firewall-Regeln aus User-Agent und IP
• Google Search Central: AI features and your website – keine KI-Textdateien und kein spezielles Schema für AI Overviews nötig
• Google Search Central: Google Common Crawlers – Google-Extended steuert Training und Grounding für Gemini, ohne Einfluss auf die Google-Suche
• IETF: RFC 9309 – Robots Exclusion Protocol – robots.txt ist keine Zugriffsautorisierung
• llmstxt.org: The /llms.txt file – Vorschlag von Jeremy Howard, Aufbau der Datei