Technik-Tools · Desktop-Crawler
Screaming Frog SEO Spider
Kurz gesagt: Der SEO Spider crawlt eine Website vom eigenen Rechner aus, auch mit dem User-Agent von KI-Crawlern, und deckt Statuscodes, Weiterleitungen, Canonicals, Metadaten und Fehler in strukturierten Daten auf.
- Anbieter
- Screaming Frog Ltd, Henley-on-Thames, Vereinigtes Königreich
- Typ
- Desktop-Crawler
- Preisrahmen
- kostenlos bis 500 URLs je Crawl; Lizenz 199 £ pro Nutzer und Jahr, Mengenrabatt ab 5 Lizenzen (Stand 09/2026)
Screaming Frog SEO Spider im Überblick
Screaming Frog ist ein Desktop-Crawler für Windows, macOS und Linux, aktuell in Version 24. Er ruft eine Domain wie ein Suchmaschinen-Bot ab und listet je URL Statuscode, Title, Description, Überschriften, Canonicals, Robots-Anweisungen, hreflang und strukturierte Daten. Laut Hersteller prüft er über 300 SEO-Probleme. Die Gratisversion crawlt bis zu 500 URLs; die Lizenz für 199 £ pro Nutzer und Jahr hebt die Grenze auf und schaltet JavaScript-Rendering, geplante Crawls, Crawl-Vergleiche, eigene Extraktion und Integrationen frei.
Für GEO ist der frei wählbare User-Agent das wichtigste Merkmal. Der Hersteller nennt ausdrücklich KI-Crawler als Option: Crawlst du mit dem String von GPTBot, OAI-SearchBot oder PerplexityBot, siehst du sofort, ob eine Firewall oder ein Bot-Schutz diesem Bot andere Antworten liefert als dem Googlebot. Das ist der schnellste Weg, eine unbemerkte Blockade der KI-Crawler zu finden. Dazu kommt die Validierung strukturierter Daten gegen schema.org und gegen Googles Rich-Result-Anforderungen über den gesamten Bestand.
Neuere Funktionen richten sich direkt an KI-Themen: Beim Crawlen lassen sich eigene Prompts an OpenAI, Gemini, Anthropic oder ein lokales Ollama-Modell schicken, etwa um Inhalte zu klassifizieren oder Embeddings zu erzeugen. Über Vektor-Embeddings erkennt der Crawler zudem semantisch ähnliche Seiten, was bei Kannibalisierung und dünnen Varianten hilft. Die API-Kosten der KI-Anbieter zahlst du separat.
Grenzen: Große Crawls brauchen viel Arbeitsspeicher oder den Datenbank-Speichermodus. Screaming Frog liefert keine Rankingdaten und kein Monitoring von KI-Nennungen. Die Bedienung ist funktional, aber nicht selbsterklärend und setzt Einarbeitung voraus. Die Lizenz ist ein Jahresabo und muss jährlich verlängert werden.
Die ehrliche Bilanz
Stärken
- Frei wählbarer User-Agent, ausdrücklich auch für KI-Crawler
- Vollständige technische Übersicht inklusive Schema-Validierung in einem Lauf
- KI-Integration mit OpenAI, Gemini, Anthropic und Ollama beim Crawlen
- Gratisversion für bis zu 500 URLs, Lizenz mit 199 £ pro Jahr vergleichsweise günstig
Schwächen
- Lokale Anwendung, große Crawls brauchen viel Arbeitsspeicher
- Keine Rankingdaten und kein Monitoring von KI-Nennungen
- Viele Einstellungen, spürbare Einarbeitungszeit
- KI-Funktionen verursachen zusätzliche API-Kosten beim jeweiligen Anbieter
Eignung
Pflichtwerkzeug für alle, die technische Ursachen suchen, vor allem um zu prüfen, ob KI-Crawler die eigene Website abrufen dürfen und dieselben Inhalte sehen wie der Googlebot. Für kleine Websites reicht die Gratisversion. Wer ein gehostetes Tool mit Monitoring und Teamzugang sucht, greift eher zu Sitebulb oder einer Cloud-Suite wie Seobility.
Häufige Fragen zu Screaming Frog SEO Spider
Wie teste ich damit den Zugriff von KI-Crawlern?
Unter Configuration > User-Agent wählst du einen KI-Crawler aus der Liste oder hinterlegst den String des Bots, etwa GPTBot oder PerplexityBot, und crawlst erneut. Abweichende Statuscodes, Weiterleitungen oder leere Seiten gegenüber dem Googlebot-Crawl deuten auf eine Blockade hin.
Was kostet Screaming Frog?
Die Gratisversion crawlt bis zu 500 URLs je Crawl. Die Lizenz kostet 199 £ pro Nutzer und Jahr, ab fünf Lizenzen sinkt der Preis gestaffelt bis auf 169 £. Die Lizenz gilt ein Jahr und muss danach verlängert werden.
Welche KI-Funktionen hat der SEO Spider?
Beim Crawlen lassen sich eigene Prompts an OpenAI, Gemini, Anthropic oder Ollama senden, etwa zur Klassifizierung oder für Embeddings. Zudem erkennt der Crawler semantisch ähnliche Seiten über Vektor-Embeddings. Die API-Kosten der KI-Anbieter kommen hinzu.
Alternativen in derselben Kategorie
Quellen: Screaming Frog: SEO Spider (Stand September 2026) · Screaming Frog: Pricing (Stand September 2026)
Kein Affiliate-Eintrag: Die Einordnung ist redaktionell, ohne Gegenleistung des Anbieters. Zurück zum Verzeichnis
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.