Crawler
Googlebot
Kurz gesagt: Googlebot ist der Crawler, mit dem Google Webseiten für den Suchindex abruft und rendert — seit der Umstellung auf Mobile-First-Indexierung vor allem in der Smartphone-Variante.
Googlebot kurz erklärt
Googlebot ist der Oberbegriff für zwei Crawler: Googlebot Smartphone, der ein Mobilgerät simuliert, und Googlebot Desktop. Google verwendet für Indexierung und Ranking die mobile Version einer Seite, abgerufen mit dem Smartphone-Agenten; im Oktober 2023 meldete Google den Abschluss dieser Umstellung. Neben Googlebot betreibt Google weitere Crawler, etwa für Bilder, Videos und News, sowie nutzerausgelöste Fetcher. Abzugrenzen ist Googlebot von Google-Extended, das kein Crawler ist, sondern nur die Nutzung der abgerufenen Inhalte für Gemini regelt.
Was du dazu wissen solltest
Der Ablauf hat laut Google drei Phasen: Crawling, Rendering, Indexierung. Googlebot prüft zuerst die robots.txt, ruft die URL ab und reiht die Seite anschließend zum Rendern ein, bei dem JavaScript mit einer aktuellen Chromium-Version ausgeführt wird. Zwischen Abruf und Rendering kann Zeit vergehen, und von außen ist nicht erkennbar, in welcher Warteschlange eine Seite gerade steckt. Inhalte, die erst clientseitig entstehen, landen deshalb in der Regel später im Index als solche, die direkt im HTML stehen. Was die Seite nach dem Rendern enthält, zeigt die URL-Prüfung in der Search Console.
Zwei Grenzen werden regelmäßig unterschätzt. Die erste ist die Dateigröße: Laut Doku verarbeitet Googlebot für die Suche die ersten 2 MB einer unterstützten Datei, bei PDFs die ersten 64 MB, gemessen am unkomprimierten Inhalt. Eingebundene CSS- und JavaScript-Dateien werden separat abgerufen und unterliegen jeweils derselben Grenze. Bei aufgeblähten Seiten mit Inline-Code kann Text am Ende schlicht abgeschnitten werden. Die zweite ist das Crawl-Budget. Google nennt als Zielgruppe für das Thema Websites mit mehr als einer Million Seiten oder ab etwa 10.000 Seiten mit täglich wechselnden Inhalten. Kleinere Websites müssen sich darum selten sorgen.
Eine dritte Falle ist die Identität. Der User-Agent-String „Googlebot“ wird laut Google häufig von anderen Crawlern gefälscht. Wer Zugriffe prüfen oder Firewall-Regeln bauen will, sollte die Quell-IP per Reverse-DNS-Abfrage oder mit den veröffentlichten IP-Bereichen abgleichen, statt dem Namen zu vertrauen. Im Normalbetrieb greift Googlebot laut Doku im Schnitt nicht öfter als alle paar Sekunden auf eine Website zu.
Für die KI-Sichtbarkeit ist Googlebot aus einem anderen Grund wichtig. Laut einer Auswertung von Vercel und MERJ aus dem Dezember 2024 nutzt Gemini die Infrastruktur von Googlebot und kann deshalb JavaScript vollständig rendern. Die Crawler von OpenAI, Anthropic und Perplexity taten das in derselben Untersuchung nicht. Eine Seite, die bei Google gut funktioniert, kann für andere KI-Crawler trotzdem leer sein. Wer auf serverseitig ausgeliefertes HTML setzt, deckt beide Welten ab. Dieser Abgleich ist ein Kernstück technischer GEO-Technik.
Ein Beispiel aus der Praxis
Ein Onlineshop für Outdoor-Ausrüstung lädt Produktbeschreibungen und Kundenfragen per JavaScript aus einer Schnittstelle nach. In der URL-Prüfung der Search Console erscheinen die Texte im gerenderten HTML, Google indexiert sie also, wenn auch mit Verzögerung. Ein Abruf des rohen Quelltexts ohne JavaScript zeigt dagegen nur Navigation und Preis. Genau diese Fassung sehen die meisten KI-Crawler. Der Shop stellt die Beschreibungen daraufhin auf serverseitige Auslieferung um.
In der Praxis setzen wir das so um: Technik für KI-Sichtbarkeit: Crawler, Schema, llms.txt →
Häufige Fragen zu Googlebot
Wie prüfe ich, was Googlebot von meiner Seite sieht?
Mit der URL-Prüfung in der Google Search Console. Sie zeigt das gerenderte HTML, einen Screenshot und geladene Ressourcen. Zum Vergleich hilft ein Abruf des rohen Quelltexts ohne JavaScript, denn so sehen die meisten KI-Crawler die Seite.
Rendern KI-Crawler JavaScript wie Googlebot?
Überwiegend nicht. Eine Auswertung von Vercel und MERJ aus dem Dezember 2024 fand bei den Crawlern von OpenAI, Anthropic und Perplexity keine JavaScript-Ausführung, bei Gemini über die Googlebot-Infrastruktur dagegen schon. Wichtige Inhalte gehören deshalb ins ausgelieferte HTML.
Wie erkenne ich einen gefälschten Googlebot?
Über die Quell-IP. Google empfiehlt eine Reverse-DNS-Abfrage der Quell-IP oder den Abgleich mit den veröffentlichten IP-Bereichen. Der User-Agent-Name allein beweist nichts, weil er häufig von anderen Crawlern kopiert wird.
Wie viel einer Seite liest Googlebot?
Laut Google-Doku die ersten 2 MB einer unterstützten Datei, bei PDFs die ersten 64 MB, jeweils unkomprimiert gerechnet. Eingebundene Ressourcen wie CSS und JavaScript werden separat abgerufen und haben jeweils dieselbe Grenze. Stand September 2026.
Das hängt damit zusammen
Quellen: Google Search Central: Googlebot (Stand September 2026) · Google Search Central: Understand JavaScript SEO basics (Stand September 2026) · Vercel/MERJ: The rise of the AI crawler (17.12.2024) (Stand September 2026)
Wo Anbieter einen Begriff unterschiedlich verwenden, nennen wir beide Lesarten. Einen Fehler gefunden? Schreib uns, wir korrigieren ihn. Zurück zum Glossar
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.