Crawler
Google-Extended
Kurz gesagt: Google-Extended ist kein eigener Crawler, sondern ein Produkt-Token für die robots.txt, mit dem du steuerst, ob Google deine Inhalte für Gemini-Training und Grounding in Gemini-Produkten nutzen darf.
Google-Extended: die Kurzfassung
Google stellte Google-Extended am 28. September 2023 vor, damals für Bard und die generativen APIs von Vertex AI. Laut aktueller Doku regelt das Token, ob gecrawlte Inhalte für das Training künftiger Gemini-Modelle in Gemini Apps und der Vertex AI API genutzt werden und ob sie für Grounding in Gemini Apps sowie „Grounding with Google Search“ auf Vertex AI dienen. Google-Extended hat keinen eigenen User-Agent-String, beeinflusst nicht die Aufnahme in die Google-Suche und ist kein Rankingsignal. AI Overviews und AI Mode steuert es nicht.
Was du dazu wissen solltest
Die Konstruktion ist ungewöhnlich und führt deshalb oft zu Fehlern. Gecrawlt wird mit den normalen Google-User-Agents, Google-Extended taucht in keinem Server-Log auf. Die Regel greift erst bei der Frage, wofür die bereits abgerufenen Inhalte verwendet werden dürfen. Wer also in der Firewall nach Google-Extended sucht oder es per IP sperren will, findet nichts. Die Steuerung funktioniert ausschließlich über einen Block in der robots.txt, zum Beispiel User-agent: Google-Extended mit Disallow: /.
Der eigentliche Streitpunkt liegt woanders. Viele Betreiber wollen verhindern, dass ihre Inhalte in AI Overviews oder AI Mode zusammengefasst werden. Dafür ist Google-Extended das falsche Werkzeug. Google verweist für die KI-Funktionen der Suche auf die bekannten Snippet-Regeln: nosnippet, data-nosnippet, max-snippet und noindex. Jede dieser Regeln beschneidet aber zugleich die normale Darstellung in der Suche. Seit dem 31. August 2026 gibt es zusätzlich eine Einstellung in der Search Console, mit der sich eine ganze Website aus AI Overviews, AI Mode und den KI-Funktionen in Discover ausschließen lässt – unabhängig von Google-Extended und ohne die klassischen Snippets abzuschalten.
Die Begriffe haben sich zudem verschoben. 2023 hieß der Chatbot noch Bard, heute laufen die Produkte unter der Marke Gemini. Google präzisierte die Beschreibung des Tokens im April 2025. Neu ist dabei vor allem die ausdrückliche Nennung von Grounding, also dem Einspielen von Suchergebnissen in die Modellantwort zur Laufzeit. Wer Google-Extended sperrt, verzichtet damit nicht nur auf Trainingsnutzung, sondern auch auf diese Form der Belegung in Gemini Apps.
Für die Entscheidung hilft eine nüchterne Abwägung. Verlage und Anbieter kostenpflichtiger Inhalte sperren häufig, weil sie ihre Texte nicht als Trainingsmaterial hergeben wollen. Für ein Unternehmen, das in KI-Antworten genannt werden will, spricht wenig dafür: Die Sperre verhindert, dass eigene Inhalte in Gemini-Wissen und Gemini-Antworten einfließen, schützt aber nichts, was kommerziell relevant wäre, und ändert an der Präsenz in AI Overviews nichts. Wer sich unsicher ist, prüft zuerst, was die eigene robots.txt heute tatsächlich sagt, oft steht dort ein Eintrag, den niemand mehr zuordnen kann.
An einem Fall erklärt
Ein Fachverlag für Medizinrecht sperrt Google-Extended, weil er seine kostenpflichtigen Kommentare nicht für Gemini-Training freigeben will. Seine Artikelvorschauen bleiben in der Google-Suche und in AI Overviews sichtbar, denn dafür gilt die Regel nicht. Um einzelne Absätze auch aus Snippets herauszuhalten, markiert die Redaktion diese zusätzlich mit data-nosnippet und nimmt in Kauf, dass sie dann auch in normalen Suchergebnissen nicht als Vorschau erscheinen.
In der Praxis setzen wir das so um: Technik für KI-Sichtbarkeit: Crawler, Schema, llms.txt →
Häufige Fragen zu Google-Extended
Schadet ein Disallow für Google-Extended meinem Ranking?
Nein. Google schreibt ausdrücklich, dass Google-Extended die Aufnahme in die Google-Suche nicht beeinflusst und kein Rankingsignal ist. Betroffen sind nur Training und Grounding in Gemini Apps und auf Vertex AI.
Warum sehe ich Google-Extended nicht im Server-Log?
Weil es keinen Bot mit diesem Namen gibt. Die Seiten werden von den üblichen Google-Crawlern abgerufen. Google-Extended ist nur ein Token in der robots.txt, das festlegt, wofür die abgerufenen Inhalte anschließend verwendet werden dürfen.
Kann ich mit Google-Extended AI Overviews verhindern?
Nein. Für AI Overviews und AI Mode gelten die Regeln der normalen Suche. Google nennt dafür nosnippet, data-nosnippet, max-snippet und noindex. Diese Regeln wirken auch auf die klassische Suchdarstellung. Für einen Ausschluss nur aus den KI-Funktionen gibt es seit 31.08.2026 eine Einstellung in der Search Console, die für die ganze Website gilt.
Begriffe im Umfeld
Quellen: Google Crawling Infrastructure: Google common crawlers (Google-Extended) (Stand September 2026) · Google Blog: An update on web publisher controls (28.09.2023) (Stand September 2026) · Google Search Central: AI features and your website (Stand September 2026)
Definitionen im Glossar sind redaktionell geprüft, ersetzen aber keine Beratung für deinen Einzelfall. Zurück zum Glossar
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.