Technik
Meta-Robots-Tag
Kurz gesagt: Das Meta-Robots-Tag ist eine Anweisung im head einer HTML-Seite, die Suchmaschinen sagt, ob die Seite indexiert werden darf und wie Snippets und Vorschauen aussehen dürfen.
Meta-Robots-Tag kurz erklärt
Das Meta-Robots-Tag steht als meta-Element mit name="robots" und dem Attribut content im head und gilt für die einzelne Seite. Die wichtigsten Werte sind noindex, nofollow, nosnippet, max-snippet, max-image-preview, max-video-preview, noimageindex, unavailable_after und indexifembedded. Dieselben Regeln lassen sich als X-Robots-Tag im HTTP-Header senden, bei PDFs und Bildern ist das der einzige Weg. Im Unterschied zur robots.txt steuert das Tag nicht das Crawling, sondern Indexierung und Darstellung, und es wirkt nur, wenn der Crawler die Seite abrufen darf.
So funktioniert es in der Praxis
Der wichtigste Zusammenhang wird oft falsch umgesetzt. Google liest Meta-Robots-Regeln nur beim Crawlen. Ist eine URL per robots.txt gesperrt, bleibt das noindex unsichtbar, und die Adresse kann trotzdem im Index auftauchen, wenn andere Seiten auf sie verlinken. Wer eine Seite aus dem Index holen will, lässt das Crawling zu und setzt noindex. Bei widersprüchlichen Angaben greift laut Google die restriktivere: Stehen max-snippet:50 und nosnippet auf derselben Seite, gilt nosnippet. Für den Abschnittsschutz innerhalb einer Seite gibt es das HTML-Attribut data-nosnippet.
Für die KI-Suche bei Google ist die Snippet-Steuerung zentral. Google schreibt, dass nosnippet für alle Suchoberflächen gilt, ausdrücklich auch für AI Overviews und AI Mode, und verhindert, dass der Inhalt als direkte Eingabe für diese Funktionen genutzt wird. max-snippet begrenzt die Länge. Der Haken: Beide Regeln treffen auch die klassische Ergebnisdarstellung. Eine Seite ohne Snippet ist in den normalen Treffern weniger attraktiv.
Seit August 2026 gibt es deshalb eine Alternative auf Website-Ebene. In der Search Console lässt sich unter „Search generative AI“ festlegen, ob Inhalte in AI Overviews, AI Mode und den KI-Funktionen von Discover erscheinen dürfen. Das trennt KI-Funktionen und klassische Treffer, allerdings nur für ganze Properties und nicht für einzelne Seiten. Wer seitengenau steuern will, bleibt beim Meta-Robots-Tag.
Einige Werte sind historisch. noarchive nutzt Google nicht mehr, weil es keinen Cache-Link mehr gibt; nositelinkssearchbox ist mit der Suchbox verschwunden. Andere Suchmaschinen und KI-Crawler werten Meta-Robots-Regeln unterschiedlich aus. Welche Werte ein Anbieter beachtet, steht nur in dessen eigener Dokumentation. Prüfen lässt sich die eigene Umsetzung mit der URL-Prüfung der Search Console, die zeigt, was Googlebot tatsächlich gesehen hat.
Praxisbeispiel
Ein Stellenportal zeigt abgelaufene Anzeigen noch einige Wochen als Archiv an. Statt sie per robots.txt zu sperren, setzt das Portal beim Ablauf die Regel unavailable_after mit dem Enddatum der Bewerbungsfrist in den X-Robots-Tag-Header. Die Seiten bleiben für Bewerber erreichbar, fallen aber nach dem Datum aus dem Google-Index. Die Filterseiten der internen Suche tragen noindex, bleiben aber crawlbar, damit Google die Anweisung überhaupt lesen kann.
In der Praxis setzen wir das so um: Technik für KI-Sichtbarkeit: Crawler, Schema, llms.txt →
Häufige Fragen zu Meta-Robots-Tag
noindex oder robots.txt — was nehme ich wann?
noindex, wenn eine Seite nicht im Index stehen soll. robots.txt, wenn ein Bereich gar nicht gecrawlt werden soll, etwa zur Entlastung des Servers. Beides auf derselben URL hebt sich auf: Die Sperre verhindert, dass Google das noindex liest, und die Adresse kann über Links trotzdem im Index erscheinen.
Verhindert nosnippet, dass meine Inhalte in AI Overviews landen?
Ja, laut Google gilt nosnippet für alle Suchoberflächen einschließlich AI Overviews und AI Mode und verhindert die Nutzung als direkte Eingabe. Es entfernt aber auch das Text-Snippet aus den normalen Treffern. Seit August 2026 bietet die Search Console zusätzlich eine websiteweite Einstellung nur für die KI-Funktionen.
Ist nofollow im Meta-Tag sinnvoll?
Selten. Das Meta-nofollow weist an, keinem Link auf der Seite zu folgen, und schwächt damit auch die interne Verlinkung. In den meisten Fällen will man noindex, follow: Die Seite verschwindet aus dem Index, ihre Links bleiben nutzbar. Für einzelne Links gibt es das rel-Attribut.
Beachten KI-Crawler das Meta-Robots-Tag?
Das ist je Anbieter verschieden und oft nicht dokumentiert. OpenAI, Anthropic und Perplexity beschreiben ihre Steuerung über robots.txt; zu Meta-Robots-Werten äußern sie sich kaum. Verlässlich dokumentiert ist die Wirkung nur für Google. Für andere Systeme ist die robots.txt der gesicherte Weg.
Weiter im Glossar
Quellen: Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag specifications (Stand September 2026) · Search Console-Hilfe: Search generative AI control (Stand September 2026)
Dieser Eintrag beschreibt den Stand zum Prüfdatum. Hinweise auf Fehler oder neue Entwicklungen nehmen wir gern per E-Mail entgegen. Zurück zum Glossar
Wirst du in KI-Antworten genannt?30 Minuten, kostenlos, mit ehrlicher Einschätzung.
Reden wir 30 Minuten darüber
Kostenlos, unverbindlich und mit einer ehrlichen Einschätzung, ob sich GEO bei dir gerade lohnt.