noindex ist die Anweisung an Suchmaschinen, eine Seite nicht in den Index aufzunehmen. Sie steht entweder als Meta-Tag im <head> der Seite oder als X-Robots-Tag im HTTP-Header, und sie wirkt erst, wenn Google die Seite das nächste Mal abruft. Genau daraus entsteht der teuerste Fehler beim Thema: Wer die URL zusätzlich in der robots.txt sperrt, sorgt dafür, dass die Anweisung nie gelesen wird.
Die zweite Fehlerquelle ist die Werkzeugwahl. noindex, ein Disallow in der robots.txt und ein Canonical beantworten drei verschiedene Fragen, werden aber ständig gegeneinander ausgetauscht. Wir fangen deshalb mit der Abgrenzung an, danach kommen das Tag selbst, die Klassiker aus Audits und die Frage, welche Seitentypen überhaupt aus dem Index gehören.
noindex, Disallow und canonical lösen drei verschiedene Probleme
Alle drei Anweisungen reduzieren am Ende, was in den Suchergebnissen auftaucht. Der Weg dorthin ist ein völlig anderer, und deshalb sind sie nicht austauschbar.
- noindex. Der Crawler darf die Seite abrufen, sie soll aber nicht in den Index. Richtig, wenn eine Seite existieren und funktionieren muss, aber niemand sie über Google finden soll.
- Disallow in der robots.txt. Der Crawler darf die URL gar nicht erst abrufen. Richtig, wenn Sie Crawl-Aufwand sparen wollen, etwa bei endlosen Filterpfaden oder internen Skripten. Eine gesperrte URL kann trotzdem in den Ergebnissen auftauchen, ohne Snippet, wenn andere Seiten darauf verlinken. Wie Sperren und Sitemap zusammenspielen, steht in unserem Beitrag zu Sitemap und robots.txt im Zusammenspiel.
- Canonical. Zwei URLs zeigen praktisch denselben Inhalt, und eine davon soll die Rankingsignale bekommen. Der Canonical bündelt, er entfernt nichts. Welche Varianten das betrifft und wie das Tag aussieht, haben wir unter Canonical Tags korrekt setzen beschrieben.
Die Faustregel dahinter ist kurz: Soll eine Seite verschwinden, nehmen Sie noindex. Soll sie nur keinen Crawl-Aufwand verursachen, nehmen Sie Disallow. Sind zwei Seiten dasselbe, nehmen Sie den Canonical. Und wer den Unterschied kennt, spart sich fast alle Fehler weiter unten.
Seit dem 1. September 2019 ignoriert Google die Zeile „Noindex" in der robots.txt vollständig, sie wurde vorher inoffiziell unterstützt. In alten Anleitungen steht sie trotzdem noch. Wer sie heute einsetzt, hat schlicht keine Anweisung gesetzt.
So setzen Sie noindex: Meta-Tag und HTTP-Header
Für HTML-Seiten ist das Meta-Tag der Normalfall. Es gehört in den <head>, nicht in den Body, sonst wird es nicht sicher ausgewertet:
<head>
<meta name="robots" content="noindex, follow">
</head>Das follow ist bewusst gesetzt. Google soll die Links auf der Seite weiterhin verfolgen, nur die Seite selbst nicht indexieren. Mit noindex, nofollow kappen Sie zusätzlich die internen Wege, die von dieser Seite ausgehen. Das ist selten gewollt. Die Details zu allen Werten dokumentiert Google im Leitfaden zum robots-Meta-Tag.
Wenn nur eine bestimmte Suchmaschine gemeint ist, ersetzen Sie robots durch den Namen des Crawlers, etwa googlebot. In der Praxis brauchen Sie das fast nie.
Der zweite Weg läuft über den HTTP-Header. Er ist der einzige, der bei Dateien funktioniert, die keinen HTML-Kopf haben: PDFs, Bilder, Downloads, XML-Dateien. Der Server sendet dann zusätzlich zur Datei eine Zeile mit:
X-Robots-Tag: noindexIn einer Apache-Konfiguration sieht das für alle PDFs so aus:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch>Unter nginx erledigt das ein Block in der Server-Konfiguration:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex";
}Praxis-Tipp: Prüfen Sie den Header direkt auf der Kommandozeile mit curl -I https://ihredomain.de/datei.pdf. Kommt dort keine Zeile mit X-Robots-Tag zurück, greift die Regel nicht, egal was in der Konfigurationsdatei steht. Bei HTML-Seiten reicht ein Blick in den Quelltext, aber achten Sie darauf, dass das Tag im gerenderten HTML steht und nicht erst per JavaScript nachgeladen wird.
Die fünf Fehler, die beim noindex am meisten kosten
Fehler 1: noindex und Disallow auf derselben URL. Das ist der Klassiker, und er blockiert sich selbst. Die robots.txt verbietet den Abruf, der Googlebot lädt die Seite deshalb nicht, und das noindex im Quelltext sieht er nie. Die URL bleibt im Index, oft mit dem Hinweis, dass keine Beschreibung verfügbar ist. Wer eine Seite entfernen will, muss das Crawlen erlauben und warten, bis Google die Seite abgeholt hat. Erst danach darf ein Disallow dazukommen, wenn überhaupt.
Fehler 2: noindex auf einer Seite mit Backlinks. Eine alte Ratgeberseite hat über Jahre Verweise von Fachportalen gesammelt, wird bei einem Relaunch als überflüssig eingestuft und auf noindex gesetzt. Der eingehende Linkwert verpufft damit weitgehend. Besser ist in diesem Fall eine 301-Weiterleitung auf die nächstpassende Seite oder ein Canonical, wenn der Inhalt woanders weiterlebt. Prüfen Sie vor jedem noindex, ob die URL externe Verweise trägt.
Fehler 3: das global gesetzte noindex. In WordPress steckt unter Einstellungen und Lesen der Haken „Suchmaschinen davon abhalten, diese Website zu indexieren". Auf der Entwicklungsumgebung ist er richtig. Nach dem Umzug auf die Live-Domain bleibt er regelmäßig stehen und macht die ganze Website unsichtbar. Aufgefallen ist das schon Wochen nach dem Start, weil niemand nachgesehen hat. Welche Schalter in WordPress sonst noch in die Indexierung eingreifen, steht in unserer Übersicht zur Indexierungssteuerung in WordPress.
Fehler 4: noindex und Canonical gemeinsam auf einer Seite. Die eine Anweisung sagt „nimm mich nicht auf", die andere sagt „bewerte mich als Variante von Seite B". Das ist ein widersprüchliches Signal, und Google entscheidet dann selbst, welchem es folgt. Meistens nicht so, wie gedacht: Im schlechteren Fall wandert das noindex über den Canonical auf das eigentliche Ziel. Entscheiden Sie sich für eines von beiden.
Fehler 5: die Erwartung, dass es sofort wirkt. Ein noindex greift erst beim nächsten Crawl. Bei einer Seite, die täglich besucht wird, kann das ein Tag sein. Bei einer alten Unterseite ohne interne Verlinkung vergehen nach unserer Erfahrung schnell vier bis acht Wochen. Wer am Freitag das Tag setzt und am Montag flucht, hat nichts falsch gemacht, sondern nur zu früh geschaut.
Was auf noindex gehört und was nicht
Sinnvoll ist die Anweisung überall dort, wo eine Seite für Nutzer gebraucht wird, für den Sucheinstieg aber wertlos oder störend ist. Danke-Seiten nach einem Formular gehören dazu, sonst landen Besucher über Google direkt in der Bestätigung, ohne je das Formular gesehen zu haben. Ebenso interne Suchergebnisseiten, dünne Filter- und Sortierkombinationen, Druckansichten sowie Warenkorb- und Login-Seiten.
Bei Filtern lohnt ein Blick auf die Größenordnung. Vier Filter mit je fünf Werten ergeben rechnerisch 1.296 URL-Varianten, und die allermeisten davon sind für die Suche uninteressant. Hier ist die Kombination üblich: Die wenigen nachgefragten Kombinationen bleiben indexierbar, der Rest bekommt noindex, und wirklich uferlose Parameterpfade werden zusätzlich per robots.txt gesperrt, allerdings erst, nachdem sie aus dem Index verschwunden sind.
Nicht auf noindex gehören dagegen Kategorie- und Übersichtsseiten. Sie sind für viele Shops und Blogs die stärksten Einstiegsseiten überhaupt, und sie verteilen die interne Linkkraft. Genauso wenig gehören paginierte Seiten aus dem Index. Wir halten den verbreiteten Reflex, Seite 2 und alles danach auf noindex zu setzen, für einen der schädlichsten Ratschläge im technischen SEO: Google verfolgt Links auf noindex-Seiten mit der Zeit schwächer, und damit verlieren genau die Artikel und Produkte an Anbindung, die tief in der Paginierung liegen.
Gut zu wissen: Eine Seite auf noindex zu setzen ist kein Datenschutz. Der Inhalt bleibt öffentlich abrufbar, wird verlinkt, archiviert und von anderen Crawlern gelesen. Was wirklich niemand sehen soll, gehört hinter ein Passwort oder eine Anmeldung, nicht hinter ein Meta-Tag.
Wie Sie prüfen, ob das noindex wirklich greift
Die verlässlichste Stelle ist die URL-Prüfung in der Google Search Console. Sie zeigt für eine einzelne Adresse, ob die Seite indexiert ist, wann sie zuletzt gecrawlt wurde und ob eine noindex-Anweisung erkannt wurde. Der Bericht zur Indexabdeckung führt außerdem eine eigene Kategorie für Seiten, die per noindex ausgeschlossen sind. Steht Ihre URL dort, hat alles funktioniert.
Muss es schnell gehen, etwa weil versehentlich Kundendaten oder eine Testumgebung sichtbar wurden, hilft das Entfernungs-Tool der Search Console. Es blendet eine URL innerhalb weniger Stunden aus den Ergebnissen aus, allerdings nur für rund sechs Monate. Es ist eine Notbremse, kein Ersatz für das Tag. Läuft die Frist ab und die Seite trägt kein noindex, kommt sie zurück. Wie Google Seiten überhaupt aufnimmt und was den Zeitpunkt beeinflusst, haben wir im Beitrag zur Aufnahme neuer Seiten in den Google-Index beschrieben.
Für größere Websites lohnt sich zusätzlich ein Crawl mit einem eigenen Werkzeug. Er listet alle Seiten mit noindex auf einmal auf, und in fast jedem Audit findet sich dabei mindestens eine Seite, die dort nicht stehen sollte.
Fazit
noindex ist eine kleine Anweisung mit großer Reichweite, und die meisten Schäden entstehen nicht durch das Tag selbst, sondern durch die Kombination mit robots.txt, Canonical oder einem vergessenen Haken im CMS. Klären Sie vor jedem Einsatz, ob Sie eine Seite entfernen, den Crawl steuern oder Duplikate bündeln wollen. Danach setzen Sie das Meta-Tag oder den X-Robots-Tag, erlauben den Abruf und geben Google Zeit. Und prüfen Sie nach jedem Relaunch als Erstes, ob die Startseite indexierbar ist.
