Sie veröffentlichen eine neue Seite – aber Google zeigt sie nicht an. Nicht morgen, nicht nächste Woche, manchmal gar nicht. Das liegt selten an der Seite selbst. Sondern daran, dass Google sie nicht gefunden hat.
Denn Google durchsucht das Internet nicht in Echtzeit. Suchmaschinen müssen Seiten erst finden, lesen und in ihre Datenbank aufnehmen, bevor sie in den Suchergebnissen erscheinen können. Drei Werkzeuge steuern diesen Prozess: die Sitemap, die robots.txt und das noindex-Tag.
Kein kompliziertes Entwicklerthema – alle drei lassen sich in wenigen Minuten einrichten. In diesem Artikel erklären wir, was sie tun, wann sie wichtig sind und welche Fehler häufig passieren.
Wie Google Seiten findet und indexiert
Bevor es um Sitemaps und Konfiguration geht, lohnt sich ein Blick auf den Grundprozess. Google findet und verarbeitet Websites in drei Schritten:
- Crawling. Der Googlebot – ein automatisiertes Programm – besucht Websites und folgt Links. Findet er eine neue URL, lädt er die Seite herunter und liest den Inhalt. Dieser Vorgang heißt Crawling.
- Indexierung. Google analysiert den heruntergeladenen Inhalt und entscheidet, ob die Seite in den Index aufgenommen wird. Der Index ist die riesige Datenbank, aus der alle Suchergebnisse kommen.
- Ranking. Erst wenn eine Seite im Index ist, kann sie in den Suchergebnissen erscheinen. Wo genau – auf Position 1 oder auf Seite 10 – entscheiden Googles Ranking-Algorithmen anhand von Hunderten von Faktoren.
Eine einfache Analogie: Crawling bedeutet, das Buch aufzuschlagen und zu lesen. Indexierung bedeutet, es ins Bibliotheksverzeichnis aufzunehmen. Und Ranking bestimmt, wo im Regal es steht – vorne auf Augenhöhe oder hinten in der Ecke.
Gut zu wissen: Google garantiert nicht, dass jede Seite indexiert wird. Selbst technisch einwandfreie Seiten können ignoriert werden, wenn Google sie als zu dünn, doppelt oder irrelevant einstuft. Die Aufnahme in den Index ist keine Automatik – sie ist eine Entscheidung von Google.
Was ist eine Sitemap?
Eine Sitemap ist eine XML-Datei, die alle URLs einer Website auflistet, die indexiert werden sollen. Man kann sie sich vorstellen wie ein Inhaltsverzeichnis für Suchmaschinen: „Hier sind alle Seiten, die wichtig sind – schau sie dir an.”
Google findet Seiten auch über Links – intern wie extern. Aber eine Sitemap macht den Prozess schneller und zuverlässiger. Besonders wichtig ist sie in drei Situationen:
- Neue Websites. Kaum externe Links, wenig Autorität – Google entdeckt neue Seiten ohne Sitemap deutlich langsamer.
- Große Websites. Bei Hunderten von Unterseiten hilft die Sitemap, nichts zu übersehen.
- Schlecht verlinkte Seiten. Seiten, die nur über tiefe Navigation erreichbar sind, werden ohne Sitemap manchmal gar nicht gecrawlt.
Wichtig: Jede Website sollte eine Sitemap haben – auch kleine mit nur zehn Seiten. Der Aufwand ist minimal, der Nutzen klar. Aber eine Sitemap ist kein Garant für Indexierung. Sie ist eine Empfehlung an Google, keine Anweisung.
So sieht eine Sitemap vereinfacht aus – eine XML-Datei mit einer URL pro Eintrag:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://ihredomain.de/</loc>
</url>
<url>
<loc>https://ihredomain.de/leistungen/</loc>
</url>
<url>
<loc>https://ihredomain.de/kontakt/</loc>
</url>
</urlset>Kein Hexenwerk – eine Liste von URLs, die Google indexieren soll. Optional kann jeder Eintrag ein <lastmod>-Datum enthalten, das Google mitteilt, wann die Seite zuletzt geändert wurde.
Bei WordPress generieren Plugins wie Yoast SEO oder Rank Math die Sitemap automatisch. Bei statischen Websites und modernen Frameworks übernehmen Build-Tools diese Aufgabe beim Deployment. In beiden Fällen muss man sich nach der Ersteinrichtung nicht mehr darum kümmern.
Ob die eigene Sitemap korrekt funktioniert, lässt sich einfach prüfen: ihredomain.de/sitemap.xml im Browser aufrufen. Erscheint eine strukturierte Liste von URLs, ist alles in Ordnung. Erscheint eine Fehlermeldung, fehlt die Sitemap oder ist falsch konfiguriert.
robots.txt – Regeln für Suchmaschinen
Die robots.txt ist eine kleine Textdatei im Stammverzeichnis einer Website. Sie gibt Suchmaschinen-Crawlern Regeln vor: Was dürfen sie besuchen, was nicht?
Die typische robots.txt einer Firmenwebsite ist nur wenige Zeilen lang:
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://ihredomain.de/sitemap.xmlUser-agent: * bedeutet: Diese Regeln gelten für alle Crawler. Allow: / erlaubt das Crawling der gesamten Website. Disallow: /admin/ blockiert den Admin-Bereich. Und die letzte Zeile verweist Google direkt auf die Sitemap.
Für die meisten Firmenwebsites reicht genau das: alles erlauben, interne Bereiche blockieren und die Sitemap verlinken. Einmal eingerichtet, nie wieder angefasst.
Ein häufiges Missverständnis: robots.txt verhindert Crawling, nicht Indexierung. Wenn eine Seite per robots.txt blockiert wird, kann Google sie trotzdem indexieren – er kann nur den Inhalt nicht lesen. Das Ergebnis: Die Seite erscheint in den Suchergebnissen, aber ohne sinnvolle Beschreibung. Wer eine Seite wirklich aus dem Index fernhalten will, braucht stattdessen ein noindex-Tag.
noindex – Seiten aus dem Index ausschließen
Das noindex-Tag ist ein Meta-Tag im <head>-Bereich einer HTML-Seite. Es sagt Google unmissverständlich: Diese Seite soll nicht in den Suchergebnissen erscheinen.
<head>
<meta name="robots" content="noindex, nofollow" />
</head>noindex verhindert die Aufnahme in den Index. nofollow sagt Google zusätzlich, dass es den Links auf dieser Seite nicht folgen soll. Für rechtliche Seiten wie Impressum oder Datenschutz ist die Kombination beider Werte die sauberste Lösung.
Typische Kandidaten für noindex:
- Impressum und Datenschutzerklärung. Rechtlich vorgeschrieben, aber für die Suche wertlos. Niemand googelt nach „Firma XY Impressum”. Diese Seiten verbrauchen Crawl-Budget und können die Gesamtqualität des Index verwässern.
- Danke-Seiten. Die Bestätigungsseite nach einer Kontaktanfrage hat keinen Mehrwert für Suchende.
- Interne Suchergebnisseiten. Dünner Inhalt, der nur Duplikate bestehender Seiten auflistet.
- Login-Bereiche und Staging-Umgebungen. Nicht öffentlich, nicht relevant.
Die sauberste Lösung ist eine doppelte Absicherung: noindex-Tag im HTML und gleichzeitig die Seite aus der Sitemap ausschließen. Technisch reicht eines von beiden, aber beides zusammen ist die sicherere Variante.
Praxis-Tipp: Suchen Sie in Google nach site:ihredomain.de und prüfen Sie jede angezeigte Seite: Soll diese Seite wirklich in den Suchergebnissen erscheinen? Impressum, Datenschutz, Danke-Seiten und Login-Bereiche gehören in der Regel nicht in den Index.
Der site:-Befehl zeigt alle indexierten Seiten einer Domain – ein schneller Gesundheitscheck, den man regelmäßig machen sollte. Tauchen dort Seiten auf, die nicht hingehören, ist es Zeit für ein noindex-Tag.
Bei WordPress lässt sich noindex über Yoast SEO oder Rank Math mit einem Klick pro Seite setzen: Seite bearbeiten → „Erlaube Suchmaschinen diese Seite in den Suchergebnissen anzuzeigen” → Nein. Bei anderen CMS oder statischen Websites wird das Tag direkt im HTML oder im Template gesetzt.
Neue Seiten schneller indexieren lassen
Google findet neue Seiten früher oder später von alleine. Aber manchmal dauert es Tage oder Wochen – besonders bei Websites mit wenig externen Links oder seltenem Crawling. Drei Methoden beschleunigen den Prozess:
Google Search Console → URL-Prüfung. Die effektivste Methode: URL eingeben, „Indexierung beantragen” klicken. Google crawlt die Seite in der Regel innerhalb weniger Stunden bis Tage. Für uns ist das das Standard-Vorgehen nach jedem neuen Blogartikel oder jeder neuen Unterseite.
Indexierung beantragen ist keine Garantie – Google entscheidet nach wie vor selbst, ob die Seite in den Index aufgenommen wird. Aber in der Praxis erscheinen die allermeisten Seiten innerhalb von 24–48 Stunden.
Interne Verlinkung. Neue Seiten von bestehenden Seiten verlinken – Google folgt internen Links und findet neue Inhalte schneller. Eine neue Seite, die von keiner anderen Seite aus verlinkt ist, wird deutlich langsamer entdeckt. Ein Link von der Startseite oder aus einem bestehenden Blogartikel kann den Unterschied machen.
IndexNow. Ein Protokoll von Bing und Yandex, das Suchmaschinen in Echtzeit über neue oder geänderte Seiten informiert. Google unterstützt IndexNow aktuell nicht, aber für die Sichtbarkeit in Bing kann es eine sinnvolle Ergänzung sein.
Was dagegen nicht hilft: die gleiche URL mehrfach in der Search Console einreichen, Google über Drittanbieter-Tools „anpingen” oder SEO-Plugins nutzen, die „sofortige Indexierung” versprechen. Google lässt sich nicht beschleunigen – nur informieren.
Häufige Fehler bei Sitemaps und Indexierung
Die Einrichtung von Sitemap, robots.txt und noindex ist unkompliziert. Trotzdem sehen wir bei SEO-Audits regelmäßig die gleichen Fehler:
- noindex auf der Startseite. Passiert häufiger als man denkt – besonders nach Relaunches, wenn die Entwicklungsversion ein noindex-Tag hatte und vergessen wurde, es vor dem Go-live zu entfernen. Die gesamte Website verschwindet aus Google.
- robots.txt blockiert CSS und JavaScript. Google muss die Seite vollständig rendern können, um sie korrekt zu bewerten. Wer CSS- oder JavaScript-Dateien per robots.txt blockiert, riskiert schlechtere Rankings – weil Google die Seite nicht so sieht wie ein Besucher.
- Keine Sitemap eingereicht. Google findet Seiten auch ohne Sitemap, aber es dauert länger – besonders bei neuen Websites ohne externe Links. Die Sitemap in der Search Console einzureichen, kostet zwei Minuten und beschleunigt die Indexierung spürbar.
- Fehlerhafte URLs in der Sitemap. HTTP statt HTTPS, fehlende Trailing Slashes, URLs die auf 404-Fehlerseiten führen. Die Search Console zeigt diese Probleme unter „Sitemaps” an – regelmäßig prüfen lohnt sich.
- Alles indexieren lassen. Nicht jede Seite gehört in den Index. Danke-Seiten, Tag-Archive, Paginierung-Seiten mit dünnem Inhalt – alles Kandidaten für noindex. Weniger Seiten im Index bedeutet nicht weniger Sichtbarkeit, sondern oft mehr, weil Google sich auf die wirklich relevanten Seiten konzentrieren kann.
Wer die technischen Grundlagen von strukturierten Daten und Indexierung richtig einrichtet, hat ein solides Fundament für alle weiteren OnPage-SEO-Maßnahmen.
Fazit: Drei Dateien, die den Unterschied machen
Sitemap, robots.txt und noindex sind keine komplizierten Entwickler-Tools. Es sind drei einfache Konfigurationen, die zusammen steuern, wie Google eine Website wahrnimmt: was gecrawlt wird, was indexiert wird und was außen vor bleibt.
Einmal korrekt eingerichtet, laufen sie wartungsfrei. Neue Seiten landen automatisch in der Sitemap, rechtliche Seiten bleiben automatisch draußen. Der Aufwand für die Ersteinrichtung liegt bei unter einer Stunde – und spart langfristig Probleme, die man sonst erst bemerkt, wenn eine Seite nicht rankt.
Wer unsicher ist, ob die eigene Website korrekt konfiguriert ist: site:ihredomain.de in Google eingeben und prüfen, welche Seiten indexiert sind. Alles was dort nicht hingehört, braucht Aufmerksamkeit.