Was ist Crawl-Budget? Indexierung einfach erklaert

Das Crawl-Budget ist die Menge an Seiten, die Google auf Ihrer Website in einem bestimmten Zeitraum abruft und prüft. Vereinfacht gesagt: Google hat nicht unbegrenzt Zeit für Ihre Domain und entscheidet selbst, wie viele Seiten der Googlebot besucht und wie oft er wiederkommt.

Für die meisten kleinen und mittleren Websites ist das Crawl-Budget kein Problem. Erst bei sehr großen Seiten mit tausenden URLs wird es wichtig, dass Google seine begrenzte Zeit auf die richtigen Inhalte verwendet und nicht auf unwichtigen Seiten verbrennt.

Was das Crawl-Budget einfach erklärt bedeutet

Stellen Sie sich den Googlebot wie einen Besucher mit Stoppuhr vor. Er kommt auf Ihre Website, folgt Links, lädt Seiten und nimmt die Inhalte mit. Irgendwann ist seine Zeit für diesen Besuch aufgebraucht und er zieht weiter.

Wie viel Zeit Google investiert, hängt von zwei Dingen ab: wie schnell und stabil Ihr Server antwortet (das nennt Google Crawl-Kapazität) und wie wichtig oder beliebt Ihre Inhalte sind (Crawl-Bedarf). Eine schnelle, oft aktualisierte Seite wird häufiger besucht als eine langsame, die sich nie ändert.

Wichtig zu wissen: Crawlen ist nicht das Gleiche wie Indexieren. Erst wird eine Seite abgerufen, dann entscheidet Google, ob sie in den Index aufgenommen wird. Wie dieses Zusammenspiel aus Crawling, Indexierung und Steuerdateien funktioniert, erklären wir im Detail im Artikel zu Indexierung, Sitemap und robots.txt.

Wann das Crawl-Budget überhaupt relevant wird

Für eine normale Firmenwebsite mit 30, 100 oder auch 500 Seiten müssen Sie sich um das Crawl-Budget keine Sorgen machen. Google schafft diese URLs problemlos. Das Thema wird erst ab etwa 10.000 URLs spürbar relevant.

Typische Fälle, in denen es ernst wird:

• Große Online-Shops mit vielen Produkten, Varianten und Filtern
• News- und Verlagsseiten mit täglich neuen Artikeln
• Portale und Verzeichnisse mit automatisch erzeugten Seiten

In diesen Fällen kann es passieren, dass Google wertvolle neue Seiten gar nicht oder erst sehr spät findet, weil der Bot seine Zeit an anderer Stelle vergeudet hat.

Was das Crawl-Budget verschwendet

Die häufigste Ursache für verschwendetes Crawl-Budget sind Seiten, die für Nutzer keinen echten Mehrwert haben, den Bot aber trotzdem beschäftigen:

• Duplicate Content. Mehrere URLs mit fast identischem Inhalt zwingen Google, das Gleiche mehrfach zu prüfen.
• Endlose URL-Parameter. Filter und Sortierungen wie ?farbe=rot&sort=preis erzeugen schnell tausende Varianten einer einzigen Seite.
• Soft-404-Seiten und Weiterleitungsketten. Jeder unnötige Umweg kostet den Bot Zeit.
• Kaputte interne Links. Sie führen den Crawler in Sackgassen statt zu wichtigen Inhalten.

Bei großen Sites summiert sich das. Wenn Google die Hälfte der Crawl-Zeit auf Parameter-Müll verbringt, bleibt für Ihre echten Geld-Seiten zu wenig übrig.

Erste Schritte zum Optimieren

Sie müssen kein Technik-Profi sein, um die größten Stellschrauben anzugehen. Diese vier Schritte bringen den meisten Effekt:

• Sitemap pflegen. Listen Sie nur die URLs auf, die wirklich indexiert werden sollen. So zeigen Sie Google klar, was zählt.
• robots.txt nutzen. Sperren Sie Bereiche wie interne Suche oder Warenkorb, die nicht in den Index gehören. Wie das genau geht, lesen Sie im Beitrag robots.txt erklärt.
• Parameter aufräumen. Setzen Sie Canonical-Tags auf die Hauptversion einer Seite, damit Filter-URLs nicht eigenständig gecrawlt werden.
• Servergeschwindigkeit verbessern. Antwortet Ihr Server schneller, kann der Googlebot in derselben Zeit mehr Seiten abrufen.

Wenn Sie tiefer einsteigen und Ihr Crawl-Budget systematisch verbessern wollen, finden Sie alle weiterführenden Maßnahmen im Artikel Crawl-Budget optimieren.

Das Crawl-Budget ist also kein Mythos, aber auch kein Grund zur Panik. Für kleine Websites passiert das von allein. Für große Sites lohnt es sich, dem Googlebot den Weg zu den wichtigen Seiten frei zu räumen.