Zum Hauptinhalt springen
SEO-Lexikon · Technisches SEO

Crawling

Definition

Crawling ist der Prozess bei dem Googles Bot (Googlebot) systematisch Websites besucht und deren Inhalte herunterlädt. Der Bot folgt dabei Links von Seite zu Seite und speichert die gefundenen Informationen für die spätere Indexierung.

Was das für Ihr Unternehmen heißt

Wenn Googlebot Ihre Seiten nicht crawlen kann, werden sie nicht indexiert und erscheinen nicht in den Suchergebnissen. Technische Blockierungen durch Robots.txt, fehlerhafte Weiterleitungen oder Serverfehler verhindern das Crawling.

Typische Fehler, die wir sehen

Häufig blockieren Unternehmen versehentlich wichtige Seiten per Robots.txt, haben zu viele Redirect-Ketten die das Crawl-Budget verschwenden, oder besitzen verwaiste Seiten ohne interne Verlinkung.

Experten-Tipp von SEOFX

Prüfen Sie in der Google Search Console unter „Einstellungen" → „Crawling-Statistiken" wie oft Googlebot Ihre Website besucht.

Probleme mit der Indexierung? Wir analysieren Ihr Crawling und beheben technische Blockierungen.

Ausführlicher Artikel zu Crawling
09 · Kontakt

Reden wir über
Platz 1 für Ihre Firma.

Wählen Sie kurz aus, was Sie brauchen. Wir melden uns mit einer ehrlichen Einschätzung in 24 Stunden. Kein Verkaufs­gespräch, keine Werbung.

09129 1439894
20+ Jahre Nürnberg Keine Vertragsbindung Mo-Fr 9-18 · kein Call-Center