Damit ChatGPT, Perplexity oder die Google AI Overviews Ihre Seite als Quelle nennen können, müssen sie diese Seite zuerst abrufen und im ausgelieferten HTML lesen können. Daran scheitert es selten am Text. Es scheitert an JavaScript, das den Inhalt erst im Browser zusammenbaut, an Antworten, die dem Bot zu lange dauern, an Statuscodes, die etwas anderes melden als gemeint, und an Schutzmechanismen, die den Abrufer abweisen, bevor er den ersten Absatz sieht.
Die Prüfung dieser Punkte dauert einen halben Tag und kostet nichts außer Aufmerksamkeit. Wer sie überspringt und gleich Inhalte schreibt, optimiert eine Seite, die bei den Systemen gar nicht ankommt.
Was ein KI-Crawler von Ihrer Seite wirklich zu sehen bekommt
Der Googlebot rendert. Er holt die Seite, führt das JavaScript aus und wertet danach aus, was im fertigen DOM steht. Diese zweite Stufe kostet Google erhebliche Rechenzeit, und sie ist der Grund, warum sich viele Betreiber um clientseitig erzeugte Inhalte längst keine Gedanken mehr machen.
Die KI-Crawler arbeiten anders. GPTBot, ClaudeBot, PerplexityBot und die übrigen Abrufer holen in aller Regel das rohe HTML und lesen, was darin steht. Kein Rendering, kein Warten auf ein nachgeladenes Skript. Was Ihr Frontend erst im Browser des Besuchers zusammensetzt, existiert für diese Bots nicht. Eine Produktseite, deren Beschreibung per fetch nachkommt, ist für ein Sprachmodell eine leere Seite mit Navigation drumherum.
Prüfen lässt sich das in einer Minute:
curl -s -A "GPTBot" https://ihre-domain.de/leistungen/ | wc -c
curl -s -A "GPTBot" https://ihre-domain.de/leistungen/ | grep -c "Ihr wichtigster Satz"Kommt beim zweiten Befehl eine Null zurück, steht Ihr Text nicht im ausgelieferten Quelltext. Dann hilft kein besserer Inhalt, sondern nur eine andere Auslieferung: serverseitiges Rendern oder ein statisch erzeugtes HTML. Welche der beiden Architekturen für welchen Website-Typ passt, haben wir im Vergleich von serverseitigem Rendern und statischer Generierung durchgerechnet.
Am härtesten trifft es klassische Single-Page-Apps, bei denen der Server ein leeres <div id="app"> schickt und alles Weitere im Browser entsteht. Unsere Meinung dazu ist unmissverständlich: Wer 2026 eine Website mit Inhalten als reine Client-Anwendung baut, hat sich gegen KI-Sichtbarkeit entschieden, ob bewusst oder nicht. Für Anwendungen hinter einem Login ist das Verfahren richtig. Für alles, was zitiert werden soll, ist es die falsche Grundlage.
Dazwischen liegt ein Graubereich, den viele übersehen. Moderne Frameworks liefern die Seite serverseitig aus und reichern sie im Browser nur an; damit ist die Grundbedingung erfüllt. Problematisch bleiben einzelne Bausteine darin: der Tarifrechner, der seine Zahlen per API holt, die Bewertungen, die ein Widget nachträgt, der Text im Reiter, der erst beim Klick geladen wird. Inhalt, der im HTML steht und per CSS nur ausgeblendet ist, wird gelesen. Inhalt, der erst durch eine Interaktion entsteht, nicht. Gehen Sie Ihre wichtigsten Vorlagen einmal daraufhin durch, welche Absätze zur zweiten Sorte gehören.
Antwortzeit und Statuscodes: wo Bots abbrechen, während Menschen warten
Ein Besucher wartet drei Sekunden auf Ihren Shop, weil er das Produkt sehen will. Ein Crawler wartet nicht aus Interesse, sondern nach Budget. Wird die Antwort zu langsam, bricht er ab und markiert die Adresse als problematisch, und beim nächsten Durchgang kommt er seltener. Als Richtwert halten wir bei Kundenprojekten unter 600 Millisekunden Time to First Byte für die Grenze, ab der es unauffällig wird. Wie Sie den Wert messen und wo die typischen Bremsen sitzen, steht in der Anleitung zur Server-Antwortzeit.
Der Unterschied zum Googlebot liegt in der Häufigkeit. Google schaut bei einer gepflegten Website oft täglich vorbei und kann eine misslungene Runde am nächsten Tag ausgleichen. Die KI-Abrufer kommen nach unserer Beobachtung in deutlich größeren Abständen, teils wochenweise. Ein Aussetzer wiegt dort schwerer, weil die nächste Gelegenheit weit weg ist.
Genauso wichtig ist, was der Server neben dem Text noch mitteilt. Der Statuscode ist für einen Bot keine Nebensache, sondern die eigentliche Aussage über die Seite:
- 200 auf einer Fehlerseite. Ein Soft-404 meldet Erfolg und liefert „Seite nicht gefunden". Der Crawler nimmt den Text als gültigen Inhalt mit. Im schlimmsten Fall taucht Ihre Fehlerseite in einer KI-Antwort auf.
- Weiterleitungsketten. Google folgt laut Search Central bis zu zehn Sprüngen pro Abruf, andere Abrufer deutlich weniger. Eine Kette aus http, www, altem Slug und Trailing Slash frisst vier davon, bevor überhaupt Inhalt kommt.
- 403 und 429. Beides heißt abgewiesen, nicht kaputt. Wenn Ihre Rate-Begrenzung einen Bot nach zwanzig Abrufen ausbremst, sieht er von 400 Seiten genau zwanzig.
- 503 während des Deploys. Bei einem täglichen Build, der drei Minuten Wartungsseite ausliefert, ist die Wahrscheinlichkeit gering, aber nicht null. Wichtig ist nur, dass in dieser Zeit wirklich 503 kommt und nicht 200 mit Platzhalter.
Praxis-Tipp: Legen Sie Ihre zwanzig wichtigsten Adressen in eine Textdatei und lassen Sie einmal curl -s -o /dev/null -w "%{http_code} %{time_total} %{url_effective}\n" -L darüber laufen. Sie sehen Statuscode, Dauer und Endadresse in einer Zeile und finden damit jede Kette und jede Ausnahme in wenigen Minuten.
Barrieren, die niemand als Barriere geplant hat
Die unangenehmste Kategorie sind Sperren, die aus einem anderen Grund eingebaut wurden und den Nebeneffekt niemandem aufgefallen ist. Nach unserer Erfahrung aus Website-Prüfungen betrifft mindestens eine davon jede vierte Website, die wir übernehmen.
An erster Stelle steht die Bot-Abwehr im CDN. Cloudflare blockt seit Juli 2025 bei neu angelegten Domains die bekannten KI-Crawler per Voreinstellung, und viele WAF-Regelwerke werfen alles heraus, was nicht wie ein Browser aussieht. Der Betreiber hat nie eine Entscheidung getroffen, er hat einen Haken übernommen. Sehen Sie im Firewall-Protokoll nach, welche User-Agents dort mit „block" oder „challenge" stehen.
Dann die Einwilligungsschicht. Ein Cookie-Banner ist unkritisch, solange es sich über den fertig ausgelieferten Text legt. Kritisch wird es, wenn der Inhalt selbst erst nach der Zustimmung nachgeladen wird oder wenn ein Interstitial die Seite ersetzt statt sie zu überlagern. Der Bot klickt nichts weg, er sieht die erste Antwort und sonst nichts.
Bleiben zwei Fälle, die schnell übersehen werden. Geo-Blocking sperrt Zugriffe aus dem Ausland aus, und die meisten KI-Crawler kommen aus amerikanischen Adressbereichen; ein Handwerksbetrieb, der aus Sicherheitsgründen alles außerhalb der EU abweist, ist für ChatGPT unsichtbar. Und Inhalte hinter Login oder Paywall gehören schlicht nicht in die Rechnung, auch nicht die Teaser, wenn der eigentliche Text erst nach der Anmeldung erscheint.
Welcher Bot zu welchem Anbieter gehört und wie Sie den Zugriff gezielt erlauben oder verweigern, statt pauschal alles zu sperren, klärt die Übersicht der KI-Crawler und ihrer robots.txt-Regeln. Die robots.txt ist dabei die höflichste Schicht: Sie ist eine Bitte, während CDN und WAF technisch durchgreifen.
HTML-Semantik: Ein Sprachmodell liest strenger als Google
Google kennt Ihre Seite nicht nur aus dem Quelltext. Es kennt Ankertexte fremder Seiten, das Linkprofil, Klickverhalten und Milliarden Suchanfragen als Kontext. Ein Sprachmodell hat nichts davon. Es zerlegt Ihre Seite in Textabschnitte und muss allein aus der Struktur ableiten, was zu was gehört. Deshalb kostet ein unsauberes Dokument dort mehr als in der klassischen Suche.
Vier Dinge entscheiden dabei fast alles. Erstens die Überschriftenhierarchie: eine H1, darunter H2, keine Sprünge von H2 auf H4 und keine Überschrift, die nur wegen der Schriftgröße eine ist. Zweitens echte Tabellen aus table, thead und th statt eines Screenshots der Preisliste oder eines Gebildes aus verschachtelten Divs. Ein Modell, das aus einer richtigen Tabelle zitiert, ordnet Spaltenüberschrift und Wert korrekt zu; aus einem Bild zitiert es gar nicht.
Drittens Text als Text. Öffnungszeiten in der Grafik, Zahlen im Diagramm, das Angebot als PDF-Bild: alles unsichtbar. Viertens die Anordnung innerhalb eines Abschnitts. Wenn die Kernaussage im ersten Satz unter der Überschrift steht und nicht im vorletzten, steigt die Chance, dass genau dieser Satz als Passage übernommen wird, spürbar.
Zwei Kleinigkeiten kommen dazu, die wenig Arbeit machen. Aufzählungen gehören in ul oder ol, nicht in Absätze mit einem Bindestrich davor, sonst verschmelzen die Punkte im Fließtext. Und Bilder brauchen ein Alt-Attribut, das den Inhalt beschreibt und nicht das Dateithema wiederholt; bei Diagrammen und Infografiken ist das Alt-Attribut die einzige Fassung, die ein Modell überhaupt bekommt.
Gut zu wissen: Öffnen Sie eine Ihrer Seiten testweise im Lesemodus des Browsers oder speichern Sie sie als reinen Text. Was dort fehlt oder in falscher Reihenfolge steht, fehlt mit hoher Wahrscheinlichkeit auch in dem, was ein Sprachmodell aus der Seite mitnimmt.
Strukturierte Daten kommen erst danach. JSON-LD ist eine zusätzliche Schicht über einem sauberen Dokument, kein Ersatz für eines. Was sich davon belegen lässt und was über die Wirkung bei Sprachmodellen nur behauptet wird, steht in unserer Einordnung dazu, welche Schema-Typen für KI-Systeme wirklich sinnvoll sind.
Aktualität belegen: Sitemap, sichtbares Datum, stabile Adressen
KI-Systeme werden regelmäßig dafür kritisiert, veraltete Angaben auszuspielen. Ein Teil davon liegt an den Modellen, ein Teil an den Websites. Wenn nirgends steht, wann ein Text zuletzt geändert wurde, hat kein System eine Grundlage, die neue Fassung der alten vorzuziehen.
Setzen Sie deshalb in der XML-Sitemap ein ehrliches lastmod je Adresse. Ehrlich heißt: das echte Änderungsdatum, nicht der heutige Tag für alle 400 URLs. Sitemaps, deren Datum sich bei jedem Build komplett verschiebt, werden ignoriert, und zwar zu Recht. Dazu gehört ein für Menschen sichtbares Datum im Seitenkopf oder Fußbereich, weil ein Modell den Text liest und nicht nur das Markup.
Der dritte Punkt sind stabile Adressen. Ein Relaunch, der jede URL ändert, setzt Ihre Sichtbarkeit in den KI-Systemen weiter zurück als in der Google-Suche, weil die Modelle alte Adressen teilweise über Monate mitschleppen und dann auf Weiterleitungen oder Fehlerseiten treffen. Halten Sie Slugs, sorgen Sie für genau eine kanonische Variante je Seite, und lassen Sie den Canonical auf sich selbst zeigen. Genau eine Variante heißt: entweder mit oder ohne Trailing Slash, entweder mit oder ohne www, und alles andere wird einmalig per 301 dorthin geleitet. Wenn dieselbe Seite unter vier Adressen erreichbar ist, verteilt sich jedes externe Signal auf vier Ziele, und ein Modell zitiert am Ende die Variante, die ihm zufällig zuerst untergekommen ist. Ob zusätzlich eine Wegweiser-Datei namens llms.txt sinnvoll ist, können Sie danach entscheiden. Sie ersetzt keine saubere Sitemap, sie ergänzt sie im besten Fall.
In welcher Reihenfolge Sie das technische Fundament aufbauen
Bevor Sie etwas ändern, sehen Sie nach, was tatsächlich passiert. Ihr Zugriffsprotokoll ist die einzige Quelle, die nicht rät:
grep -E "GPTBot|ClaudeBot|PerplexityBot|OAI-SearchBot" access.log \
| awk '{print $9}' | sort | uniq -c | sort -rnKommt gar nichts zurück, sind die Bots noch nie da gewesen oder werden vor dem Webserver abgefangen. Kommen überwiegend 403er, haben Sie Ihre Baustelle bereits gefunden.
Danach gilt eine einfache Rangfolge. Zuerst die Auslieferung, denn ohne Text im rohen HTML ist alles Weitere wirkungslos. Dann der Zugang, also CDN-Regeln, Statuscodes und Weiterleitungsketten. Erst an dritter Stelle die Antwortzeit, an vierter die Semantik des Dokuments, zuletzt die Aktualitätssignale. Wie sich diese Grundlage danach mit Inhalten und Messung verbindet, beschreibt unsere Anleitung zur GEO-Optimierung in sieben Schritten.
Sparen können Sie sich zwei Dinge. Strukturierte Daten auf einer Seite, die der Bot nicht abrufen darf, sind Arbeit ohne Wirkung. Und Werkzeuge, die KI-Nennungen im Abo überwachen, bringen nichts, solange die Grundlage nicht steht: Sie messen dann sehr präzise eine Null.
Fazit
KI-Sichtbarkeit beginnt nicht beim Text, sondern bei der Frage, ob der Abrufer überhaupt bis zum Text kommt. Auslieferung, Antwortzeit, Statuscodes, ungewollte Sperren und ein sauber ausgezeichnetes Dokument entscheiden darüber, bevor irgendein Inhalt eine Rolle spielt. Prüfen Sie das einmal gründlich, und die Arbeit danach zahlt sich wenigstens ein.
