Ob ein Shop in ChatGPT, Perplexity oder den KI-Übersichten von Google vorkommt, hängt an zwei Fragen: Darf der Bot die Seiten abrufen, und findet er dort, was er braucht? Darüber wird viel spekuliert und wenig gemessen. Ich habe am 11. Oktober 2026 bei 100 großen deutschen Onlineshops nachgesehen: robots.txt, Bot-Schutz, Produkt-Markup, Preise mit und ohne JavaScript, llms.txt und die Ladewerte aus echten Chrome-Besuchen. Ohne Namen, und mit allen Grenzen der Methode. Weitere Untersuchungen zu Händlerdaten und KI-Suche findest du in der Studienübersicht mit Methode und Grenzen.
1 von 90
sperrt die ChatGPT-Suche
OAI-SearchBot in der robots.txt
31 %
weisen unbekannte Bots ab
31 von 100 Shops: Fehlercode 403 oder 429, oder eine Prüfseite
38 %
liefern eine GTIN
irgendwo im HTML, bei 56 Shops mit messbaren Produktseiten
61 %
reagieren schnell genug
INP im grünen Bereich, der schwächste der drei Ladewerte
Eigene Messung, 11. Oktober 2026. Methode und Grenzen unten.
Auf einen Blick: Was bei 100 Shops messbar war
Jedes Kästchen ist ein Shop. Die robots.txt konnte ich bei 90 Shops auswerten, Produktseiten nur bei 56. Fast ein Drittel hat den EverGrow-Abruf abgewiesen, bei weiteren 13 fand ich über die Sitemap keine erreichbaren Produktseiten oder nur Seiten ohne Product-Markup.
- 56 mit messbaren Produktseiten Product-Markup, Preise mit und ohne JavaScript ausgewertet
- 31 weisen unbekannte Bots ab 403 oder 429 bei robots.txt, Sitemap oder Produktseite, oder eine Prüfseite
- 13 ohne messbare Produktseite keine Sitemap in der robots.txt, Sitemap ohne erreichbare Produktseiten oder Seiten ohne Product-Markup
1. In der robots.txt ist die KI-Suche fast nirgends gesperrt
OpenAI trennt seine Bots nach Zweck: GPTBot sammelt Inhalte für das Training künftiger Modelle, OAI-SearchBot bringt Seiten in die Suchergebnisse von ChatGPT, ChatGPT-User ruft Seiten ab, wenn jemand in ChatGPT danach fragt. Laut OpenAI kann man GPTBot sperren und OAI-SearchBot erlauben. Anthropic trennt ebenfalls (ClaudeBot für Training, Claude-SearchBot und Claude-User für Suche und Abruf). PerplexityBot dient laut Perplexity nur der Suche, nicht dem Training.
- Suche und Abruf (für Antworten in KI-Suchen)
- OAI-SearchBot 1 % (1 von 90)
- ChatGPT-User 2 % (2 von 90)
- PerplexityBot 4 % (4 von 90)
- Claude-SearchBot 1 % (1 von 90)
- Googlebot 0 % (0 von 90)
- Training (künftige Modelle)
- ClaudeBot 8 % (7 von 90)
- CCBot 7 % (6 von 90)
- GPTBot 6 % (5 von 90)
- Google-Extended 2 % (2 von 90)
„Gesperrt“ = Startseite laut robots.txt nicht abrufbar (ausgewertet nach RFC 9309, dem Standard für robots.txt). Zweck der Bots laut Herstellerangaben (OpenAI, Anthropic, Perplexity, Google, Common Crawl). ChatGPT-User und Perplexity-User rufen nur auf Anfrage einer Person ab; für sie gilt die robots.txt laut Hersteller nicht zwingend.
Die meisten robots.txt erwähnen KI-Bots gar nicht: GPTBot wird nur in 11 von 90 Dateien eigens genannt, OAI-SearchBot in 7. Wer KI-Bots ausdrücklich regelt, trennt dabei meist sauber zwischen Training und Suche.
Die eine Ausnahme sperrt alle OpenAI- und Perplexity-Bots.
Für fast alle Shops gilt also: Wenn sie in KI-Antworten fehlen, liegt es meist nicht an der robots.txt. Quelle: OpenAI, Overview of OpenAI Crawlers.
2. Fast jeder dritte Shop weist unbekannte Bots ab
Bei 31 von 100 Shops kam der EverGrow-Abruf nicht durch: Die Antwort war 403 (Zugriff verweigert), 429 (zu viele Anfragen) oder eine Prüfseite statt des Inhalts. Ich habe mit einer ehrlichen, eigenen Kennung gemessen, die robots.txt beachtet und je Shop nur wenige Seiten nacheinander mit Pause abgerufen.
Bei 17 Shops, deren robots.txt ich nicht live lesen konnte, habe ich die jüngste Kopie im Internet Archive ausgewertet (Stand März bis Oktober 2026). Alle Sperren der Such-Bots und von GPTBot stammen aus live gelesenen Dateien, aus den Archivkopien kam nur eine ClaudeBot-Sperre.
3. Produkt-Markup ist da, die Feinheiten fehlen
Bei 56 Shops konnte ich echte Produktseiten messen, je Shop bis zu drei, zufällig aus der Sitemap gezogen. Product-Markup im JSON-LD-Format steht bei 49 von 56 im rohen HTML, Preis und Verfügbarkeit meistens auch. Dünn wird es bei den Angaben, die ein Produkt eindeutig machen.
- Product-Markup 88 % (49 von 56)
- Preis 84 % (47 von 56)
- Verfügbarkeit 80 % (45 von 56)
- Marke 71 % (40 von 56)
- Varianten (ProductGroup) 16 % (9 von 56)
Als Produktseite zählt nur eine Seite mit Product-Markup (im rohen HTML oder nach JavaScript). Der erste Balken ist deshalb kein Wert für alle Produktseiten großer Shops.
Die GTIN (in Europa meist die EAN) ist eine eindeutige, international einheitliche Produktkennung, die Google beim Einordnen und Anzeigen von Produkten hilft. Google führt sie bei Händlereinträgen unter den empfohlenen Angaben. 21 der 56 Shops haben eine GTIN im HTML, 11 nennen nur die Herstellernummer (MPN), 24 weder GTIN noch MPN.
Gemessen habe ich nur, was auf der Produktseite steht. Viele Shops liefern die GTIN zusätzlich oder nur über einen Produkt-Feed, etwa im Google Merchant Center; Google empfiehlt Markup auf der Seite und Feed zusammen. Fehlt die GTIN im HTML, kann Google sie also trotzdem kennen. Wer nur die Seite liest, findet sie dort aber nicht. Die Stichprobe war dabei stabil: Von 53 Shops mit zwei oder drei gemessenen Produktseiten hatten 19 die GTIN auf jeder Seite, 32 auf keiner und nur 2 teilweise.
Varianten wie Größe oder Farbe beschreibt Google mit ProductGroup (über hasVariant; in Googles Beispielen hat jede Variante ein eigenes Angebot). Nur 9 von 56 Shops setzen ihn ein, wobei nicht jede gemessene Produktseite Varianten hat. Andere Arten, Varianten darzustellen, habe ich nicht bewertet.
Quellen: Google, Händlereinträge (Product) · Google, Produktvarianten.
4. Was ohne JavaScript fehlt
Warum ist JavaScript wichtig? Weil nicht jeder Bot eine Seite wie ein Browser aufbaut. In meinen eigenen Server-Logs (nur Abrufe von den IP-Adressen, die die Betreiber veröffentlichen) sieht das so aus:
| Bot | Seiten | JavaScript-Dateien | lädt JavaScript? |
|---|---|---|---|
| Googlebot | 226 | 238 | ja |
| Applebot | 124 | 248 | ja |
| OAI-SearchBot | 148 | 72 | teilweise |
| PerplexityBot | 373 | 0 | nein |
| ChatGPT-User | 255 | 0 | nein |
| ClaudeBot | 163 | 0 | nein |
| GPTBot | 1 | 0 | nein (wenig Daten) |
Eigene Logs evergrowsolution.de, 3. August bis 12. Oktober 2026, Googlebot nur mit den von Google dokumentierten Kennungen. Logs zeigen nur, ob ein Bot die Dateien lädt, nicht, ob er sie ausführt. Eine kleine Website, also ein Anhaltspunkt, kein Beweis. Auf viel größerer Basis kam Vercel Ende 2024 zu dem Ergebnis: Die Crawler von ChatGPT und Claude laden zum Teil JavaScript-Dateien, führen sie aber nicht aus.
Deshalb habe ich jede Produktseite zweimal gemessen: als rohes HTML und so, wie ein Browser sie nach JavaScript anzeigt. Bei den meisten Shops ändert sich wenig. Die Lücke ist dort am größten, wo der Preis im sichtbaren Text steht.
- Product-Markup 49 → 52 von 56
- Preis im Markup 47 → 49 von 56
- Verfügbarkeit 45 → 48 von 56
- Preis im Text 42 → 49 von 56
- Produktname im Text 49 → 49 von 56
„Nur im Markup“: Der Preis steht im JSON-LD, aber nicht im Fließtext. Für Bots, die Markup auswerten, reicht das, für reine Textauswertung nicht.
Bei 3 Shops kommt der Preis erst mit JavaScript auf die Seite, einer davon liefert ohne JavaScript praktisch nur ein leeres App-Gerüst. Das ist ein kleiner Teil, aber für diese Händler ein echtes Risiko: Ein Bot, der kein JavaScript ausführt, findet dort keinen Preis.
5. llms.txt: Gut jeder fünfte Shop hat eine
15 der 16 Dateien haben das Format, das Lighthouse erwartet (Überschrift, Link, mindestens 50 Zeichen).
16 der 74 Shops haben eine llms.txt. Sechs liefern unter der Adresse eine normale HTML-Seite, meist eine Fehlerseite mit Status 200; wer die Datei prüft, sieht dann HTML statt Text. Zur Einordnung: Google schreibt, dass für die KI-Funktionen der Suche keine neuen maschinenlesbaren Dateien nötig sind. Ob andere Anbieter die Datei nutzen, ist nicht belegt.
6. Ladewerte: Die Reaktionszeit ist die Schwachstelle
Für die Core Web Vitals habe ich keine eigenen Messungen gemacht, sondern die Felddaten echter Chrome-Besuche aus dem Chrome UX Report abgefragt (Handy, ganze Domain, 75. Perzentil). Jeder Punkt ist ein Shop, die orange Linie der Median. Laden (LCP) und Stabilität (CLS) sind bei den meisten gut (89 und 83 von 100). Die Reaktion auf Klicks (INP) schaffen nur 61 von 100.
LCP · Laden
89 von 100 gut
INP · Reaktion
61 von 100 gut
CLS · Stabilität
83 von 100 gut
Quelle: Chrome UX Report API, abgefragt am 11. Oktober 2026. Alle drei Werte gut: 51 von 100 Shops.
Für KI-Bots, die nur HTML lesen, dürften Ladewerte eine kleinere Rolle spielen als für Besucher (meine Annahme, nicht gemessen). Ich zeige sie, weil sie aus derselben Quelle wie die Google-Bewertung stammen und weil INP in meinen Daten der Wert ist, den die wenigsten Shops schaffen. Die Werte gelten für die ganze Domain, nicht nur für Produktseiten.
7. Nach Branchen
Ich habe die 100 Shops sieben Branchen zugeordnet. Die Zahlen je Branche sind klein, deshalb zeige ich Anzahlen statt Prozente. Die Tabelle ist rein beschreibend, keine Rangliste. Je kräftiger das Blau, desto höher der Anteil.
| Branche | Shops | weisen Bots ab | Produktseiten messbar | davon GTIN | davon Varianten | llms.txt | CWV alle gut |
|---|---|---|---|---|---|---|---|
| Möbel, Haus, Garten & Baumarkt | 18 | 4 / 18 | 12 / 18 | 6 / 12 | 1 / 12 | 2 / 14 | 7 / 18 |
| Mode, Schuhe & Accessoires | 18 | 4 / 18 | 10 / 18 | 3 / 10 | 0 / 10 | 2 / 14 | 6 / 18 |
| Elektronik & Haushaltsgeräte | 17 | 5 / 17 | 8 / 17 | 4 / 8 | 3 / 8 | 3 / 12 | 7 / 17 |
| Drogerie, Beauty & Gesundheit | 15 | 6 / 15 | 9 / 15 | 3 / 9 | 3 / 9 | 4 / 11 | 9 / 15 |
| Sport, Freizeit & Auto | 11 | 5 / 11 | 6 / 11 | 2 / 6 | 1 / 6 | 1 / 8 | 8 / 11 |
| Spielzeug, Baby, Bücher & Tier | 11 | 4 / 11 | 6 / 11 | 3 / 6 | 0 / 6 | 2 / 7 | 7 / 11 |
| Marktplätze, Generalisten & Lebensmittel | 10 | 3 / 10 | 5 / 10 | 0 / 5 | 1 / 5 | 2 / 8 | 7 / 10 |
Zwei Auffälligkeiten, bei sehr kleinen Zahlen: In der Gruppe Marktplätze, Generalisten und Lebensmittel liefert keiner der 5 messbaren Shops eine GTIN. Drogerie, Beauty und Gesundheit haben mit 4 von 11 die meisten llms.txt. Für Rangfolgen zwischen Branchen reicht das nicht.
Was das für Händler heißt
- Zuerst prüfen, ob die echten Bots durchkommen. Die robots.txt ist selten das Problem. Ob ein Bot-Schutz echte Crawler trifft, zeigen nur die Server-Logs: Bekommen Abrufe von den IP-Listen der Betreiber Status 200?
- GTIN ins Markup. Bei 35 von 56 Shops fand ich keine GTIN im HTML. Steht die EAN schon in der Warenwirtschaft, ist das nach meiner Erfahrung meist eine Template-Änderung, keine neue Datenpflege.
- Varianten als ProductGroup. Größen und Farben mit eigenem Angebot je Variante, damit Preis und Verfügbarkeit eindeutig zuzuordnen sind.
- Preis und Produktname ins rohe HTML. Wer Produktseiten erst im Browser zusammensetzt, sollte serverseitig rendern oder zumindest die Kerndaten im HTML ausliefern.
- INP im Blick behalten. Für Besucher und für Google, weniger für KI-Bots. Von den drei Ladewerten verfehlen die gemessenen Shops INP am häufigsten.
So prüfst du deinen Shop selbst
- robots.txt: Steht OAI-SearchBot, ChatGPT-User oder PerplexityBot irgendwo mit
Disallow: /? Der EverGrow-KI-Check wertet das für alle bekannten KI-Bots aus. - Produktdaten ohne JavaScript: Den Quelltext einer Produktseite öffnen (nicht die Entwicklertools) und nach Preis und Produktname suchen. Der Produktdaten-Check prüft das Markup einer Produktseite.
- GTIN und Varianten: Steht die EAN im Markup? Sind Größen und Farben als ProductGroup mit eigenem Angebot je Variante beschrieben?
- Bot-Schutz: In den Server-Logs nachsehen, ob die echten Bots Status 200 bekommen und nicht 403 oder 429.
Methode und Grenzen
- Auswahl: 100 große B2C-Shops in Deutschland nach geschätztem organischem Suchtraffic (Datenquelle DataForSEO), ohne Medien, Vergleichsportale, Hersteller ohne Shop und B2B-Händler. Keine offizielle Rangliste. Branchen von Hand zugeordnet.
- Abruf: ehrliche Kennung, robots.txt beachtet, je Shop höchstens rund zwölf Abrufe nacheinander mit Pause, Abbruch bei 403, 429 oder 503.
- Produktseiten: bis zu drei je Shop, zufällig aus der Sitemap. Gezählt wird nur eine Seite mit Product-Markup. Das ist eine Stichprobe, keine Vollerhebung: Shops mit vielen Seitenvorlagen bilden drei Seiten nicht vollständig ab.
- Auswahleffekt: Die Produktzahlen gelten nur für die 56 Shops, die den EverGrow-Abruf zuließen und eine Sitemap mit Produktseiten hatten. Über Shops mit strengem Bot-Schutz sagen sie nichts.
- robots.txt aus dem Archiv: Bei 17 Shops stammt die robots.txt aus dem Internet Archive (Stand März bis Oktober 2026). Sie kann sich seitdem geändert haben.
- Mit und ohne JavaScript: dieselben Seiten zusätzlich in einem Browser ohne Bilder und Schriften geladen. Seiten, bei denen der Browser eine Prüfseite bekam, zählen im Vergleich nicht.
- Core Web Vitals: Felddaten aus dem Chrome UX Report (Handy, ganze Domain, 28 Tage, 75. Perzentil), keine eigene Messung.
- Nicht messbar: 44 Shops ohne messbare Produktseite. Sie stehen als „nicht messbar“ da, nicht als „schlecht“.
- Prüfung von Hand: Vor der Auswertung habe ich Stichproben am gespeicherten HTML nachgeprüft. Mehrere Messfehler habe ich dabei gefunden und korrigiert, unter anderem eine Prüfseite, die zuerst wie eine JavaScript-Lücke aussah, und GTINs, die nur in den Angeboten standen.
- Momentaufnahme vom 11. Oktober 2026. robots.txt und Bot-Schutz ändern sich laufend.
