Logfile-Analyse · Crawl-Budget · Googlebot-Verhalten

Logfile-Analyse: was der Googlebot wirklich
auf deiner Website tut.

Crawler-Tools zeigen, was möglich wäre. Deine Logs zeigen, was passiert: welche URLs der Bot abruft, wie oft, mit welchem Ergebnis, und wo dein Crawl-Budget versickert. Eigener Parser, verifizierte Bots, Befunde als Tickets, Festpreis.

Kostenloser 20-Min-Check

100 Mio.

Logzeilen im Monat ausgewertet

eigener Parser, eigene Server

40 Mio.+

URLs im größten Crawl-Projekt

Logs und Crawl in einer Auswertung

seit 2012

technisches SEO in der Praxis

vom Shop bis zum Konzern

Was eine Logfile-Analyse ist

Die einzige Quelle, die nicht schätzt.

Jeder Abruf deiner Website hinterlässt eine Zeile im Zugriffslog des Servers: wer, wann, welche URL, welche Antwort. Für Menschen ist das Rauschen. Für SEO ist es die einzige Aufzeichnung dessen, was Suchmaschinen tatsächlich tun, statt dessen, was ein Tool simuliert.

Google hat pro Domain ein begrenztes Zeitbudget. Bei großen Websites geht ein erheblicher Teil davon an URLs, die nie ranken sollen: Filterkombinationen, Sortierungen, Sessions, alte Kampagnen-Adressen, Weiterleitungsketten. Gleichzeitig warten neue Produkte wochenlang auf ihren ersten Abruf. Diese Verteilung sieht man in keinem Crawler-Report und in der Search Console nur als Summe.

Die Logfile-Analyse beantwortet drei Fragen: Wo verbringt der Bot seine Zeit? Welche wichtigen URLs sieht er selten oder nie? Und welche Antworten bekommt er, die Menschen nicht bekommen?

Eine Zeile, gelesen

So sieht das Rohmaterial aus.

Eine Zeile pro Abruf, und in jeder steckt eine Frage. Die hier sagt: eine Adresse aus Googles Bereich, ein Googlebot-User-Agent, eine Filter-URL mit zwei Parametern, Antwort 200. Der Bot hat also eine Seite bekommen, die es aus SEO-Sicht nicht geben sollte.

access.log 
# eine Zeile, Format „combined“ (Apache/Nginx)
66.249.66.1 - - [21/Sep/2026:06:12:03 +0200] "GET /schuhe/?farbe=rot&sort=preis HTTP/1.1" 200 47990 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

# gelesen: Google-IP-Bereich, Filter-URL, Antwort 200, echter Googlebot-Kandidat
# Frage: warum crawlt er Filterkombinationen, die nie ranken sollen?
Eine Zeile aus dem Zugriffslog: IP, Zeitstempel, Methode und URL, Statuscode, Bytes, Referrer, User-Agent.

Logzeilen einfügen, Auswertung sofort

Was steht in deinen Logs wirklich?

Apache- oder Nginx-Zeilen im Format „combined“ einfügen. Alles läuft im Browser, nichts wird gesendet. Die Beispieldaten zeigen ein typisches Muster: der Bot verbringt seine Zeit in Filter-URLs.

Bot-Echtheit lässt sich im Browser nicht prüfen: dafür braucht es Reverse-DNS oder Googles IP-Listen. In der echten Analyse ist das der erste Schritt.

Was du bekommst

Sechs Auswertungen, jede mit Beleg.

Keine Zahlenwüste, sondern sechs Fragen mit Antwort, betroffenen URLs und Priorität. Jede Antwort ist ein Ticket, das dein Entwicklerteam umsetzen kann.

Crawl-Verteilung nach Bereich

Wie viel Prozent der Googlebot-Abrufe auf Produkte, Kategorien, Inhalte, Parameter-URLs und Assets entfallen. Die erste Zahl, die zeigt, ob das Crawl-Budget bei den Seiten ankommt, die Umsatz bringen.

Frequenz und Aktualität

Wann wurde jede wichtige URL zuletzt gecrawlt, wie oft im Monat, und welche Bereiche sieht der Bot seit Wochen nicht. Daraus folgt, wie schnell Änderungen und neue Produkte in den Index kommen.

Statuscodes aus Bot-Sicht

404-Ketten, 301-Schleifen, 5xx-Fehler, die nur der Bot bekommt, weil ein Cache oder eine Bot-Regel für ihn anders antwortet als für Menschen.

Bot-Verifikation

Nicht jeder, der Googlebot im User-Agent trägt, ist Google. Reverse-DNS und Googles veröffentlichte IP-Bereiche trennen echte Crawler von Scrapern. Erst danach stimmen alle anderen Zahlen.

Verwaiste und vergessene URLs

URLs, die der Bot abruft, die aber im Crawl nicht mehr auftauchen: alte Kampagnen, Sitemap-Leichen, externe Links auf tote Seiten. Jede davon kostet Abrufe.

KI-Bots und andere Crawler

GPTBot, ClaudeBot, PerplexityBot, Bingbot: wer liest wie viel, und passt das zu dem, was deine robots.txt erlaubt. Die Grundlage für jede Entscheidung zur KI-Sichtbarkeit.

Crawler-Tool oder Logfile

Was ein Crawl nicht sehen kann.

Crawler-Tool allein

  • Zeigt, was erreichbar ist

    Der Crawler folgt Links wie ein idealer Bot. Ob Google diese URLs je abruft, weiß er nicht.

  • Ein Zeitpunkt

    Ein Crawl ist eine Momentaufnahme. Frequenz, Trends und Reaktion auf Änderungen bleiben unsichtbar.

  • Antworten für das Tool

    Caches, Bot-Regeln und Firewalls antworten dem Googlebot oft anders als einem Crawler oder einem Menschen.

  • Keine fremden Bots

    Scraper mit Googlebot-Kennung, KI-Bots und Bingbot tauchen in keinem Crawl auf.

Logfile-Analyse dazu

  • Zeigt, was abgerufen wurde

    Jede URL mit Datum, Häufigkeit und Statuscode, so wie der Bot sie bekommen hat.

  • Wochen und Monate

    Wann eine URL zuletzt gecrawlt wurde, wie sich Änderungen auswirken, welche Bereiche der Bot aufgibt.

  • Die echte Antwort

    5xx nur für Bots, 301-Ketten, gecachte Fehlerseiten: in den Logs steht, was Google wirklich sah.

  • Alle Bots, verifiziert

    Reverse-DNS und IP-Listen trennen echte Crawler von Nachahmern. Danach stimmen die Zahlen.

Warum EverGrow

Logfiles sind Handwerk, keine Lizenz.

  1. 01

    Eigener Parser, kein Lizenz-Dashboard

    Logfile-Tools von der Stange scheitern an Volumen, Formaten und CDN-Logs. Mein Parser liest, was dein System schreibt, auch hundert Millionen Zeilen im Monat, und beantwortet die Frage, die du hast, nicht die, die das Tool vorgibt.

  2. 02

    Logs, Crawl und Search Console zusammen

    Eine Logfile-Analyse ohne Abgleich ist eine Zahlenwüste. Ich lege drei Datenquellen übereinander und liefere die Differenz: URLs, die der Bot crawlt, aber nicht sollte, und URLs, die er sollte, aber nicht tut.

  3. 03

    Festpreis statt Agentur-Tarif

    Bei Agenturen ist die Logfile-Analyse ein Zusatzmodul mit eigenem Tagessatz. Bei mir ist sie Teil des technischen Audits oder ein einzelnes Projekt zum Festpreis nach Log-Volumen. Den Preis kennst du, bevor eine Zeile gelesen wird.

Wie wir vorgehen

In fünf Schritten von Rohlogs zu Tickets.

  1. 01

    Logs bereitstellen

    Vier bis acht Wochen Rohlogs vom Webserver, Load Balancer oder CDN. Entweder als pseudonymisierter Export (IPs gekürzt, Menschen-Traffic entfernt) oder die Auswertung läuft auf deiner Infrastruktur. Ich sage dir vorher, welches Format passt.

  2. 02

    Parsen und verifizieren

    Eigener Parser statt Lizenz-Tool: Zeilen normalisieren, Zeitzonen angleichen, Bots per Reverse-DNS und IP-Listen verifizieren, Menschen-Traffic ausschließen.

  3. 03

    Abgleich mit Crawl und Search Console

    Logs allein sagen, was der Bot tut. Erst der Abgleich mit dem eigenen Crawl und den Search-Console-Daten sagt, was er tun sollte. Die Differenz ist die Befundliste.

  4. 04

    Befunde als Tickets

    Jeder Befund mit Ursache, Beleg aus den Logs, betroffenen URLs und Priorität. Direkt für dein Ticketsystem, besprochen mit deinem Entwicklerteam.

  5. 05

    Nachmessen

    Nach der Umsetzung dieselbe Auswertung noch einmal: Ist der Anteil der Parameter-URLs gesunken, werden neue Produkte schneller gecrawlt? Ohne Nachmessung ist eine Logfile-Analyse nur eine Meinung.

Preis

Festpreis, bevor die erste Zeile gelesen wird.

Laufend enthalten ist die Logfile-Analyse im Full-Stack- und im Full-Time-Paket und im einmaligen SEO-Audit ab 3.000 €, sobald Logs vorliegen; im Kompakt-Audit nicht. Als einzelnes Projekt richtet sich der Festpreis nach Log-Volumen und Anzahl der Systeme. Beides klären wir im kostenlosen 20-Minuten-Check, danach bekommst du eine Zahl, keine Spanne. Selbst auswerten? Die Anleitung zur Logfile-Analyse zeigt, wie es geht und wo die Fallen liegen.

Meine Angebote richten sich ausschließlich an Unternehmen und Selbstständige, nicht an Verbraucher. Alle Preise netto zzgl. 19 % USt.

Umfang klären

So könnte deine Anfrage aussehen

Mehr braucht es nicht, um anzufangen.

„Wir betreiben einen Shop mit rund 80.000 URLs auf Shopware hinter Cloudflare. Neue Produkte werden erst nach Wochen indexiert, die Search Console zeigt viele gecrawlte, nicht indexierte URLs. Wir hätten gern eine Logfile-Analyse mit Tickets für unser Dev-Team. Logs können wir als Export liefern.“
Diese Anfrage übernehmen

Der Text steht dann im Formular, du passt nur Zahlen und System an.

Häufige Fragen

Logfile-Analyse, ehrlich beantwortet.

Was kostet eine Logfile-Analyse?

Im einmaligen SEO-Audit ab 3.000 € ist sie enthalten, sobald Logs vorliegen; im Kompakt-Audit nicht. Laufend enthalten ist sie im Full-Stack-Paket ab 3.000 € im Monat und im Full-Time-Paket. Als einzelnes Projekt gibt es einen Festpreis, der vom Log-Volumen und der Anzahl der Systeme abhängt, etwa ob CDN- und Server-Logs zusammengeführt werden müssen. Den Preis bekommst du nach dem kostenlosen 20-Minuten-Check, in dem wir Format und Umfang klären.

Welche Logs brauchst du und wie lange?

Die Zugriffslogs des Webservers, Load Balancers oder CDNs im Rohformat, idealerweise vier bis acht Wochen. Wichtig sind IP, Zeitstempel, Methode, URL, Statuscode, Bytes und User-Agent. Bei CDNs wie Cloudflare oder Akamai sind es die Request-Logs des CDNs, weil der Ursprungsserver viele Bot-Abrufe nie sieht.

Wie läuft das mit dem Datenschutz?

Für die Bot-Analyse brauche ich keine Daten von Menschen. Entweder exportierst du nur Bot-Traffic mit gekürzten IP-Adressen, oder die Auswertung läuft auf deiner Infrastruktur und nur die Ergebnisse verlassen sie. Beides ist üblich, beides ist DSGVO-tauglich, und ich dokumentiere den gewählten Weg.

Ab welcher Größe lohnt sich das?

Ab einigen tausend URLs mit regelmäßig neuen oder wechselnden Inhalten, also bei Shops, Portalen, Marktplätzen und Verlagen. Bei einer Website mit 200 Seiten reicht die Search Console, und das sage ich dir im Check auch so.

Reicht nicht der Crawl-Statistik-Bericht der Search Console?

Er ist ein guter Einstieg, zeigt aber nur Summen und Stichproben, keine einzelnen URLs über Zeit. Welche Filterkombinationen der Bot crawlt, welche Produkte er seit Wochen nicht anfasst und welche Weiterleitungsketten er läuft, steht nur in deinen Logs.

Kann ich das mit einem Tool selbst machen?

Für eine erste Übersicht ja, etwa mit dem Log File Analyser von Screaming Frog. Die Arbeit beginnt danach: Bots verifizieren, CDN-Logs zusammenführen, mit Crawl und Search Console abgleichen und daraus Tickets machen, die ein Entwickler umsetzen kann. Das ist der Teil, für den du mich buchst.

Wo verbringt der Googlebot seine Zeit bei dir?

20 Minuten, unverbindlich. Wir klären Log-Format, Umfang und Datenschutzweg, und du bekommst einen Festpreis.

Jetzt 20-Min-Check anfragen

Oder direkt: hasan@evergrowsolution.de