Crawler-Tools zeigen, was möglich wäre. Deine Logs zeigen, was passiert: welche URLs der Bot abruft, wie oft, mit welchem Ergebnis, und wo dein Crawl-Budget versickert. Eigener Parser, verifizierte Bots, Befunde als Tickets, Festpreis.
Kostenloser 20-Min-Check100 Mio.
Logzeilen im Monat ausgewertet
eigener Parser, eigene Server
40 Mio.+
URLs im größten Crawl-Projekt
Logs und Crawl in einer Auswertung
seit 2012
technisches SEO in der Praxis
vom Shop bis zum Konzern
Was eine Logfile-Analyse ist
Jeder Abruf deiner Website hinterlässt eine Zeile im Zugriffslog des Servers: wer, wann, welche URL, welche Antwort. Für Menschen ist das Rauschen. Für SEO ist es die einzige Aufzeichnung dessen, was Suchmaschinen tatsächlich tun, statt dessen, was ein Tool simuliert.
Google hat pro Domain ein begrenztes Zeitbudget. Bei großen Websites geht ein erheblicher Teil davon an URLs, die nie ranken sollen: Filterkombinationen, Sortierungen, Sessions, alte Kampagnen-Adressen, Weiterleitungsketten. Gleichzeitig warten neue Produkte wochenlang auf ihren ersten Abruf. Diese Verteilung sieht man in keinem Crawler-Report und in der Search Console nur als Summe.
Die Logfile-Analyse beantwortet drei Fragen: Wo verbringt der Bot seine Zeit? Welche wichtigen URLs sieht er selten oder nie? Und welche Antworten bekommt er, die Menschen nicht bekommen?
Eine Zeile, gelesen
Eine Zeile pro Abruf, und in jeder steckt eine Frage. Die hier sagt: eine Adresse aus Googles Bereich, ein Googlebot-User-Agent, eine Filter-URL mit zwei Parametern, Antwort 200. Der Bot hat also eine Seite bekommen, die es aus SEO-Sicht nicht geben sollte.
# eine Zeile, Format „combined“ (Apache/Nginx) 66.249.66.1 - - [21/Sep/2026:06:12:03 +0200] "GET /schuhe/?farbe=rot&sort=preis HTTP/1.1" 200 47990 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" # gelesen: Google-IP-Bereich, Filter-URL, Antwort 200, echter Googlebot-Kandidat # Frage: warum crawlt er Filterkombinationen, die nie ranken sollen?
Logzeilen einfügen, Auswertung sofort
Apache- oder Nginx-Zeilen im Format „combined“ einfügen. Alles läuft im Browser, nichts wird gesendet. Die Beispieldaten zeigen ein typisches Muster: der Bot verbringt seine Zeit in Filter-URLs.
Googlebot-Abrufe nach Bereich
Statuscodes (alle Bots)
Was ein SEO hier zuerst anschaut
Was du bekommst
Keine Zahlenwüste, sondern sechs Fragen mit Antwort, betroffenen URLs und Priorität. Jede Antwort ist ein Ticket, das dein Entwicklerteam umsetzen kann.
Wie viel Prozent der Googlebot-Abrufe auf Produkte, Kategorien, Inhalte, Parameter-URLs und Assets entfallen. Die erste Zahl, die zeigt, ob das Crawl-Budget bei den Seiten ankommt, die Umsatz bringen.
Mehr dazu: Ratgeber Logfile-Analyse
Wann wurde jede wichtige URL zuletzt gecrawlt, wie oft im Monat, und welche Bereiche sieht der Bot seit Wochen nicht. Daraus folgt, wie schnell Änderungen und neue Produkte in den Index kommen.
Mehr dazu: Ratgeber Logfile-Analyse
404-Ketten, 301-Schleifen, 5xx-Fehler, die nur der Bot bekommt, weil ein Cache oder eine Bot-Regel für ihn anders antwortet als für Menschen.
Mehr dazu: Fehlerseiten erklärt
Nicht jeder, der Googlebot im User-Agent trägt, ist Google. Reverse-DNS und Googles veröffentlichte IP-Bereiche trennen echte Crawler von Scrapern. Erst danach stimmen alle anderen Zahlen.
Mehr dazu: Ratgeber Logfile-Analyse
URLs, die der Bot abruft, die aber im Crawl nicht mehr auftauchen: alte Kampagnen, Sitemap-Leichen, externe Links auf tote Seiten. Jede davon kostet Abrufe.
Mehr dazu: Quick-Crawl
GPTBot, ClaudeBot, PerplexityBot, Bingbot: wer liest wie viel, und passt das zu dem, was deine robots.txt erlaubt. Die Grundlage für jede Entscheidung zur KI-Sichtbarkeit.
Mehr dazu: KI-Check · KI-Crawler erklärt
Crawler-Tool oder Logfile
Crawler-Tool allein
Zeigt, was erreichbar ist
Der Crawler folgt Links wie ein idealer Bot. Ob Google diese URLs je abruft, weiß er nicht.
Ein Zeitpunkt
Ein Crawl ist eine Momentaufnahme. Frequenz, Trends und Reaktion auf Änderungen bleiben unsichtbar.
Antworten für das Tool
Caches, Bot-Regeln und Firewalls antworten dem Googlebot oft anders als einem Crawler oder einem Menschen.
Keine fremden Bots
Scraper mit Googlebot-Kennung, KI-Bots und Bingbot tauchen in keinem Crawl auf.
Logfile-Analyse dazu
Zeigt, was abgerufen wurde
Jede URL mit Datum, Häufigkeit und Statuscode, so wie der Bot sie bekommen hat.
Wochen und Monate
Wann eine URL zuletzt gecrawlt wurde, wie sich Änderungen auswirken, welche Bereiche der Bot aufgibt.
Die echte Antwort
5xx nur für Bots, 301-Ketten, gecachte Fehlerseiten: in den Logs steht, was Google wirklich sah.
Alle Bots, verifiziert
Reverse-DNS und IP-Listen trennen echte Crawler von Nachahmern. Danach stimmen die Zahlen.
Warum EverGrow
Logfile-Tools von der Stange scheitern an Volumen, Formaten und CDN-Logs. Mein Parser liest, was dein System schreibt, auch hundert Millionen Zeilen im Monat, und beantwortet die Frage, die du hast, nicht die, die das Tool vorgibt.
Eine Logfile-Analyse ohne Abgleich ist eine Zahlenwüste. Ich lege drei Datenquellen übereinander und liefere die Differenz: URLs, die der Bot crawlt, aber nicht sollte, und URLs, die er sollte, aber nicht tut.
Bei Agenturen ist die Logfile-Analyse ein Zusatzmodul mit eigenem Tagessatz. Bei mir ist sie Teil des technischen Audits oder ein einzelnes Projekt zum Festpreis nach Log-Volumen. Den Preis kennst du, bevor eine Zeile gelesen wird.
Wie wir vorgehen
Vier bis acht Wochen Rohlogs vom Webserver, Load Balancer oder CDN. Entweder als pseudonymisierter Export (IPs gekürzt, Menschen-Traffic entfernt) oder die Auswertung läuft auf deiner Infrastruktur. Ich sage dir vorher, welches Format passt.
Eigener Parser statt Lizenz-Tool: Zeilen normalisieren, Zeitzonen angleichen, Bots per Reverse-DNS und IP-Listen verifizieren, Menschen-Traffic ausschließen.
Logs allein sagen, was der Bot tut. Erst der Abgleich mit dem eigenen Crawl und den Search-Console-Daten sagt, was er tun sollte. Die Differenz ist die Befundliste.
Jeder Befund mit Ursache, Beleg aus den Logs, betroffenen URLs und Priorität. Direkt für dein Ticketsystem, besprochen mit deinem Entwicklerteam.
Nach der Umsetzung dieselbe Auswertung noch einmal: Ist der Anteil der Parameter-URLs gesunken, werden neue Produkte schneller gecrawlt? Ohne Nachmessung ist eine Logfile-Analyse nur eine Meinung.
Preis
Laufend enthalten ist die Logfile-Analyse im Full-Stack- und im Full-Time-Paket und im einmaligen SEO-Audit ab 3.000 €, sobald Logs vorliegen; im Kompakt-Audit nicht. Als einzelnes Projekt richtet sich der Festpreis nach Log-Volumen und Anzahl der Systeme. Beides klären wir im kostenlosen 20-Minuten-Check, danach bekommst du eine Zahl, keine Spanne. Selbst auswerten? Die Anleitung zur Logfile-Analyse zeigt, wie es geht und wo die Fallen liegen.
Meine Angebote richten sich ausschließlich an Unternehmen und Selbstständige, nicht an Verbraucher. Alle Preise netto zzgl. 19 % USt.
So könnte deine Anfrage aussehen
„Wir betreiben einen Shop mit rund 80.000 URLs auf Shopware hinter Cloudflare. Neue Produkte werden erst nach Wochen indexiert, die Search Console zeigt viele gecrawlte, nicht indexierte URLs. Wir hätten gern eine Logfile-Analyse mit Tickets für unser Dev-Team. Logs können wir als Export liefern.“
Der Text steht dann im Formular, du passt nur Zahlen und System an.
Häufige Fragen
Im einmaligen SEO-Audit ab 3.000 € ist sie enthalten, sobald Logs vorliegen; im Kompakt-Audit nicht. Laufend enthalten ist sie im Full-Stack-Paket ab 3.000 € im Monat und im Full-Time-Paket. Als einzelnes Projekt gibt es einen Festpreis, der vom Log-Volumen und der Anzahl der Systeme abhängt, etwa ob CDN- und Server-Logs zusammengeführt werden müssen. Den Preis bekommst du nach dem kostenlosen 20-Minuten-Check, in dem wir Format und Umfang klären.
Die Zugriffslogs des Webservers, Load Balancers oder CDNs im Rohformat, idealerweise vier bis acht Wochen. Wichtig sind IP, Zeitstempel, Methode, URL, Statuscode, Bytes und User-Agent. Bei CDNs wie Cloudflare oder Akamai sind es die Request-Logs des CDNs, weil der Ursprungsserver viele Bot-Abrufe nie sieht.
Für die Bot-Analyse brauche ich keine Daten von Menschen. Entweder exportierst du nur Bot-Traffic mit gekürzten IP-Adressen, oder die Auswertung läuft auf deiner Infrastruktur und nur die Ergebnisse verlassen sie. Beides ist üblich, beides ist DSGVO-tauglich, und ich dokumentiere den gewählten Weg.
Ab einigen tausend URLs mit regelmäßig neuen oder wechselnden Inhalten, also bei Shops, Portalen, Marktplätzen und Verlagen. Bei einer Website mit 200 Seiten reicht die Search Console, und das sage ich dir im Check auch so.
Er ist ein guter Einstieg, zeigt aber nur Summen und Stichproben, keine einzelnen URLs über Zeit. Welche Filterkombinationen der Bot crawlt, welche Produkte er seit Wochen nicht anfasst und welche Weiterleitungsketten er läuft, steht nur in deinen Logs.
Für eine erste Übersicht ja, etwa mit dem Log File Analyser von Screaming Frog. Die Arbeit beginnt danach: Bots verifizieren, CDN-Logs zusammenführen, mit Crawl und Search Console abgleichen und daraus Tickets machen, die ein Entwickler umsetzen kann. Das ist der Teil, für den du mich buchst.
20 Minuten, unverbindlich. Wir klären Log-Format, Umfang und Datenschutzweg, und du bekommst einen Festpreis.
Jetzt 20-Min-Check anfragenOder direkt: hasan@evergrowsolution.de