Echter Googlebot oder Fälschung? Crawler zuverlässig prüfen
Kurz gesagt: Wenn in den Protokollen Ihres Servers massenhaft Zugriffe mit der Kennung „Googlebot“ auftauchen, ist längst nicht jeder davon echt. Jeder kann diese Kennung vortäuschen, um Sperren zu umgehen oder Inhalte abzugreifen. Google beschreibt zwei Wege zur Prüfung. Erstens per DNS: Eine Rückwärtsabfrage der IP-Adresse muss einen Namen unter googlebot.com, google.com oder googleusercontent.com liefern, und die Vorwärtsabfrage dieses Namens muss wieder dieselbe IP ergeben. Zweitens per Abgleich mit den IP-Listen, die Google als JSON-Dateien veröffentlicht. Erst nach dieser Prüfung sollten Sie Zugriffe sperren oder gezielt erlauben, damit Sie nicht versehentlich den echten Googlebot aussperren.
Woran Sie gefälschte Zugriffe erkennen
Falsche Googlebots zeigen sich oft indirekt:
- Ihr Server ist ausgelastet, und im Protokoll stehen Tausende Zugriffe mit „Googlebot“ in der Kennung.
- Die Search Console zeigt dagegen keine ungewöhnlich hohe Crawling-Aktivität.
- Die Zugriffe kommen von Adressen bekannter Hosting-Anbieter oder aus Regionen, die nicht zu Google passen.
- Es werden auffällig viele Formulare, Suchseiten oder Login-Adressen aufgerufen.
- Inhalte Ihrer Website tauchen kopiert auf fremden Seiten auf.
Umgekehrt kommt es vor, dass eine Firewall oder ein Sicherheits-Plugin den echten Googlebot blockiert, weil es ihn für einen Angreifer hält. Auch das lässt sich mit derselben Prüfung klären.
Warum die Kennung allein nicht reicht
Jeder Browser und jedes Programm schickt bei einer Anfrage eine Kennung mit, den sogenannten User-Agent. Diese Angabe ist frei wählbar. Ein Skript kann sich als Googlebot ausgeben, genauso wie ein Browser als ein anderer. Google weist in seiner Dokumentation ausdrücklich darauf hin, dass sich Anfragen überprüfen lassen, wenn Sie befürchten, dass Spammer oder andere Störer Ihre Website aufrufen und dabei vorgeben, von Google zu kommen.
Weg 1: Prüfung per DNS
Google beschreibt die Prüfung mit dem Befehl host in zwei Schritten:
- Rückwärtsabfrage: Fragen Sie für die IP-Adresse aus Ihrem Protokoll den zugehörigen Namen ab. Er muss auf googlebot.com, google.com oder googleusercontent.com enden.
- Vorwärtsabfrage: Fragen Sie für diesen Namen die IP-Adresse ab. Sie muss mit der ursprünglichen Adresse aus dem Protokoll übereinstimmen.
Das Beispiel aus der Google-Dokumentation:
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Der zweite Schritt ist entscheidend. Wer eine eigene IP-Adresse besitzt, kann für die Rückwärtsabfrage einen beliebigen Namen eintragen, auch einen, der nach Google aussieht. Die Vorwärtsabfrage unter googlebot.com kontrolliert aber nur Google. Stimmen beide Richtungen überein, ist der Zugriff echt.
Weg 2: Abgleich mit den IP-Listen
Alternativ veröffentlicht Google laut Dokumentation Listen mit den IP-Bereichen seiner Crawler und Abrufdienste, aufgeteilt nach Typ. Für die üblichen Crawler wie Googlebot ist das die Datei common-crawlers.json. Daneben gibt es eigene Listen für spezielle Crawler wie AdsBot und für Abrufe, die von Nutzern ausgelöst werden.
Dieser Weg eignet sich für automatische Lösungen, etwa eine Firewall-Regel, die regelmäßig aktualisiert wird. Laden Sie die Listen in festen Abständen neu, statt sie einmal zu kopieren, denn die Bereiche können sich ändern.
Die drei Arten von Google-Zugriffen
Google teilt seine Zugriffe laut Dokumentation in drei Gruppen:
- Übliche Crawler wie Googlebot. Sie befolgen laut Google bei automatischen Crawls immer die Regeln der robots.txt.
- Spezielle Crawler für bestimmte Funktionen, etwa AdsBot, bei denen eine Vereinbarung zwischen Website und Produkt besteht. Sie befolgen die robots.txt nicht immer.
- Von Nutzern ausgelöste Abrufe, etwa wenn jemand ein Werkzeug von Google auf Ihre Seite anwendet. Diese ignorieren laut Google die robots.txt.
Für die Frage, ob ein Zugriff zur Google-Suche gehört, ist die erste Gruppe entscheidend.
Was Sie mit dem Ergebnis tun
Echter Googlebot: Lassen Sie ihn durch. Sperren Sie ihn weder in der Firewall noch in Sicherheits-Plugins. Wenn er Ihren Server zu stark belastet, gibt es bei Google dafür eigene Wege, die Crawling-Rate zu senken.
Gefälschter Googlebot: Behandeln Sie ihn wie jeden anderen unerwünschten Zugriff. Sie können die IP-Adresse oder den Adressbereich sperren oder die Zahl der Anfragen begrenzen. Viele Firewalls und CDNs bieten dafür fertige Regeln, die echte Suchmaschinen automatisch erkennen.
Vorsicht bei Sperrlisten aus dem Internet
Im Netz kursieren fertige Listen mit angeblich bösartigen Adressen und Regeln, die alle Zugriffe mit bestimmten Kennungen blockieren. Solche Listen sind oft veraltet oder zu breit. Übernehmen Sie sie nicht ungeprüft, denn ein einziger falscher Eintrag kann echte Suchmaschinen aussperren, und das bemerken Sie erst Wochen später an fehlenden Seiten im Index. Prüfen Sie nach jeder neuen Sperrregel in der Search Console mit der URL-Prüfung, ob Google Ihre wichtigsten Seiten weiterhin abrufen kann. Behalten Sie außerdem im Bericht zu den Crawling-Statistiken im Auge, ob die Zahl der Abrufe nach einer Änderung plötzlich einbricht.
Prüfung automatisieren
Wer regelmäßig viele Zugriffe prüfen muss, sollte die DNS-Abfragen nicht für jede Anfrage neu ausführen. Speichern Sie das Ergebnis für eine IP-Adresse für einige Stunden zwischen. Ein kleines Skript, das einmal täglich die häufigsten Googlebot-Adressen aus dem Protokoll prüft und das Ergebnis in eine Liste schreibt, reicht für viele Betriebe aus. Bei größeren Websites lohnt eine Regel in der Firewall oder beim CDN.
So gehen Sie Schritt für Schritt vor
- Filtern Sie im Serverprotokoll alle Zugriffe mit „Googlebot“ in der Kennung.
- Ermitteln Sie die häufigsten IP-Adressen.
- Prüfen Sie diese per Rückwärts- und Vorwärtsabfrage.
- Vergleichen Sie zur Sicherheit mit der Liste common-crawlers.json.
- Sperren oder drosseln Sie nur die Adressen, die die Prüfung nicht bestehen.
- Prüfen Sie Ihre Firewall-Regeln darauf, dass echte Google-Adressen nicht blockiert werden.
Beispiel aus der Praxis
Ein Onlineshop für Angelbedarf in Rostock wunderte sich über hohe Serverlast in der Nacht. Im Protokoll standen Zehntausende Zugriffe mit „Googlebot“ auf die interne Suche. Die Prüfung per DNS zeigte, dass die meisten von Adressen eines Hosting-Anbieters kamen, deren Namen nicht zu Google gehörten. Nach der Sperre dieser Bereiche sank die Last deutlich, und die echten Google-Zugriffe liefen unverändert weiter. Das Beispiel ist illustrativ.
Häufige Fragen
Reicht es, die Kennung „Googlebot“ zu prüfen?
Nein. Die Kennung lässt sich beliebig fälschen. Erst die DNS-Prüfung oder der Abgleich mit Googles IP-Listen gibt Sicherheit.
Warum ist die Vorwärtsabfrage nötig?
Weil Besitzer einer IP-Adresse für die Rückwärtsabfrage beliebige Namen eintragen können. Die Vorwärtsabfrage unter googlebot.com kann nur Google beeinflussen.
Gilt das auch für andere Suchmaschinen?
Viele Suchmaschinen bieten ähnliche Prüfwege an. Die Details stehen in deren eigener Dokumentation.
Kann ich den echten Googlebot drosseln?
Sperren sollten Sie ihn nicht. Bei zu hoher Last gibt es bei Google eigene Wege, die Crawling-Rate zu reduzieren.
Wenn Sie unsicher sind, welche Googlebot-Zugriffe auf Ihrem Server echt sind, prüfen wir die Protokolle gerne gemeinsam mit Ihnen: Serverzugriffe prüfen lassen.