Lorixen.
DE

Googlebot überlastet den Server: Crawling richtig drosseln

Kurz gesagt: Wenn der Googlebot plötzlich so viele Seiten abruft, dass Ihr Server in die Knie geht, sollten Sie zuerst die Ursache suchen und erst dann bremsen. Laut Google-Dokumentation (abgerufen November 2026) stecken hinter starken Crawling-Spitzen meist Funktionen, die unzählige Adressen erzeugen: Filter und Sortierungen, Kalender mit einer Seite pro Datum oder bestimmte Anzeigenziele. Für echte Notfälle beschreibt Google einen Weg, das Crawling für Stunden bis ein, zwei Tage zu drosseln: Antworten mit den Statuscodes 500, 503 oder 429. Länger sollte das nicht dauern, weil Google sonst Seiten aus dem Index entfernen kann.

Erst verstehen, dann bremsen

Google betont, dass seine Systeme versuchen, bei jedem Besuch möglichst viele Seiten abzurufen, ohne den Server zu überlasten. Kommt es trotzdem zu einer kritischen Last, liegt das laut Dokumentation häufig an der Struktur der Website. Google nennt als häufigste Ursachen:

  • Filter- und Sortierfunktionen, die für jede Kombination eine eigene Adresse erzeugen
  • einen Kalender mit sehr vielen Adressen für einzelne Tage
  • ein Ziel für dynamische Suchanzeigen

Google empfiehlt ausdrücklich, mit dem Hoster zu sprechen und die aktuellen Zugriffsprotokolle des Servers anzusehen, um die Quelle des Verkehrs zu verstehen.

Ein Beispiel zur Veranschaulichung: Eine Pension im Zillertal hat auf ihrer Website einen Belegungskalender. Jeder Klick auf „nächster Monat“ erzeugt eine neue Adresse, unbegrenzt in die Zukunft. Der Googlebot folgt diesen Links und ruft Monat für Monat ab, bis ins Jahr 2040. Der kleine Server der Pension wird dadurch spürbar langsamer.

So lesen Sie die Zugriffsprotokolle

Das Zugriffsprotokoll Ihres Servers listet jeden Abruf mit Uhrzeit, Adresse, Statuscode und der Kennung des Abrufers. Für die Diagnose filtern Sie nach Abrufen durch den Googlebot und schauen, welche Adressen am häufigsten vorkommen. Typische Muster:

Muster in den Adressen Mögliche Ursache
Viele Varianten mit ?farbe=, ?groesse=, ?sort= Filter und Sortierungen
Datumsangaben, die weit in die Zukunft reichen Kalender oder Terminansichten
Endlose Seitenzahlen oder wiederholte Pfadteile Fehlerhafte Verlinkung
Interne Suchergebnisse mit beliebigen Begriffen Suchfunktion ist verlinkt

Prüfen Sie dabei, ob die Abrufe wirklich von Google stammen. Die Kennung „Googlebot“ kann jeder Abrufer vortäuschen. Ihr Hoster kann die Herkunft anhand der IP-Adressen meist schnell klären.

Die dauerhafte Lösung: die Adressflut eindämmen

Ist die Ursache gefunden, geht es darum, dass Google die überflüssigen Adressen gar nicht erst abruft. Typische Maßnahmen:

  • Kalenderlinks auf einen sinnvollen Zeitraum begrenzen, etwa die nächsten zwölf Monate, und für weitere Monate keine Links mehr ausgeben.
  • Filterkombinationen, die keinen eigenen Suchwert haben, per robots.txt vom Crawlen ausnehmen.
  • Links zu internen Suchergebnissen vermeiden.
  • Verlinkungsfehler beheben, die endlose Adressen erzeugen.

Google verweist dafür auf eigene Anleitungen zur Steuerung von Filternavigation und zur Optimierung der Crawling-Effizienz. Diese Maßnahmen wirken dauerhaft, während eine Drosselung nur kurzfristig hilft.

Der Notfallweg: Fehlercodes für kurze Zeit

Für dringende Fälle beschreibt Google ein klares Vorgehen. Um die Crawling-Rate für kurze Zeit zu senken, etwa für ein paar Stunden oder ein bis zwei Tage, können Sie Crawling-Anfragen statt mit 200 mit 500, 503 oder 429 beantworten.

Laut Dokumentation passiert dann Folgendes: Trifft Google auf eine erhebliche Zahl von Adressen mit diesen Codes, senkt es die Rate für den ganzen Hostnamen, also auch für Adressen, die normal antworten. Sinkt die Zahl der Fehler, erhöht Google die Rate automatisch wieder. Bei 503 und 429 können Sie zusätzlich die Kopfzeile „Retry-After“ mitschicken, um anzuzeigen, wann Google es wieder versuchen soll.

Google warnt aber deutlich vor den Nebenwirkungen:

  • Der Googlebot entdeckt weniger neue Seiten, bestehende Seiten werden seltener aktualisiert.
  • Für Google Ads können Kampagnen pausiert oder gestoppt werden, Anzeigen werden möglicherweise nicht ausgeliefert.
  • Werden Adressen über mehrere Tage mit diesen Codes beantwortet, können sie aus dem Index fallen.

Diesen Weg nutzt man also nur, wenn der Server sonst ausfällt, und so kurz wie möglich.

Wenn Fehlercodes keine Option sind

Nicht jede Infrastruktur kann Google gezielt Fehler schicken, während normale Besucher Seiten erhalten. Für diesen Fall nennt Google eine Sonderanfrage: Sie melden ein Problem mit ungewöhnlich hoher Crawling-Rate und nennen dabei die für Ihre Website passende Rate. Laut Google kann es mehrere Tage dauern, bis die Anfrage bearbeitet ist. Eine Erhöhung der Rate lässt sich auf diesem Weg nicht beantragen.

Was Sie nicht tun sollten

  • Den Googlebot per Firewall ganz aussperren. Das trifft alle Seiten und kann zu verschwundenen Einträgen führen.
  • Die robots.txt mit einem Serverfehler antworten lassen. Das stoppt das Crawling der ganzen Website, nicht nur der Problemzonen.
  • Fehlercodes über Wochen ausliefern. Was als Notbremse gedacht ist, wird sonst zum Sichtbarkeitsverlust.

Ein Ablauf für den Ernstfall

Damit im Notfall niemand improvisieren muss, lohnt ein kurzer schriftlicher Ablauf, den Sie mit Ihrem Hoster abstimmen. Er könnte so aussehen: Zuerst prüft jemand die Serverlast und die Zugriffsprotokolle der letzten Stunde. Zeigt sich, dass der Googlebot den Großteil der Last verursacht, wird geklärt, ob eine bestimmte Funktion der Website die Adressen erzeugt. Lässt sich diese Funktion kurzfristig abschalten, etwa die Links im Kalender, ist das der schonendste Eingriff. Erst wenn das nicht reicht, liefert der Server für einen begrenzten Zeitraum 503 mit Retry-After an Crawler aus. Am nächsten Tag wird geprüft, ob die Drosselung wieder entfernt werden kann.

Halten Sie fest, wer diese Entscheidungen treffen darf und wer die Rücknahme der Drosselung verantwortet. Eine vergessene Notbremse, die über Wochen aktiv bleibt, richtet mehr Schaden an als die ursprüngliche Lastspitze.

Nach der Krise: beobachten

Beobachten Sie in den Tagen danach die Crawling-Statistik der Search Console. Sie zeigt, wie viele Anfragen Google pro Tag stellt und wie schnell Ihr Server antwortet. Gehen die Abrufe der problematischen Adressen zurück, während wichtige Seiten weiter gecrawlt werden, war die Lösung erfolgreich.

Häufige Fragen

Woran erkenne ich, ob wirklich Google die Last verursacht?

Am Zugriffsprotokoll und an der Crawling-Statistik der Search Console. Steigen dort die Abrufe zur selben Zeit wie die Serverlast, ist die Spur heiß. Prüfen Sie zusätzlich, ob die Abrufe wirklich von Google-Adressen kommen.

Hilft ein größerer Server?

Kurzfristig vielleicht, aber er löst nicht das Grundproblem, wenn Ihre Website endlos viele Adressen erzeugt. Dann wird auch ein größerer Server irgendwann überrollt.

Wie schnell reagiert Google auf die Fehlercodes?

Google beschreibt, dass die Rate sinkt, wenn eine erhebliche Zahl von Adressen solche Codes liefert, und wieder steigt, sobald die Fehler weniger werden. Eine genaue Zeitangabe macht die Dokumentation dazu nicht.

Wenn der Googlebot Ihren Server belastet und Sie die Ursache in Ihrer Website-Struktur finden möchten, sehen wir uns die Protokolle gern mit Ihnen an: jetzt melden.

Quellen

WhatsAppTermin buchen