Lorixen.
DE

KI-Crawler steuern: GPTBot, ClaudeBot und Google-Extended in der robots.txt

Kurz gesagt: KI-Anbieter lesen Websites auf zwei Wegen: Sie sammeln Inhalte zum Training ihrer Modelle und rufen Seiten ab, wenn ein Nutzer eine Frage stellt. Die robots.txt im Stammverzeichnis Ihrer Domain legt fest, welche Crawler welche Bereiche lesen dürfen. Die Regeln sind freiwillig, aber die großen Anbieter halten sie in der Regel ein. Entscheiden Sie anhand Ihres Geschäftsmodells, ob Sie sichtbar bleiben oder sperren möchten, und prüfen Sie danach die Serverprotokolle, ob die Regel wirkt.

Warum das Thema jetzt zählt

Bis vor wenigen Jahren ging es bei Crawlern fast nur um Suchmaschinen. Heute kommen zusätzliche Bots hinzu, die Texte für Sprachmodelle sammeln oder Antworten mit aktuellen Quellen erstellen. Viele Betreiber haben das nie bewusst entschieden, und ihre robots.txt stammt aus einer Zeit ohne diese Bots.

Die Frage ist nicht, ob KI-Systeme Ihre Inhalte kennen. Die Frage ist, ob Sie festlegen, welche Nutzung Sie zulassen und welche nicht. Eine Sperre schützt Ihre Texte für die Zukunft, sie entfernt aber nicht automatisch Inhalte, die bereits gesammelt wurden.

Welche Crawler es gibt

Die Anbieter nennen ihre Bots mit eigenen Namen. Die wichtigsten Gruppen sind diese:

  1. Trainings-Crawler wie GPTBot von OpenAI, der Inhalte für das Training von Modellen einsammelt.
  2. Such-Crawler, die Seiten für die Suche eines KI-Dienstes indexieren, etwa OAI-SearchBot bei OpenAI.
  3. Nutzer-Abrufe, die eine Seite nur dann lesen, wenn eine Person eine Frage stellt und die Quelle benötigt.
  4. Der Anthropic-Crawler ClaudeBot, dessen Zweck in der Dokumentation des Anbieters beschrieben ist.
  5. Google-Extended, ein Steuerzeichen in der robots.txt, das Google für KI-Training und Gemini-Funktionen nutzt. Es ist kein eigener Crawler, und eine Sperre wirkt nicht auf die normale Suche.

Die Namen ändern sich. Prüfen Sie die Dokumentation der Anbieter, bevor Sie eine Liste dauerhaft in Ihre Datei übernehmen.

Was eine Sperre bewirkt und was nicht

Die robots.txt ist eine Bitte an den Crawler, kein technischer Schutz. Seriöse Anbieter respektieren sie. Unseriöse Bots ignorieren sie unter Umständen, und Sie erkennen das nur in den Protokollen.

Eine Sperre bringt außerdem Nebenwirkungen mit sich. Wenn Sie einen Such-Crawler sperren, verschwindet Ihre Seite aus den Antworten, die auf diesem Dienst erscheinen. Wer einen Trainings-Crawler sperrt, verliert nicht zwingend die Sichtbarkeit in der Suche, aber er verändert, wie stark die Inhalte in künftigen Modellen vertreten sind. Schreiben Sie sich das Ziel auf, bevor Sie eine Regel setzen.

Beispiele für robots.txt-Regeln

Eine Sperre für Trainings-Crawler sieht so aus:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Eine gezielte Freigabe für den Such-Crawler, während der Trainings-Crawler gesperrt bleibt:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Ein Bereich, der nicht gelesen werden soll, etwa ein Kundenportal oder ein Verzeichnis mit internen Dokumenten, lässt sich mit Disallow für einen bestimmten Pfad sperren, zum Beispiel Disallow: /intern/. Beachten Sie: Die Datei ist öffentlich lesbar. Sensible Inhalte gehören hinter einen Zugang, nicht allein in die robots.txt.

Welche Entscheidung zu welchem Geschäftsmodell passt

Die richtige Wahl hängt davon ab, wovon Ihr Betrieb lebt.

  • Ein Handwerksbetrieb mit Kundenanfragen über die Website profitiert oft davon, in KI-Antworten zu erscheinen, etwa wenn jemand fragt, wer in Leipzig Dachdeckerarbeiten macht. Eine Sperre kann dann Anfragen kosten.
  • Ein Verlag oder ein Anbieter mit bezahlten Inhalten hat oft das Gegenteil im Blick: Die Texte sind das Produkt, und eine Nutzung ohne Gegenleistung widerspricht dem Geschäftsmodell.
  • Ein Onlineshop mit Produkttexten wägt ab. Die Produktinformationen helfen bei Empfehlungen, die Preise und Bestände sind aber schnell veraltet.

Ein Mittelweg ist, Such- und Nutzer-Abrufe zuzulassen und nur Trainings-Crawler zu sperren. Dieser Weg ist bei vielen kleinen Betrieben ein vernünftiger Kompromiss.

Die Serverprotokolle prüfen

Ob eine Regel wirkt, zeigt Ihr Serverprotokoll. Suchen Sie nach dem Namen des Bots im User-Agent-Feld. Eine einfache Auswertung über einen Monat gibt Ihnen Zahlen, etwa wie oft der Bot Seiten abruft und ob er Seiten trotz Sperre lädt. Lädt er trotz Sperre, ist die Regel nicht eingehalten, und Sie können den Anbieter kontaktieren oder die Adresse über die Serverkonfiguration blockieren.

Wiederholen Sie diese Kontrolle nach drei und nach zwölf Monaten. Neue Bots tauchen auf, und alte ändern ihre Namen.

Zur Frage nach llms.txt

Für einige Betreiber ist eine Datei llms.txt im Gespräch, in der die wichtigsten Seiten für Sprachmodelle aufgelistet werden. Ein verbindlicher Standard ist sie nicht, und wie stark Anbieter sie nutzen, ist unklar. Wenn Sie sie anlegen, behandeln Sie sie als zusätzliche Übersicht, nicht als Ersatz für Ihre robots.txt oder Ihre Sitemap.

Interne Freigabe im Team

Die Entscheidung über KI-Crawler betrifft mehr als die Technik. Marketing, Geschäftsführung und die Person, die die Website pflegt, sollten sich auf eine Linie einigen, bevor jemand eine Zeile in die robots.txt schreibt. Halten Sie danach kurz fest, welche Bots gesperrt sind, aus welchem Grund und wann die Entscheidung überprüft wird. Ein Eintrag im Wartungskalender genügt. Ohne diese Notiz gerät die Regel in Vergessenheit, und beim nächsten Relaunch fehlt sie plötzlich, ohne dass jemand sagen kann, warum eine Seite wieder für alle Bots offen ist. Eine Regel ohne Begründung verschwindet in der Praxis schnell.

Rechtliche Angaben nicht vergessen

Ob Sie KI-Dienste sperren oder nicht, ändert nichts an Ihrer Pflicht, die Datenschutzerklärung aktuell zu halten. Prüfen Sie, ob sie beschreibt, welche Daten Sie an Anbieter weitergeben, etwa über Kontaktformulare oder eingebettete Chatfunktionen. Diese Prüfung gilt unabhängig von Crawlern und sollte ebenso regelmäßig stattfinden wie die Kontrolle Ihrer robots.txt.

Häufige Fragen

Verliere ich Platzierungen in der Google-Suche, wenn ich Google-Extended sperre?

Nein. Die normale Suche bleibt davon unberührt. Die Sperre betrifft die Nutzung für KI-Training und bestimmte KI-Funktionen.

Kann ich KI-Bots mit einer robots.txt vollständig ausschließen?

Für seriöse Anbieter ja, verbindlich ist es aber nicht. Wer ganz sicher gehen will, braucht Regeln auf Serverebene.

Was passiert mit Inhalten, die schon gesammelt wurden?

Eine neue Regel wirkt auf künftige Abrufe. Was bereits in einem Modell steckt, lässt sich damit nicht zurückholen. Die Anbieter beschreiben in ihrer Dokumentation, wie sie Anfragen zur Entfernung behandeln.

Wenn Sie die Freigaben für Ihre Website gemeinsam mit Ihrem Geschäftsmodell festlegen möchten, besprechen wir die Optionen gern mit Ihnen: Ihr Anliegen zu KI-Crawlern.

Quellen

WhatsAppTermin buchen