XML-Sitemap und robots.txt: prüfen statt raten

Kurz gesagt: Die robots.txt sagt Suchmaschinen, welche Bereiche sie abrufen dürfen. Die XML-Sitemap sagt ihnen, welche Seiten Sie in der Suche sehen wollen. Beide Dateien sind schnell eingerichtet und genauso schnell falsch, etwa nach einem Relaunch oder einem Plugin-Wechsel. Mit den acht Prüfungen unten sehen Sie in einer halben Stunde, ob bei Ihnen alles stimmt, und für jede Prüfung steht dabei, wie der richtige Zustand aussieht.

Was die beiden Dateien tun und was nicht

Ein häufiges Missverständnis vorab: Die robots.txt ist kein Werkzeug, um Seiten aus Google herauszuhalten. Google schreibt in seiner Einführung (Stand November 2026), dass robots.txt vor allem dazu dient, eine Überlastung der Website durch Anfragen zu vermeiden. Wer eine Seite aus den Suchergebnissen ausschließen will, nutzt noindex oder einen Passwortschutz. Eine per robots.txt gesperrte Seite kann trotzdem mit ihrer URL in den Ergebnissen erscheinen, dann ohne Beschreibung.

Die Sitemap wiederum ist eine Empfehlung, keine Garantie. Laut Search-Console-Hilfe gibt es keine Gewähr, dass eine URL aus der Sitemap gecrawlt oder indexiert wird.

Prüfung 1: Liegt die robots.txt an der richtigen Stelle?

Rufen Sie https://ihre-domain.de/robots.txt im Browser auf.

So sieht es richtig aus: Die Datei heißt genau „robots.txt“, liegt im Stammverzeichnis des Hosts und es gibt nur eine. So verlangt es die Google-Doku zum Erstellen der Datei. Gilt Ihre Website mit und ohne „www“, ist für jeden Host die Datei an seiner eigenen Wurzel maßgeblich.

Gibt es gar keine Datei, ist das kein Drama: Laut Google darf ein Crawler standardmäßig alles abrufen, was nicht durch eine Disallow-Regel gesperrt ist.

Prüfung 2: Sperrt die robots.txt versehentlich alles?

Lesen Sie die Datei Zeile für Zeile.

So sieht es richtig aus: Kein Disallow: / unter User-agent: *, außer Sie wollen die Website wirklich komplett sperren. Diese Zeile ist der Klassiker nach einem Relaunch, wenn die Sperre aus der Testumgebung mit live gegangen ist.

Achten Sie außerdem auf Groß- und Kleinschreibung. Laut Google gilt Disallow: /file.asp für /file.asp, aber nicht für /FILE.asp.

Prüfung 3: Sperren Sie nur, was gesperrt sein soll?

So sieht es richtig aus: Gesperrt sind höchstens Bereiche ohne Wert für Suchende, etwa interne Suchergebnisse, Warenkorb, Login-Bereiche oder Filterparameter in Shops. Seiten, die Sie aus dem Index haben wollen, sind nicht per robots.txt gesperrt, sondern tragen noindex. Sonst kann Google das noindex nicht lesen.

Stylesheets, Skripte und Bilder, die Ihre Seiten zur Darstellung brauchen, sollten nicht gesperrt sein, damit Google die Seite so sieht wie Besucher.

Prüfung 4: Ist die Sitemap erreichbar und verlinkt?

Öffnen Sie die Sitemap-URL, die Ihr System erzeugt, häufig /sitemap.xml oder /sitemap_index.xml.

So sieht es richtig aus: Die Datei lädt ohne Anmeldung und zeigt eine Liste von URLs oder, bei einem Sitemap-Index, von weiteren Sitemaps. In der robots.txt steht eine Zeile wie Sitemap: https://www.example.com/sitemap.xml. Laut Google muss diese Angabe eine vollständige URL sein, und Google probiert keine Varianten wie mit oder ohne „www“ durch.

Prüfung 5: Stehen nur die richtigen URLs in der Sitemap?

Klicken Sie stichprobenartig zehn URLs aus der Sitemap an.

So sieht es richtig aus: Jede URL lädt direkt, ohne Weiterleitung, ohne Fehlerseite, ohne noindex. Google empfiehlt, nur die URLs aufzunehmen, die in den Suchergebnissen erscheinen sollen, also die kanonischen Versionen, und zwar als absolute URLs wie https://www.example.com/leistungen/.

Typische Fehlfunde: alte URLs nach einem Umbau, Schlagwort- und Autorenseiten, die Sie gar nicht in der Suche wollen, Anhangseiten von Bildern, Testseiten.

Prüfung 6: Ist lastmod ehrlich?

Schauen Sie sich die Datumswerte in der Sitemap an.

So sieht es richtig aus: Das lastmod-Datum ändert sich nur, wenn sich die Seite inhaltlich ändert. Google verwendet lastmod laut Doku nur, wenn der Wert konsistent und nachweisbar korrekt ist. Setzt Ihr System bei jeder Nacht alle Daten auf heute, verliert der Wert seinen Nutzen.

Die Felder priority und changefreq ignoriert Google laut derselben Seite. Sie müssen sich darum also nicht kümmern.

Prüfung 7: Gibt es nur eine Sitemap-Quelle?

Nach einem CMS-Wechsel oder wenn zwei Plugins dieselbe Aufgabe übernehmen, existieren manchmal mehrere Sitemaps parallel: eine vom System selbst, eine vom SEO-Plugin, eine alte aus dem Vorgänger-System.

So sieht es richtig aus: Es gibt eine Sitemap oder einen Sitemap-Index als zentrale Quelle. Alte Sitemaps sind entfernt und in der Search Console gelöscht. Die Größengrenzen von 50.000 URLs oder 50 MB unkomprimiert pro Datei, die Google nennt, erreichen kleine Websites ohnehin nicht.

Prüfung 8: Was sagen die Berichte in der Search Console?

Sitemaps-Bericht

Reichen Sie die Sitemap im Bericht „Sitemaps“ ein, falls noch nicht geschehen. Laut Hilfe hat jede eingereichte Sitemap einen Status: „Erfolgreich“, „Konnte nicht abgerufen werden“ oder eine Anzahl von Fehlern, wenn die Datei nur teilweise gelesen werden konnte. Daneben steht die Zahl der erkannten Seiten.

So sieht es richtig aus: Status „Erfolgreich“, und die Zahl der erkannten Seiten entspricht ungefähr der Zahl Ihrer echten, wichtigen Seiten. Laut Hilfe können Sie zudem den Bericht zur Seitenindexierung nach Sitemap filtern und sehen, wie viele URLs daraus indexiert sind.

robots.txt-Bericht

Unter den Einstellungen finden Sie den robots.txt-Bericht. Er zeigt laut Hilfe, welche robots.txt-Dateien Google gefunden hat, wann sie zuletzt abgerufen wurden und ob Warnungen oder Fehler bestehen. In Notfällen können Sie dort ein erneutes Crawlen anfordern, etwa nachdem Sie eine versehentliche Komplettsperre entfernt haben.

So sieht es richtig aus: Die Datei wurde abgerufen, ohne Fehler, und die angezeigte Version entspricht der, die Sie im Browser sehen.

Wann Sie die Prüfungen wiederholen sollten

nach einem Relaunch oder Umzug auf ein neues System,
nach dem Installieren oder Wechseln eines SEO-Plugins,
wenn im Bericht zur Seitenindexierung plötzlich viele Seiten wegfallen,
sonst einmal pro Halbjahr als Routine.

Häufige Fragen

Braucht eine Website mit zehn Seiten überhaupt eine Sitemap?

Nötig ist sie nicht, wenn alle Seiten gut verlinkt sind. Sie schadet aber nicht, die meisten Systeme erzeugen sie automatisch, und sie gibt Ihnen in der Search Console einen zusätzlichen Blick auf den Indexierungsstand.

Hilft eine Sitemap, schneller bei Google zu erscheinen?

Sie hilft Google, neue URLs zu finden. Ob und wann sie indexiert werden, hängt von weiteren Faktoren ab, die Hilfe nennt etwa Größe, Aktivität und Zugriffe der Website.

Muss ich die Sitemap nach jeder Änderung neu einreichen?

Nein. Laut Hilfe ruft Google eine erfolgreich gelesene Sitemap regelmäßig erneut ab. Neu einreichen lohnt sich bei umfangreichen Änderungen.

Kann ich mit der robots.txt KI-Crawler aussperren?

Viele Crawler halten sich an robots.txt-Regeln für ihren Namen. Welche Bezeichnung ein bestimmter Dienst verwendet, steht in dessen eigener Dokumentation.

Falls Sie bei einer der Prüfungen hängen bleiben, schaue ich mir Ihre Dateien gern gemeinsam mit Ihnen an: melden Sie sich.