Shopify: robots.txt mit robots.txt.liquid sicher anpassen
Kurz gesagt: Shopify erzeugt für jeden Shop automatisch eine robots.txt, die laut Shopify-Entwicklerdokumentation (abgerufen November 2026) für die meisten Shops passt. Wer zusätzliche Regeln braucht, etwa um interne Suchergebnisse oder bestimmte Filteradressen vom Crawlen auszunehmen, legt im Theme eine Vorlage namens robots.txt.liquid an. Diese ersetzt die automatisch erzeugte Datei vollständig. Deshalb gilt: vorher die aktuelle robots.txt sichern, die von Shopify bereitgestellten Standardregeln über Liquid übernehmen und nur gezielt ergänzen oder entfernen, statt die Datei von Hand neu zu schreiben.
Wann eine Anpassung überhaupt sinnvoll ist
Die meisten Shops kommen mit der Standarddatei gut aus. Shopify sperrt darin bereits Bereiche, die für Suchmaschinen keinen Wert haben, etwa Warenkorb und Checkout. Eine Anpassung lohnt sich vor allem in diesen Fällen:
- Eine App erzeugt viele Adressen mit Parametern, die keinen eigenen Inhalt haben, und der Googlebot verbringt viel Zeit damit.
- Sie möchten interne Suchergebnisse zusätzlich ausschließen.
- Sie betreiben mehrere Domains für verschiedene Märkte und brauchen pro Domain andere Regeln.
- Ein Bereich ist standardmäßig gesperrt, soll aber gecrawlt werden.
Ein Beispiel zur Veranschaulichung: Ein Fahrradzubehör-Shop in Münster nutzt eine Filter-App, die für jede Kombination aus Marke, Farbe und Größe eine eigene Adresse mit Parametern erzeugt. In der Crawling-Statistik der Search Console sieht der Betreiber, dass ein großer Teil der Abrufe auf solche Adressen entfällt. Er will diese Parameter ausnehmen, ohne die übrigen Regeln von Shopify zu verlieren.
Prüfen Sie vor jeder Änderung, ob das Problem wirklich in der robots.txt gelöst werden sollte. Eine Sperre dort verhindert das Crawlen, nicht zwingend die Indexierung, und sie verhindert, dass Google einen eventuell vorhandenen Noindex-Hinweis auf der Seite sieht.
Wie Shopify die robots.txt aufbaut
Laut Dokumentation besteht die Datei aus Gruppen von Regeln. Jede Gruppe hat drei Bestandteile:
| Bestandteil | Bedeutung |
|---|---|
| User-Agent | Für welchen Crawler die Gruppe gilt, etwa alle oder einen bestimmten |
| Regeln | Welche Adressen der Crawler abrufen darf oder nicht |
| Sitemap | Optional die Adresse der Sitemap |
In der Vorlage robots.txt.liquid stehen dafür laut Dokumentation nur bestimmte Liquid-Objekte zur Verfügung: robots, group, rule, user_agent, sitemap und request. Über robots.default_groups erhalten Sie die Standardgruppen, die Shopify sonst automatisch ausgeben würde.
Die Vorlage anlegen
Laut Dokumentation legen Sie im Theme-Code-Editor im Ordner „templates“ eine neue Datei mit dem Namen robots.txt.liquid an. Ab dem Moment, in dem das Theme mit dieser Datei veröffentlicht ist, ersetzt sie die automatisch erzeugte robots.txt.
Shopify empfiehlt ausdrücklich, vor dem Veröffentlichen eine Kopie der aktuellen robots.txt zu speichern und sie mit der Ausgabe der neuen Vorlage zu vergleichen. Die Dokumentation weist darauf hin, dass die Ausgabe einer eigenen Vorlage nicht immer exakt der generierten Datei entspricht, selbst wenn man die Standardgruppen verwendet.
Die Grundstruktur gibt alle Standardgruppen unverändert aus:
{% for group in robots.default_groups %}
{{- group.user_agent }}
{%- for rule in group.rules -%}
{{ rule }}
{%- endfor -%}
{%- if group.sitemap != blank -%}
{{ group.sitemap }}
{%- endif -%}
{% endfor %}
Die drei typischen Anpassungen
Die Dokumentation beschreibt, welche Änderungen vorgesehen sind:
Eine Regel zu einer bestehenden Gruppe hinzufügen
Innerhalb der Schleife prüfen Sie, ob die Gruppe für alle Crawler gilt, und geben dort eine zusätzliche Zeile aus. Die Dokumentation zeigt als Beispiel eine Regel, die Adressen mit dem Parameter ?q= für alle Crawler sperrt. Nach demselben Muster lassen sich Parameter einer Filter-App ausschließen.
Eine Standardregel entfernen
Ebenso lässt sich eine einzelne Standardregel überspringen. Die Dokumentation zeigt das am Beispiel der Regel, die den Bereich /policies/ sperrt. Man prüft in der Schleife Art und Wert der Regel und gibt sie in diesem Fall nicht aus.
Eigene Regeln ergänzen
Neue Regeln, die nicht zu einer Standardgruppe gehören, etwa für einen bestimmten Crawler, werden außerhalb der Schleife ergänzt.
Shopify rät dabei, wo immer möglich die bereitgestellten Liquid-Objekte zu nutzen, statt den gesamten Inhalt durch festen Text zu ersetzen. Der Grund: Wer die Datei von Hand schreibt, bekommt künftige Änderungen der Standardregeln durch Shopify nicht mehr mit.
Mehrere Domains für verschiedene Märkte
Über das Objekt request.host lassen sich laut Dokumentation Regeln für bestimmte Domains ausgeben. Shopify empfiehlt das ausdrücklich nur, wenn Sie Shopify Markets mit unterschiedlichen Domains oder Subdomains nutzen und diese wirklich verschiedene Regeln brauchen. Für einen Shop mit einer Domain ist das unnötig.
Typische Fehler bei eigenen Vorlagen
Bei der Arbeit mit robots.txt.liquid passieren immer wieder dieselben Fehler. Der häufigste ist eine zu breite Regel: Wer etwa alle Adressen mit einem Fragezeichen sperrt, nimmt damit auch Seiten heraus, die über Parameter erreichbar sein sollen, etwa paginierte Kategorieseiten oder Varianten, die in Anzeigen verlinkt sind. Formulieren Sie Regeln deshalb so eng wie möglich, also mit dem konkreten Parameternamen der App.
Ein zweiter Fehler ist fehlende Abstimmung. Eine Agentur passt die Vorlage an, ein halbes Jahr später installiert jemand eine neue App mit eigenen Parametern, und niemand denkt an die robots.txt. Oder umgekehrt: Eine App wird entfernt, ihre Regeln bleiben stehen. Halten Sie in Ihrer Shop-Dokumentation fest, welche Regel aus welchem Grund ergänzt wurde.
Ein dritter Punkt betrifft Tests in einer Kopie des Themes. Die Vorlage wirkt erst, wenn das Theme veröffentlicht ist. Eine Vorschau des unveröffentlichten Themes zeigt nicht zuverlässig, was Suchmaschinen später sehen. Planen Sie die Kontrolle daher direkt nach der Veröffentlichung ein, am besten zu einer ruhigen Tageszeit, damit Sie bei einem Fehler sofort auf die gesicherte Fassung zurückgehen können.
Nach der Änderung prüfen
- Rufen Sie ihredomain.de/robots.txt auf und vergleichen Sie die Ausgabe Zeile für Zeile mit Ihrer Sicherungskopie.
- Kontrollieren Sie, dass alle Standardregeln noch da sind, die Sie nicht bewusst entfernt haben.
- Prüfen Sie im robots.txt-Bericht der Search Console, ob Google die neue Datei abgerufen hat.
- Testen Sie einige wichtige Produkt- und Kategorieseiten mit dem URL-Prüftool, damit sie nicht versehentlich gesperrt sind.
- Beobachten Sie in den folgenden Wochen die Crawling-Statistik.
Denken Sie bei einem Theme-Wechsel daran, dass die Vorlage zum Theme gehört. Ein neues Theme ohne robots.txt.liquid bringt die Standarddatei zurück.
Häufige Fragen
Kann ich die robots.txt ohne Theme-Bearbeitung ändern?
Laut Dokumentation erfolgt die Anpassung über die Vorlage robots.txt.liquid im Theme. Einen anderen Weg beschreibt die Dokumentation nicht.
Was passiert, wenn ich die Vorlage wieder lösche?
Dann gibt Shopify wieder die automatisch erzeugte Datei aus, weil die Vorlage die Standardausgabe nur ersetzt, solange sie existiert.
Hilft die robots.txt gegen doppelte Inhalte durch Filter?
Sie kann das Crawlen solcher Adressen bremsen. Für die Frage, welche Seite in der Suche erscheint, sind Canonical-Verweise das passendere Werkzeug. Beides ergänzt sich.
Wenn Sie Ihre Shopify-robots.txt anpassen möchten, ohne wichtige Standardregeln zu verlieren, prüfen wir die Vorlage gern mit Ihnen: Anfrage stellen. Wie wir Shops auf Shopify oder anderen Systemen von Grund auf aufbauen, beschreibt unsere Seite Online-Shop erstellen lassen.