robots.txt
Eine Datei im Wurzelverzeichnis, die Suchmaschinen sagt, welche Bereiche sie abrufen dürfen.
Definition
Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Domain, erreichbar unter /robots.txt. Sie enthält Regeln dafür, welche Bereiche ein Crawler abrufen darf und welche nicht.
Der Aufbau ist einfach. User-agent benennt den Crawler, Disallow sperrt einen Pfad, Allow nimmt etwas wieder aus. Üblich ist außerdem ein Verweis auf die XML-Sitemap.
Der wichtigste Punkt ist eine Abgrenzung, die ständig verwechselt wird: Die robots.txt steuert den Abruf, nicht die Aufnahme in den Index. Eine gesperrte Seite kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken, dann allerdings ohne Beschreibung.
Daraus folgt eine Regel, die vielen teuer zu stehen kommt: Wer eine Seite aus dem Index nehmen will, braucht noindex, und dafür muss die Seite abrufbar bleiben. Beides gleichzeitig hebt sich auf.
Die Datei ist außerdem öffentlich einsehbar. Wer dort interne Pfade sperrt, hat sie damit veröffentlicht.
Warum das für dich zählt
Der teuerste Fehler ist eine Zeile: Disallow: / sperrt die gesamte Website. Das passiert regelmäßig, wenn beim Livegang die Datei aus der Testumgebung mitgeht. Die Sichtbarkeit bricht innerhalb weniger Tage ein.
Der zweite Nutzen ist Steuerung des Aufwands. Bei großen Shops verbringen Crawler viel Zeit mit Filterkombinationen und internen Suchergebnissen. Diese Bereiche zu sperren, lenkt die Aufmerksamkeit auf die Seiten, die zählen, siehe Crawling.
Zu weit gesperrt wird es allerdings auch. Werden CSS- und Javascript-Dateien blockiert, kann Google die Seite nicht darstellen und bewertet sie schlechter, als sie ist.
Wie wir damit arbeiten
Wir prüfen die Datei bei jedem Relaunch vor dem Livegang, weil das der Moment ist, in dem der teure Fehler passiert. Danach gehört sie in die regelmäßige Überwachung.
Bei der Auswahl der Maßnahme achten wir auf das passende Mittel: robots.txt gegen unnötigen Abruf, noindex gegen unerwünschte Aufnahme, Canonical gegen Dubletten.
Das gehört zur technischen SEO-Beratung. Verwandt ist Indexierung.
Häufige Fragen
Verhindert robots.txt, dass eine Seite bei Google erscheint?
Nein. Sie verhindert den Abruf. Für den Ausschluss aus dem Index braucht es noindex, und dafür muss die Seite abrufbar sein.
Was ist der häufigste Fehler?
Eine aus der Testumgebung übernommene Datei mit Disallow: / auf der Produktivseite. Das sperrt die gesamte Website.
Sollte ich CSS und Javascript sperren?
Nein. Google muss die Seite darstellen können, um sie richtig zu bewerten. Gesperrte Ressourcen führen zu einer verzerrten Beurteilung.
Halten sich alle Crawler daran?
Seriöse ja, es ist eine Vereinbarung und keine technische Sperre. Wer bestimmte Zugriffe wirklich verhindern will, braucht eine Sperre auf Serverebene.
Wie prüfe ich meine robots.txt?
Über den Bericht in der Search Console und über den Aufruf der Datei im Browser. Nach jeder Änderung sollte eine Stichprobe wichtiger Adressen geprüft werden.
Verhindert robots.txt, dass eine Seite bei Google erscheint?
Nein. Sie verhindert den Abruf. Für den Ausschluss aus dem Index braucht es noindex, und dafür muss die Seite abrufbar sein.
Was ist der häufigste Fehler?
Eine aus der Testumgebung übernommene Datei mit Disallow: / auf der Produktivseite. Das sperrt die gesamte Website.
Sollte ich CSS und Javascript sperren?
Nein. Google muss die Seite darstellen können, um sie richtig zu bewerten. Gesperrte Ressourcen führen zu einer verzerrten Beurteilung.
Halten sich alle Crawler daran?
Seriöse ja, es ist eine Vereinbarung und keine technische Sperre. Wer bestimmte Zugriffe wirklich verhindern will, braucht eine Sperre auf Serverebene.
Wie prüfe ich meine robots.txt?
Über den Bericht in der Search Console und über den Aufruf der Datei im Browser. Nach jeder Änderung sollte eine Stichprobe wichtiger Adressen geprüft werden.