Aufgabe und Aufbau
Die Datei liegt immer unter dem Stammpfad der Domain, also unter /robots.txt, und folgt dem Robots Exclusion Protocol, das inzwischen als Internetstandard beschrieben ist. Sie besteht aus Gruppen, die mit einem User-Agent beginnen und dann Regeln wie Disallow oder Allow enthalten. Zusätzlich lässt sich die Adresse der XML-Sitemap angeben.
Ein einfaches Beispiel: Für alle Crawler wird der Ordner /intern/ gesperrt, der Rest bleibt erlaubt.
Was die Datei kann und was nicht
Die robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte URL kann dennoch in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken, dann allerdings ohne Beschreibung. Wer Inhalte wirklich aus dem Index halten will, nutzt Noindex und lässt das Crawlen zu, oder schützt sie per Passwort.
Außerdem ist die Datei kein Sicherheitsmechanismus. Sie ist öffentlich lesbar, und seriöse Crawler halten sich daran, böswillige Programme nicht zwingend. Sensible Verzeichnisse gehören nicht allein dort eingetragen.
Bedeutung für SEO und KI-Crawler
Mit der Datei lassen sich unwichtige Bereiche wie Filterkombinationen oder interne Suchseiten vom Crawling ausnehmen. Auch zahlreiche KI-Anbieter orientieren sich daran: Wer bestimmte KI-Crawler zulassen oder ausschließen möchte, trägt deren User-Agent dort ein. Das beeinflusst, ob Inhalte in KI-Antworten verwendet werden können.
Ob Regeln korrekt greifen, zeigt ein SEO-Check der technischen Grundlagen. Auch die Search Console meldet Abrufprobleme.
Typische Fehler
Der folgenschwerste Fehler ist ein „Disallow: /“ für alle Crawler, das nach einem Relaunch aus der Testumgebung übernommen wurde und die gesamte Website sperrt. Ebenso häufig werden CSS- und JavaScript-Dateien blockiert, sodass Google Seiten nicht korrekt darstellen kann.
Auch Tippfehler in Pfaden, falsche Groß- und Kleinschreibung oder ein Server, der statt der Datei eine Fehlerseite ausliefert, führen zu unerwartetem Verhalten.
Vor Änderungen empfiehlt sich ein Test, etwa mit dem Robots-Bericht der Search Console oder einem Parser. Außerdem sollte jede Anpassung dokumentiert werden, damit sich später nachvollziehen lässt, warum ein Bereich gesperrt wurde. Gerade bei mehreren Beteiligten gehen solche Gründe sonst schnell verloren.
Vor Änderungen empfiehlt sich ein Test, etwa mit dem Robots-Bericht der Search Console oder einem Parser. Außerdem sollte jede Anpassung dokumentiert werden, damit sich später nachvollziehen lässt, warum ein Bereich gesperrt wurde. Gerade bei mehreren Beteiligten gehen solche Gründe sonst schnell verloren.