robots.txt

Definition

Die robots.txt ist eine einfache Textdatei, die im obersten Verzeichnis einer Website liegt, also unter ihre-domain.ch/robots.txt. Sie teilt automatisierten Programmen, den Crawlern (auch Bots genannt), mit, welche Bereiche der Website sie abrufen sollen und welche nicht.

Das Verfahren heisst Robots Exclusion Protocol und ist seit Langem im Einsatz. Es wurde von der Internet-Standardisierungsorganisation IETF als Standard beschrieben (RFC 9309).

Einfach erklärt

Stellen Sie sich ein Schild am Eingang eines Geländes vor: «Besucher bitte nur bis zum Empfang, Lager und Büros sind nicht öffentlich.» Das Schild ist keine verschlossene Tür. Wer sich daran hält, bleibt draussen, wer nicht, könnte trotzdem hineingehen.

Genauso ist die robots.txt eine Anweisung, an die sich seriöse Crawler halten. Sie nennt den Namen des Bots und sagt, welche Pfade erlaubt oder gesperrt sind. Einige KI-Anbieter geben eigene Bot-Namen bekannt, die Sie dort ansprechen können. Die aktuellen Namen finden Sie in der Dokumentation des jeweiligen Anbieters.

User-agent: *
Disallow: /intern/

Sitemap: https://ihre-domain.ch/sitemap.xml

Dieses Beispiel erlaubt allen Crawlern die Website, ausser dem Ordner «intern», und nennt die Sitemap.

Beispiel

Ein Beispiel: Ein Weinhändler in der Region Baden betreibt einen Online-Shop. Er möchte, dass Suchmaschinen seine Produktseiten finden, aber nicht den Warenkorb und den Kundenbereich. Seine Webagentur trägt diese Pfade in der robots.txt ein. Anschliessend prüft er mit einem Online-Werkzeug, ob die Datei erreichbar und fehlerfrei ist. Ob er auch KI-Bots zulassen oder sperren will, entscheidet er bewusst: Zulassen kann die Auffindbarkeit in KI-Antworten erhöhen, Sperren schützt Inhalte nur gegenüber Bots, die sich daran halten.

Nicht verwechseln

Die robots.txt ist nicht dasselbe wie eine Sitemap, die der Suchmaschine die vorhandenen Seiten nennt, und auch nicht wie llms.txt, eine Datei, die Inhalte für Sprachmodelle aufbereitet. Sie verhindert auch nicht, dass eine gesperrte Seite in Ergebnislisten auftaucht, wenn andere darauf verweisen. Und sie ist keine Sicherheitsmassnahme: Böswillige Bots ignorieren sie, und die Datei verrät, welche Bereiche Sie sperren. Wer Zugriffe wirklich verhindern will, braucht technische Zugriffsschutzmassnahmen.

So hilft Ihnen Alpasana

Ob Ihre robots.txt richtig arbeitet und wie KI-Systeme Ihre Website lesen können, prüft die KI-Console. Der kostenlose öffentliche Live-Scan ohne Anmeldung untersucht Crawler-Zugriff, robots.txt, Sitemap, Metadaten, strukturierte Daten, Seitenlesbarkeit und llms.txt und liefert Score, erkennbare Hindernisse und Verbesserungshinweise.