Schützt eine robots.txt meine Inhalte vor KI-Nutzung?

Das Problem

Sie möchten nicht, dass KI-Anbieter Ihre Texte und Bilder von Ihrer Website einsammeln, um damit ihre Modelle zu trainieren. Im Internet lesen Sie, man solle «einfach die robots.txt anpassen». Ob das wirklich reicht, wissen Sie nicht.

Eine robots.txt ist eine kleine Textdatei im Hauptordner Ihrer Website. Sie teilt Suchmaschinen und anderen Programmen (Crawlern, die Websites automatisch durchsuchen) mit, welche Bereiche sie nicht besuchen sollen. Sie folgt einem anerkannten Standard, dem Robots Exclusion Protocol, und beruht auf Freiwilligkeit: Ein Crawler liest die Datei und entscheidet selbst, ob er sich daran hält.

Viele KI-Anbieter erklären, dass ihre Crawler die Datei beachten, und nennen die Namen ihrer Programme, damit man sie gezielt ausschliessen kann. Doch die Datei ist weder ein Schloss noch ein Vertrag. Wer sich nicht daran hält, wird technisch nicht gestoppt. Und ob ein Eintrag rechtlich als Nutzungsvorbehalt gilt, ist in den Ländern unterschiedlich und teils noch offen.

So lösen Sie es mit KI – Schritt für Schritt

1. Entscheiden Sie, was Sie schützen wollen. Alles, nur Bilder, nur bestimmte Bereiche? Und wollen Sie Suchmaschinen weiter zulassen? Wer KI-Crawler sperrt, wird möglicherweise von KI-Suchen weniger gefunden. Wägen Sie bewusst ab.

1. Rufen Sie Ihre aktuelle Datei auf. Geben Sie im Browser Ihre Adresse mit «/robots.txt» ein, zum Beispiel «www.ihre-firma.ch/robots.txt». Kopieren Sie den Inhalt in ein Dokument.

1. Suchen Sie die Crawler-Namen der Anbieter. Die grossen KI-Anbieter nennen in ihrer Dokumentation die Namen ihrer Crawler und erklären, wie man sie ausschliesst. Prüfen Sie diese Angaben direkt bei den Anbietern, denn Namen ändern sich.

1. Lassen Sie Ihre Datei von der KI prüfen. Die Vorlage unten hilft, Fehler zu finden und Ergänzungen vorzuschlagen. Eine KI kann dabei auch irren, kontrollieren Sie deshalb jede Zeile.

1. Testen Sie die Datei. Prüfen Sie mit einem Scan, ob Ihre Datei erreichbar ist und gelesen wird. Ein Schreibfehler macht den ganzen Eintrag wirkungslos.

1. Ergänzen Sie Ihre Nutzungsbedingungen. Halten Sie schriftlich fest, dass automatisches Auslesen und KI-Training nicht erlaubt sind. Das dokumentiert Ihren Willen, auch wenn Maschinen den Text nicht zuverlässig lesen.

1. Sichern Sie wertvolle Inhalte technisch. Nur ein echter Zugriffsschutz, etwa ein Login, hält Programme wirklich draussen. Legen Sie hochwertige Bilder oder Dokumente nicht frei zugänglich ab.

1. Beobachten Sie die Zugriffe. Prüfen Sie Server-Protokolle oder Auswertungen auf auffällige Besucher, und passen Sie die Regeln bei Bedarf an.

Vorlage zum Kopieren

Ich betreibe die Website [Adresse] für [Branche/Betrieb].
Ich möchte, dass KI-Crawler meine Inhalte nicht zum Training
nutzen, will aber in normalen Suchmaschinen gefunden werden.
Das ist der aktuelle Inhalt meiner robots.txt:
[Inhalt einfügen]
Aufgabe:
1. Erkläre mir in einfachen Worten, was die Datei bewirkt.
2. Weise auf Schreibfehler oder Unstimmigkeiten hin.
3. Schlage Ergänzungen vor, um KI-Crawler auszuschliessen.
   Nenne nur Crawler-Namen, die du sicher kennst, und sage mir,
   dass ich sie bei den Anbietern prüfen muss.
4. Nenne Grenzen: Was kann diese Datei nicht?
Erfinde keine Rechtsaussagen.

Fügen Sie Ihre Datei ein, und prüfen Sie die vorgeschlagenen Namen anschliessend in der Dokumentation der Anbieter.

Was bewirkt die Datei, und was nicht?

Wie ist die Rechtslage in der Schweiz und in der EU?

In der EU erlaubt die Urheberrechtsrichtlinie von 2019 das automatisierte Auswerten von Inhalten (Text- und Data-Mining) unter Bedingungen, doch Rechteinhaber können sich die Nutzung vorbehalten, wenn sie das in maschinenlesbarer Form tun. Für KI-Modelle für allgemeine Zwecke verlangt der EU AI Act, dass Anbieter solche Vorbehalte beachten. Ob und wann ein robots.txt-Eintrag als ausreichender Vorbehalt gilt, wird diskutiert und ist nicht abschliessend geklärt.

In der Schweiz gibt es keine gleichlautende allgemeine Regel. Das Urheberrechtsgesetz (URG) erlaubt für wissenschaftliche Forschung technisch bedingte Vervielfältigungen von Werken, zu denen ein rechtmässiger Zugang besteht. Die Ausnahme erfasst nicht jede Forschungstätigkeit und gilt nicht für die Vervielfältigung von Computerprogrammen. Sonst gelten die allgemeinen Regeln: Wer geschützte Inhalte vervielfältigt, braucht dafür grundsätzlich eine Erlaubnis oder eine gesetzliche Ausnahme. Wie das für KI-Training im Einzelnen zu beurteilen ist, ist Stand Oktober 2026 nicht durch klare Rechtsprechung entschieden.

Vertiefend lesen Sie KI-Training: Widerspruch auf der Website und Darf KI Inhalte anderer Websites automatisch auslesen?.

Worauf Sie achten müssen

• Kein Schutz vor Kopieren per Hand: Die Datei wirkt nur gegenüber Programmen, die sie lesen.
• Rückwirkung fehlt: Was ein Crawler vor dem Eintrag gesammelt hat, bleibt dort. Eine Löschung müssen Sie beim Anbieter anfragen.
• Namen der Crawler ändern sich: Anbieter fügen neue Programme hinzu. Prüfen Sie die Angaben der Anbieter regelmässig.
• Sichtbarkeit abwägen: Eine Sperre kann dazu führen, dass Ihre Inhalte in KI-Antworten nicht mehr vorkommen.
• Rechtliche Wirkung unsicher: Verlassen Sie sich nicht allein auf die Datei, wenn Inhalte wertvoll oder streitgefährdet sind. Eine Fachperson prüft Ihren Fall.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: Eine Fotografin aus St. Gallen möchte nicht, dass KI-Anbieter ihre Portfolio-Bilder für das Training verwenden. Vorher hatte ihre Website keine Regeln für KI-Crawler, und sie wusste nicht, wer ihre Seite besucht.

Sie lässt die robots.txt anpassen und die bekannten KI-Crawler ausschliessen. Danach prüft sie mit einem Scan, ob die Datei erreichbar ist und richtig gelesen wird, und ergänzt ihre Nutzungsbedingungen um ein Verbot des automatischen Auslesens. Hochauflösende Bilder legt sie hinter einen Kundenzugang.

Nachher ist ihr Wille klar dokumentiert und seriöse Crawler werden ferngehalten. Sie weiss aber auch: Vollständig abgesichert sind die öffentlichen Bilder damit nicht, und rechtlich bleibt manches offen.

So hilft Ihnen Alpasana

Mit der KI-Console prüfen Sie kostenlos und ohne Anmeldung, wie KI-Systeme Ihre Website lesen können: Crawler-Zugriff, robots.txt, Sitemap, Metadaten, strukturierte Daten und llms.txt. Sie sehen Score, erkennbare Hindernisse und Verbesserungshinweise, und je nach Paket auch, welche erfassten Crawler Ihre Seite tatsächlich besuchen.

Die KI-Console prüft technische Signale. Eine rechtliche Bewertung Ihres Vorbehalts ersetzt sie nicht.

Häufige Fragen

Muss ich KI-Crawler sperren?

Nein, das ist eine Entscheidung Ihres Betriebs. Sperren schützt Inhalte vor einigen Crawlern, kann aber Ihre Sichtbarkeit in KI-Suchen verringern. Wägen Sie ab, was für Ihr Geschäft wichtiger ist.

Reicht ein Hinweis im Impressum?

Ein Hinweis in den Nutzungsbedingungen kann Ihre Haltung dokumentieren und ist sinnvoll. Maschinen lesen ihn aber nicht zuverlässig. Kombinieren Sie ihn mit der robots.txt und, wo nötig, mit einem Zugriffsschutz.

Gilt die robots.txt auch für Bilder und PDF-Dateien?

Sie kann Pfade zu Bildern und Dokumenten ausschliessen. Ob ein Crawler sie beachtet, hängt wieder von seiner Freiwilligkeit ab. Bereits öffentlich verlinkte Dateien finden sich möglicherweise auch über andere Seiten.