Darf KI Inhalte anderer Websites automatisch auslesen?

Das Problem

Sie möchten Preise von Mitbewerbern beobachten, Stelleninserate sammeln oder Fachartikel für eine interne Auswertung zusammentragen. Ein Programm oder ein KI-Agent könnte das automatisch erledigen: Seiten abrufen, Inhalte herausziehen, in eine Tabelle schreiben. Man nennt das Web Scraping.

Technisch ist das oft einfach, weil die Inhalte öffentlich im Browser sichtbar sind. Doch «öffentlich sichtbar» bedeutet nicht «frei verwendbar». Texte, Bilder und Datensammlungen anderer sind regelmässig geschützt, und die Betreiber der Seiten haben ihre eigenen Regeln.

Dazu kommt, dass KI-Agenten Websites in grossem Umfang und ausdauernd besuchen können. Das kann Server belasten, Bedingungen verletzen und Personendaten berühren. Wer hier unvorbereitet loslegt, riskiert Sperren und im schlimmsten Fall rechtliche Folgen.

So lösen Sie es mit KI – Schritt für Schritt

1. Legen Sie Ziel und Umfang fest. Welche Daten brauchen Sie genau, wie oft und wozu? Eine einmalige Handvoll Preise ist anders zu beurteilen als ein Dauerlauf, der eine ganze Website kopiert.

1. Suchen Sie eine erlaubte Quelle. Viele Anbieter stellen eine offizielle Schnittstelle (API), Datenexporte oder Lizenzen bereit. Auch öffentliche Register und Open-Data-Angebote sind oft ausdrücklich zur Nutzung gedacht.

1. Lesen Sie die Nutzungsbedingungen. Suchen Sie nach Stichwörtern wie «automatisiert», «Crawler», «Scraping», «Data-Mining» oder «Wiederverwendung». Viele Seiten verbieten das automatische Auslesen ausdrücklich.

1. Beachten Sie die technischen Signale. Die robots.txt sagt, welche Bereiche Betreiber nicht besucht haben möchten. Sie ist freiwillig, aber ein klares Zeichen. Mehr dazu unter Schützt eine robots.txt meine Inhalte?. Umgehen Sie keine Zugangssperren wie Logins oder Bezahlschranken.

1. Prüfen Sie den Inhalt rechtlich. Texte, Bilder und Grafiken sind meist urheberrechtlich geschützt. Auch eine systematisch aufgebaute Datensammlung kann geschützt sein. Die Schweiz kennt kein eigenes Datenbankrecht wie die EU, doch das Gesetz gegen den unlauteren Wettbewerb (UWG) schützt unter Umständen vor der Übernahme fremder Arbeitsergebnisse mit technischen Mitteln.

1. Prüfen Sie Personendaten. Enthalten die Daten Namen, Fotos oder Kontaktdaten, gilt das Datenschutzgesetz (DSG). Auch öffentlich zugängliche Personendaten dürfen nicht beliebig gesammelt und verwendet werden.

1. Begrenzen Sie die Belastung. Wenn Sie automatisch abrufen, dann langsam und mit Pausen. Eine Überlastung der fremden Seite kann den Betrieb stören.

1. Fragen Sie nach. Bei wichtigen Quellen schreiben Sie dem Betreiber und fragen nach einer Erlaubnis oder Datenlieferung. Dokumentieren Sie die Antwort.

Vorlage zum Kopieren

Hilf mir, ein Vorhaben zum automatischen Auslesen von Websites
zu prüfen, bevor ich es umsetze.
Zweck: [z. B. Preisvergleich für unseren Onlineshop].
Quellen: [Adressen der Websites].
Daten: [z. B. Produktnamen, Preise, Texte, Bilder, Personendaten ja/nein].
Häufigkeit: [einmalig / täglich / laufend].
Erstelle eine Prüfliste mit: Gibt es eine API oder Lizenz?
Was sagen Nutzungsbedingungen und robots.txt? Urheberrecht?
Personendaten? Technische Belastung? Alternativen.
Markiere alle Punkte, die ich bei den Websites selbst nachlesen
oder rechtlich klären muss. Gib keine rechtlichen Zusagen.

Tragen Sie Ihre Angaben ein. Was die KI als erledigt meldet, prüfen Sie anschliessend selbst.

Welche Wege sind wie heikel?

Worauf Sie achten müssen

• KI-Agenten handeln schnell: Ein Agent kann in kurzer Zeit sehr viele Seiten abrufen. Legen Sie Grenzen für Menge und Geschwindigkeit fest und überwachen Sie den Lauf.
• Nutzungsbedingungen prüfen: Nutzungsbedingungen können je nach Einbeziehung und den Umständen vertraglich gelten. Ein Verstoss kann Folgen haben; die rechtliche Einordnung ist im Einzelfall zu prüfen.
• Zugangssperren nie umgehen: Das Überwinden von Schutzmassnahmen kann strafrechtlich relevant sein. Lassen Sie solche Vorhaben fachlich prüfen.
• Qualität der Daten: Ausgelesene Daten können fehlerhaft oder veraltet sein. Prüfen Sie Stichproben, bevor Sie Entscheidungen darauf stützen.
• Wettbewerbsrecht: Wer fremde Inhalte übernimmt und als eigene Leistung ausgibt, kann gegen das UWG verstossen.
• Keine Rechtsberatung: Für systematisches Auslesen im geschäftlichen Umfeld holen Sie rechtlichen Rat ein.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: Ein kleiner Onlineshop für Wanderausrüstung in Interlaken möchte täglich die Preise von sechs Mitbewerbern beobachten. Ein Mitarbeiter will dafür einen KI-Agenten bauen, der die Produktseiten abruft und in eine Tabelle überträgt.

Die Geschäftsführerin lässt zuerst die Vorlage durchlaufen. Dabei zeigt sich: Zwei Seiten verbieten automatisches Auslesen in den Bedingungen, eine bietet eine Preisschnittstelle für Händler an, und auf dreien enthalten die Produktseiten urheberrechtlich geschützte Bilder und Texte.

Der Shop nutzt die Schnittstelle, beobachtet die übrigen Preise von Hand und kauft für zwei Quellen einen Datenfeed. Der Agent ruft nur noch erlaubte Daten ab. Die Prüfnotizen liegen im Ordner, die Mitarbeitenden kennen die Regeln.

So hilft Ihnen Alpasana

Wenn Sie fremde Websites automatisiert auslesen, vermittelt KI für Developer mit Claude und Codex auf absofort Grundlagen zu LLMs, Grenzen und Datenschutz sowie zum Prüfen von KI-Ergebnissen. Das unterstützt die Entwicklung nachvollziehbarer automatisierter Abläufe. Eine rechtliche Beurteilung des Scraping-Projekts ist nicht Teil des Kurses.

Häufige Fragen

Darf ich Daten auslesen, die ohne Anmeldung sichtbar sind?

Nicht automatisch. Sichtbar heisst nicht lizenziert. Urheberrecht, Nutzungsbedingungen und gegebenenfalls Datenschutz gelten auch für öffentlich zugängliche Seiten.

Reicht es, die robots.txt zu beachten?

Sie ist ein wichtiges Signal und sollte beachtet werden, ersetzt aber nicht die Prüfung von Nutzungsbedingungen, Urheberrecht und Datenschutz. Dass die Datei etwas nicht verbietet, heisst nicht, dass alles erlaubt ist.

Darf die KI eine einzelne Seite für mich zusammenfassen?

Eine einzelne Seite für den eigenen Gebrauch zu lesen und zusammenzufassen ist weniger heikel als systematisches Auslesen. Beachten Sie trotzdem die Bedingungen des Anbieters und veröffentlichen Sie keine wörtlichen Auszüge ohne Erlaubnis.