Wie protokollieren wir KI-Fehler ohne unnötige Personendaten?

Das Problem

Die KI hat gestern eine seltsame Antwort geliefert. Die IT möchte der Sache nachgehen und fragt: «Haben wir das Gespräch gespeichert?» Wenn nein, kann sie den Fehler nicht nachvollziehen. Wenn ja, liegen vielleicht Namen, Kundendaten und vertrauliche Angaben im Protokoll, auf die viele Leute Zugriff haben.

Dieses Dilemma kennen viele Betriebe. Ohne Protokoll ist die Fehlersuche schwierig. Mit vollständigen Gesprächsprotokollen entsteht aber ein Datenspeicher mit sensiblen Inhalten, der Pflichten nach sich zieht: Schutz, Zugriffsregeln, Aufbewahrung, Auskunft und Löschung.

Der Mittelweg heisst Datensparsamkeit: so viel wie nötig, so wenig wie möglich. Meist genügen technische Angaben, und nur in begründeten Fällen werden Inhalte kurzzeitig gespeichert.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie den Zweck. Wozu brauchen Sie Protokolle? Fehlersuche, Qualitätssicherung, Nachvollziehbarkeit, Nutzungsstatistik? Jeder Zweck verlangt andere Angaben.
2. Wählen Sie die Mindestangaben. Für die Fehlersuche genügen meist Zeitstempel, Anfrage-Nummer, Fehlerart, Antwortdauer, verwendetes Modell und Version, grobe Grösse der Anfrage und Statuscode. Das sind technische Angaben, keine Inhalte.
3. Verzichten Sie auf Inhalte als Standard. Fragen und Antworten werden nicht standardmässig gespeichert. Siehe Anfragen nachverfolgen.
4. Regeln Sie Ausnahmen. Wenn ein Fall untersucht werden muss, kann der Inhalt vorübergehend gesichert werden, mit Begründung, Verantwortlichem und Löschdatum. Die betroffene Person soll informiert sein, wo das nötig ist.
5. Entfernen Sie Personendaten. Wo Inhalte gespeichert werden, sollten Namen, Adressen, Nummern und ähnliche Angaben vorher maskiert werden, siehe Personendaten entfernen.
6. Legen Sie die Aufbewahrungsdauer fest. Technische Protokolle kürzer, Ausnahmefälle kürzestmöglich. Siehe Speicherdauer von Chatverläufen.
7. Begrenzen Sie den Zugriff. Nur wenige Personen mit Auftrag dürfen Protokolle lesen. Zugriffe werden festgehalten.
8. Informieren Sie und prüfen Sie. Teilen Sie den Nutzenden mit, was protokolliert wird, und überprüfen Sie die Regeln jährlich.

Vorlage zum Kopieren

Mit dieser Checkliste prüfen Sie Ihre Protokollierung. Die Antworten gehören in Ihr Datenschutz-Dokument.

Prüfliste Protokollierung für [Name des KI-Systems]

1. Zweck: Wofür werden Protokolle geführt? [Fehlersuche / Qualität / Statistik / Nachvollziehbarkeit]
2. Welche Angaben werden gespeichert? [Zeitstempel, Fehlerart, Dauer, Modell/Version, ...]
3. Werden Fragen und Antworten gespeichert? [nein / ja, weil ...]
4. Falls ja: Werden Namen und Nummern vorher maskiert? [ja/nein]
5. Wo liegen die Protokolle (Rechner, Server, Dienstleister, Land)? [Angabe]
6. Wie lange werden sie aufbewahrt? [Dauer] Wer löscht sie, und wie wird es nachgewiesen? [Person, Verfahren]
7. Wer darf sie lesen? [Rollen] Werden Zugriffe festgehalten? [ja/nein]
8. Sind die Protokolle geschützt (Verschlüsselung, Zugriffsrechte)? [Angabe]
9. Wissen die Nutzenden, was protokolliert wird? [wo informiert]
10. Wie beantworten wir Auskunfts- oder Löschanfragen, die Protokolle betreffen? [Verfahren]
11. Nächste Überprüfung: [Datum]

Setzen Sie bei jedem Punkt eine verantwortliche Person und ein Datum. Offene Punkte klären Sie mit Ihrer Datenschutzstelle.

Worauf Sie achten müssen

• Rechtliche Grundsätze: Das Schweizer Datenschutzgesetz verlangt unter anderem Verhältnismässigkeit, Zweckbindung und Datensicherheit. Daten dürfen nur so lange gespeichert werden, wie es für den Zweck nötig ist. Prüfen Sie den Einzelfall mit Ihrer Datenschutzstelle.
• Pseudonymisieren ist nicht anonymisieren: Wenn Sie Personen über Zusatzwissen wieder erkennen können, bleiben es Personendaten.
• Protokolle sind angreifbar: Sie sind oft weniger gut geschützt als die Hauptdaten, enthalten aber ähnlich sensible Informationen. Schützen Sie sie gleich.
• Dienstleister: Wenn externe Dienste Protokolle speichern, klären Sie Standort und Zugriff, siehe Datenschutz Schweiz.
• Auskunft und Löschung: Protokolle mit Personenbezug fallen unter diese Rechte. Beachten Sie sie bei der Planung.
• Mitarbeitende: Protokolle können auch das Verhalten von Mitarbeitenden zeigen. Klären Sie mit Personal und Datenschutz, was zulässig ist.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Stiftung im Kanton Aargau nutzt einen internen KI-Assistenten für Textentwürfe. Die Standardeinstellung des Systems speichert alle Gespräche unbefristet.

Vorher liegen darin Namen von Begünstigten und vertrauliche Briefentwürfe, zugänglich für die gesamte IT. Nachher stellt die IT auf technische Protokolle um: Zeit, Fehlerart, Dauer, Modellversion und Anfrage-Nummer. Inhalte werden nur im Ausnahmefall für eine Fehlersuche gesichert, mit Freigabe der Datenschutzverantwortlichen und Löschung nach wenigen Tagen. Die Stiftung informiert die Mitarbeitenden in der Nutzungsrichtlinie und prüft die Regelung jährlich.

So hilft Ihnen Alpasana

Datensparsame Protokollierung ist Teil von Einsatzregeln für KI. Die KI-Beratung und digitale Transformation von Alpasana unterstützt dabei, KI-Agenten und Assistenten mit Einsatzregeln einzuführen, Prozesse aufzunehmen und die Umsetzung zu dokumentieren.

Rechtliche Beurteilungen im Einzelfall erhalten Sie bei Ihrer Datenschutz- oder Rechtsberatung. Projekte werden individuell offeriert.

Häufige Fragen

Kann ich ohne Gesprächstexte Fehler finden?

Oft ja, denn viele Fehler zeigen sich in technischen Angaben. Für inhaltliche Fehler reichen manchmal Rückmeldungen der Nutzenden samt gezielter Nachstellung mit erfundenen Daten.

Wie lange darf ich Protokolle aufbewahren?

So lange, wie der Zweck es verlangt, und nicht länger. Technische Protokolle meist kürzer als Ausnahmefälle. Legen Sie Fristen schriftlich fest und prüfen Sie sie mit Ihrer Datenschutzstelle.

Darf die KI ihre Gespräche selbst protokollieren?

Das hängt vom System. Prüfen Sie die Einstellungen und fragen Sie den Anbieter, was standardmässig gespeichert wird.

Was ist mit Rückmeldungen der Nutzenden?

Die sind sehr hilfreich. Sammeln Sie sie gezielt und ohne Gesprächsinhalt, siehe Nutzerfeedback auswerten.