Wie erkenne ich Vorurteile in KI-Fallzusammenfassungen?

Das Problem

Eine KI hat aus Gesprächsnotizen eine Fallzusammenfassung formuliert. Sie liest sich flüssig, aber an manchen Stellen stolpert die Fachperson: «Der Klient zeigt wenig Eigeninitiative.» «Die Mutter wirkt überfordert.» «Aufgrund seiner Herkunft ist mit Schwierigkeiten zu rechnen.» Solche Sätze standen so nicht in den Notizen. Die KI hat gedeutet, verallgemeinert oder Vorurteile übernommen, die in ihren Trainingsdaten stecken.

In der Sozialen Arbeit sind solche Formulierungen heikel. Berichte beeinflussen Entscheidungen über Unterstützung, Massnahmen und Chancen. Eine einseitige oder abwertende Beschreibung kann Menschen schaden, besonders wenn sie unbemerkt in Akten gelangt und später von anderen gelesen wird.

KI-Systeme lernen aus Texten, die Stereotype enthalten, und können diese wiedergeben, auch ohne dass jemand es will. Das ist keine Bosheit, sondern eine bekannte Eigenschaft solcher Systeme. Umso wichtiger sind Aufmerksamkeit und feste Prüfschritte.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie, ob KI-Zusammenfassungen erlaubt sind. Echte Falldaten dürfen nur in Systemen verarbeitet werden, die Ihre Institution freigegeben hat. Siehe ChatGPT und Schweigepflicht.

1. Geben Sie klare Vorgaben. Verlangen Sie: nur Fakten aus dem Text, wörtliche Aussagen als Zitat, keine Deutungen, keine Wertungen, keine Annahmen zu Herkunft, Geschlecht, Alter oder Lebensstil.

1. Lesen Sie die Zusammenfassung gegen das Original. Satz für Satz: Steht das so in den Notizen? Wurde etwas hinzugefügt, weggelassen oder umgedeutet?

1. Prüfen Sie auf typische Warnzeichen. Siehe Tabelle unten: wertende Adjektive, Verallgemeinerungen («typisch», «immer»), Schuldzuweisungen, Annahmen über Gruppen, unbelegte Charakterisierungen.

1. Testen Sie mit Gegenbeispielen. Ersetzen Sie in einem anonymisierten Beispiel Geschlecht oder Herkunft der Person und vergleichen Sie, ob die Beschreibung sich unterscheidet. Das macht Verzerrungen sichtbar.

1. Lassen Sie neutral umformulieren. Bitten Sie die KI, Wertungen zu kennzeichnen. Aber verlassen Sie sich nicht darauf, dass sie alle findet. Die eigene Prüfung bleibt notwendig.

1. Trennen Sie Beobachtung und Einschätzung. Beobachtungen stehen im Bericht, Einschätzungen sind als solche mit Namen der Fachperson gekennzeichnet. Das erleichtert die Kontrolle.

1. Besprechen Sie Funde im Team. Sammeln Sie Beispiele für problematische Formulierungen und besprechen Sie sie. Das schärft den Blick und verbessert die Vorgaben.

1. Dokumentieren Sie die Regel. Halten Sie in einer Teamregel fest, wie mit KI-Entwürfen umgegangen wird, wer prüft und dass die Verantwortung bei der Fachperson liegt.

Warnzeichen in KI-Texten

Vorlage zum Kopieren

Du bist Assistent für Dokumentation in einer Schweizer sozialen
Institution. Dies ist eine Übung mit anonymisierten oder erfundenen
Angaben.
Fasse die folgenden Notizen in höchstens 150 Wörtern zusammen.
Regeln: Verwende ausschliesslich Aussagen aus den Notizen. Gib
Aussagen der Person als Zitat oder mit «sagt, dass» wieder. Verwende
keine wertenden Adjektive, keine Deutungen, keine Annahmen über
Herkunft, Geschlecht, Alter oder Lebensstil und keine Schuldzuweisung.
Wenn etwas unklar ist, schreibe «unklar:».
Prüfe danach deine eigene Zusammenfassung und liste Formulierungen
auf, die wertend oder deutend sein könnten (nur markieren, nicht
umdeuten).
Notizen: [anonymisierte Notizen einfügen]

Mit dem Zusatz zur Selbstprüfung erhalten Sie eine Hilfe, ersetzen aber nicht Ihre eigene Kontrolle.

Worauf Sie achten müssen

• Verzerrungen sind eingebaut: KI übernimmt Muster aus ihren Trainingsdaten, darunter Stereotype. Das lässt sich nicht vollständig ausschalten.
• Diskriminierungsverbot: Persönlichkeitsrechte und das Verbot ungerechtfertigter Benachteiligung gelten auch bei der Verwendung von KI. Wie weit das im Einzelfall reicht, klärt eine Fachperson, siehe KI-Recruiting und Diskriminierung für ein verwandtes Beispiel.
• Datenschutz: Fallangaben sind besonders schützenswert. Das Datenschutzgesetz verlangt Sorgfalt. Nur freigegebene Systeme verwenden, siehe Datenschutz bei KI: Grundlagen.
• Erfundene Details: KI kann Dinge hinzufügen, die nicht stimmen. Vergleichen Sie mit dem Original, siehe Halluzinationen einfach erklärt.
• Verantwortung bleibt: Die Fachperson verantwortet jeden Bericht. «Die KI hat das geschrieben» entlastet nicht.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Team einer Beratungsstelle im Kanton St. Gallen testet in einer Übung eine KI-Zusammenfassung mit erfundenen Beispielen. Dieselben Notizen werden zweimal verwendet, einmal mit einem Schweizer Namen und einmal mit einem Namen aus dem Balkan.

Die Zusammenfassungen unterscheiden sich: Im zweiten Text steht, die Person «müsse die Sprache besser lernen» und «habe Schwierigkeiten mit Integration», obwohl in den Notizen nichts davon steht. Das Team ist überrascht und sammelt solche Beispiele.

Daraus entsteht eine Teamregel: KI-Entwürfe nur ohne echte Daten üben, jede Zusammenfassung gegen das Original prüfen und Wertungen streichen. Die Prüfliste hängt am Arbeitsplatz.

So hilft Ihnen Alpasana

Absofort bietet KI-Weiterbildung für Unternehmen an: von den Grundlagen bis zum Executive-Diplomlehrgang, mit Schweizer Praxisbezug, Datenschutz als Lerninhalt und verantwortungsbewusstem Umgang mit Unternehmensdaten. Die Kurse laufen online im eigenen Tempo mit verifizierbaren Abschlüssen, und es gibt eine Kontaktmöglichkeit für Firmenlösungen und Teambuchungen.

Fachliche Beratung zur Sozialen Arbeit oder Diskriminierungsrecht gehört nicht zum belegten Angebot.

Häufige Fragen

Kann ich der KI sagen, sie solle «neutral» sein?

Das hilft etwas, garantiert aber nichts. Klare Vorgaben (nur Fakten, keine Wertungen) und Ihre Prüfung sind wichtiger als das Wort «neutral».

Gibt es eine KI, die keine Vorurteile hat?

Nein. Alle Systeme sind geprägt von den Daten, mit denen sie trainiert wurden. Entscheidend ist der Umgang: prüfen, dokumentieren, Verantwortung behalten.

Was ist, wenn ein Bericht bereits Wertungen enthält?

Korrigieren Sie ihn vor der Weitergabe. Ist er schon weitergegeben, klären Sie mit der Leitung, wie die Korrektur erfolgt. Mehr zur Dokumentation: Fallnotizen mit KI.

Soll ich Klientinnen sagen, dass KI im Einsatz ist?

Transparenz ist wichtig. Wie und ob Sie informieren, regeln Sie mit Ihrer Leitung nach den Vorgaben Ihrer Institution.