Wie erkennen wir unfaire KI-Entscheidungen?

Das Problem

Ein Programm lernt aus Daten der Vergangenheit. Wenn in diesen Daten Vorurteile stecken, übernimmt es sie. Ein Beispiel aus der Praxis vieler Länder: Wenn früher überwiegend Männer für Führungsstellen eingestellt wurden, «lernt» eine KI, Männer besser zu bewerten. Niemand hat das gewollt, und doch passiert es.

Solche Verzerrungen nennt man Bias. Sie sind schwer zu sehen, weil das Ergebnis neutral und mathematisch aussieht. Eine Zahl wirkt objektiver als eine Meinung, auch wenn sie es nicht ist.

Für Sie als Betrieb, Gemeinde oder Schule heisst das: Wer KI bei Entscheidungen über Menschen einsetzt, sollte prüfen, ob sie fair arbeitet. Das geht auch ohne Statistikstudium, mit etwas Sorgfalt und einer klaren Vorgehensweise.

So lösen Sie es mit KI – Schritt für Schritt

1. Einsatz benennen: Wofür nutzen Sie KI bei Menschen? Bewerbungen, Kundenbewertung, Preise, Zulassungen, Antworten im Kundenservice?
2. Geschützte Merkmale festlegen: Welche Merkmale dürfen keine Rolle spielen? Zum Beispiel Geschlecht, Alter, Herkunft, Name, Religion, Behinderung, Familienstand.
3. Vergleichsfälle bilden: Erfinden Sie zwei Fälle, die sich nur in einem Merkmal unterscheiden, etwa Bewerbungen mit gleichem Lebenslauf, aber anderem Vornamen.
4. Ergebnisse vergleichen: Fällt die Beurteilung gleich aus? Wiederholen Sie den Test mit mehreren Paaren, weil einzelne Antworten schwanken können.
5. Gruppen ansehen: Prüfen Sie bei echten Fällen, ob bestimmte Gruppen deutlich häufiger abgelehnt, höher eingestuft oder strenger behandelt werden. Verwenden Sie dafür nur Daten, die Sie rechtmässig auswerten dürfen.
6. Ursachen suchen: Hängt die Auffälligkeit an den Eingaben, am Programm oder an Ihren eigenen Kriterien? Sprechen Sie mit der Anbieterin.
7. Korrigieren: Entfernen Sie unnötige Merkmale, schärfen Sie die Anweisung, führen Sie eine menschliche Kontrolle ein oder verzichten Sie auf den Einsatz.
8. Regelmässig wiederholen: Prüfen Sie nach jeder Änderung und mindestens einmal pro Jahr neu.

Vorlage zum Kopieren

Mit dieser Vorlage lassen Sie sich Testfälle für Ihren Fairness-Test entwerfen. Verwenden Sie dafür erfundene Beispiele, keine echten Personendaten.

Ich möchte prüfen, ob unser KI-Einsatz bei [Aufgabe, z. B. Vorsortieren von Bewerbungen] fair arbeitet.
Erstelle fünf Paare von erfundenen Fällen. In jedem Paar sollen sich die beiden Fälle nur in einem Merkmal unterscheiden: [z. B. Vornamen, Alter, Geschlecht, Nationalität].
Alle anderen Angaben bleiben gleich. Halte die Fälle kurz und realistisch für die Schweiz.
Schlage danach eine Tabelle vor, in der ich die Ergebnisse je Paar eintrage, und erkläre, welche Unterschiede ich als auffällig werten soll.

Setzen Sie Ihre Aufgabe und das Merkmal ein. Geben Sie die Fälle dann an das Programm, das Sie prüfen wollen, und halten Sie die Ergebnisse fest.

Worauf Sie achten müssen

• Einzeltests täuschen: KI-Antworten schwanken. Wiederholen Sie Tests mehrfach, bevor Sie Schlüsse ziehen.
• Kein Beweis der Fairness: Wenn der Test nichts zeigt, heisst das nicht, dass keine Verzerrung existiert. Er findet nur, wonach Sie suchen.
• Datenschutz: Verwenden Sie für Tests erfundene Fälle. Auswertungen nach Gruppen mit echten Personendaten sind heikel und brauchen eine rechtliche Grundlage.
• Rechtlicher Rahmen: Die Bundesverfassung verbietet Diskriminierung, und das Datenschutzgesetz sowie bei EU-Bezug der EU AI Act stellen weitere Anforderungen. Wann sie im Einzelfall greifen, klärt eine Fachperson. Siehe KI und Diskriminierung im Recruiting.
• Menschen bleiben zuständig: Auffällige Ergebnisse gehören in menschliche Hände. Siehe Welche Entscheidungen Menschen selbst treffen.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Spitex-Organisation im Kanton Bern testet einen Assistenten, der Anfragen nach Dringlichkeit ordnet.

Vorher: Das Team vertraut den Ergebnissen. Später fällt einer Mitarbeiterin auf, dass Anfragen in einfachem Deutsch öfter als «weniger dringend» erscheinen.

Nachher: Das Team testet mit erfundenen Paaren, bei denen sich nur die Formulierung unterscheidet, und bestätigt den Effekt. Es passt die Anweisung an, die Dringlichkeit nur nach genannten Beschwerden zu bewerten, und lässt eine Pflegefachperson alle Fälle mit hoher Dringlichkeit im Original lesen. Nach drei Monaten wird der Test wiederholt.

Wie Sie Testergebnisse festhalten: Legen Sie eine einfache Tabelle an mit den Spalten «Fall A», «Fall B», «Unterschied im Merkmal», «Ergebnis A», «Ergebnis B» und «Auffällig? ja/nein». Wiederholen Sie jeden Test an verschiedenen Tagen, weil Programme nicht immer gleich antworten. Wenn in mehreren Paaren dieselbe Gruppe schlechter wegkommt, ist das ein Hinweis, den Sie ernst nehmen sollten. Halten Sie Datum, Programm und Anweisung fest, damit der Test später wiederholt werden kann. Bei einem klaren Befund sprechen Sie mit der Anbieterin und lassen eine Fachperson mitschauen.

So hilft Ihnen Alpasana

Wenn Mitarbeitende lernen sollen, KI bei Entscheidungen vorsichtig einzusetzen, bietet absofort die KI-Weiterbildung für Unternehmen. Laut Beschreibung gehören KI für Verwaltung, Kommunikation und Entscheidungsgrundlagen sowie Datenschutz und der verantwortungsbewusste Umgang mit Unternehmensdaten zu den Inhalten.

Für Firmenlösungen und Teambuchungen gibt es eine Kontaktmöglichkeit. Ein technisches Fairness-Audit oder eine Rechtsprüfung ist darin nicht beschrieben.

Häufige Fragen

Kann man eine KI völlig fair machen?

Nein. Es lässt sich viel verbessern, aber «fair» hat je nach Situation verschiedene Bedeutungen, die sich teils widersprechen. Wichtig ist, bewusst abzuwägen und zu kontrollieren.

Muss ich Fairness-Tests selbst durchführen?

Wenn Sie KI bei Entscheidungen über Menschen einsetzen, tragen Sie Mitverantwortung. Fragen Sie auch die Anbieterin nach Tests und Grenzen und führen Sie eigene einfache Proben durch.

Reicht es, Geschlecht und Alter aus den Daten zu löschen?

Oft nicht. Andere Angaben wie Vorname, Wohnort oder Lücken im Lebenslauf können dieselben Informationen indirekt verraten. Testen Sie deshalb die Ergebnisse, nicht nur die Eingaben.

Wo finde ich weitere Hilfe?

Lesen Sie Bias einfach erklärt und Faire Antworten von KI. Für Rechtsfragen wenden Sie sich an eine Fachperson.