Was ist verbotenes Social Scoring durch KI?

Definition

Social Scoring (auf Deutsch «soziale Bewertung») bezeichnet Systeme, die Menschen anhand ihres sozialen Verhaltens oder ihrer persönlichen Eigenschaften bewerten oder einstufen und aus der Bewertung Nachteile ableiten. Der EU AI Act verbietet solche Systeme unter bestimmten Voraussetzungen. Nach dem Verordnungstext betrifft das Bewertungen über einen bestimmten Zeitraum, die zu einer nachteiligen Behandlung führen, in sozialen Zusammenhängen, die mit den Zusammenhängen der ursprünglichen Datenerhebung nichts zu tun haben, oder die ungerechtfertigt oder unverhältnismässig sind. Das Verbot gilt für Behörden wie für private Anbieter. Massgebend ist Artikel 5; prüfen Sie die aktuelle Fassung und die Leitlinien der Kommission.

Einfach erklärt

Stellen Sie sich einen Vermieter vor, der Bewerbende nach Punkten bewertet: Wer in sozialen Netzwerken gewisse Meinungen äussert, wer abends spät einkauft oder wer Freunde mit tiefem Einkommen hat, bekommt Minuspunkte. Wer zu wenig Punkte hat, erhält keine Wohnung. Das Verhalten in einem Lebensbereich wirkt sich dann in einem ganz anderen Bereich aus. Genau diese Verknüpfung und Benachteiligung soll verhindert werden.

Beispiel

Ein Beispiel: Ein Anbieter schlägt einer Immobilienverwaltung in Basel eine KI vor, die Bewerbende für Mietwohnungen mit einem «Zuverlässigkeits-Score» bewertet, gebildet aus Online-Aktivität, Einkaufsverhalten und dem Umfeld der Person. Die Verwaltung fragt nach, woher die Daten stammen, ob sie mit der Vermietung zu tun haben und wie sich ein tiefer Wert auswirkt. Weil Daten aus verschiedenen Lebensbereichen verknüpft werden und Betroffene benachteiligt werden könnten, verzichtet sie und lässt die Frage fachlich prüfen.

Nicht verwechseln

Social Scoring ist nicht dasselbe wie jede Bewertung von Personen. Bonitätsprüfungen, Bewerbungsauswahl oder Risikoeinschätzungen sind zulässig, wenn sie einen klaren Zweck haben und zu den verwendeten Daten passen, können aber als Hochrisiko-Anwendungen strengen Regeln unterliegen, siehe Kreditwürdigkeit und Hochrisiko. Das Erstellen von Persönlichkeitsprofilen regelt der Datenschutz, siehe Profiling. Weitere verbotene Praktiken: Verbotene KI-Praktiken. Das ist keine Rechtsberatung; ziehen Sie für den Einzelfall eine Fachperson bei.

So hilft Ihnen Alpasana

Wer KI-Systeme beschafft oder einsetzt, sollte Verbote und Grundregeln kennen. Der Online-Kurs Linup: KI sicher am Arbeitsplatz vermittelt Grundregeln für den KI-Alltag: Umgang mit Daten, Prüfung von KI-Ergebnissen und Erkennen von Betrugsversuchen. Pro Person gibt es einen geordneten Schulungsnachweis. Er ersetzt keine rechtliche Prüfung eines konkreten Systems.