Darf KI Menschen nach biometrischen Merkmalen einteilen?

Das Problem

Ein Anbieter zeigt Ihnen eine Software, die in Kamerabildern erkennt, wer «Stammkunde» ist, welches Alter jemand hat und wie er sich wohl fühlt. Eine Gesichtsanalyse könne sogar Rückschlüsse auf Herkunft oder Einstellungen ziehen, heisst es. Das klingt nach mächtigen Marketingdaten, aber auch nach etwas, das nicht ganz geheuer ist.

Der Anbieter spricht von biometrischer Kategorisierung: Menschen werden anhand körperlicher Merkmale in Gruppen eingeteilt. Das Gesicht, die Stimme oder der Gang sind biometrische Daten, also Daten, die sich auf Körper oder Verhalten einer Person beziehen und sie erkennbar machen können.

Das Datenschutzrecht behandelt solche Daten als besonders heikel, und der EU AI Act verbietet bestimmte Kategorisierungen ausdrücklich. Wer eine solche Technik kauft oder einsetzt, sollte vorher genau hinschauen.

Was ist verboten, was nicht?

In der Schweiz zählen biometrische Daten, die eine Person eindeutig identifizieren, nach dem Datenschutzgesetz zu den besonders schützenswerten Personendaten. Mehr dazu unter Sensible Daten und KI.

So lösen Sie es mit KI – Schritt für Schritt

1. Beschreiben Sie das Vorhaben. Wer wird erfasst (Kundschaft, Mitarbeitende, Besuchende)? Mit welchem Gerät, zu welchem Zweck, welche Ergebnisse liefert das System?
2. Klären Sie, welche Daten verarbeitet werden. Gesicht, Stimme, Gang, Fingerabdruck? Werden einzelne Personen erkannt oder nur gezählt?
3. Prüfen Sie, welche Rückschlüsse das System zieht. Altersgruppe, Geschlecht, Stimmung oder auch sensible Merkmale wie Herkunft, Religion, Orientierung? Letzteres ist ein Alarmzeichen.
4. Fragen Sie den Anbieter. Welche Merkmale werden abgeleitet, wie wird die Einordnung begründet, wie genau ist das System, welche Risiken sieht er? Schriftlich festhalten.
5. Prüfen Sie auf Verbote und Hochrisiko. Gleichen Sie mit der aktuellen amtlichen Fassung und den Leitlinien ab. Bei möglichem Verbot stoppen Sie das Vorhaben, bis eine Fachperson geklärt hat.
6. Prüfen Sie den Datenschutz. Rechtsgrundlage, Information der Betroffenen, Datenminimierung, Speicherdauer, Datenschutz-Folgenabschätzung. Biometrische Daten verlangen besonders strenge Massstäbe, siehe Datenschutz-Folgenabschätzung.
7. Prüfen Sie Alternativen. Geht es auch ohne Gesichtsdaten, etwa mit Zählung ohne Identifikation, Anmeldung per Karte, freiwilliger Umfrage?
8. Dokumentieren Sie den Entscheid. Halten Sie Prüfung, Ergebnis und Beteiligte fest. Bei Zweifeln verzichten Sie.

Vorlage zum Kopieren

Mit diesem Auftrag bereiten Sie Fragen an den Anbieter vor. Beschreiben Sie nur das Produkt, keine echten Personen:

Wir prüfen den Einsatz eines Systems zur Analyse von Kamerabildern in [Betrieb, Ort in der Schweiz] mit folgender Funktion: [z. B. Schätzung von Altersgruppe und Stimmung von Besuchenden].
Erstelle eine Liste mit 12 Fragen an den Anbieter, die klären:
1. Welche biometrischen Daten verarbeitet das System, und werden Personen identifiziert oder nur gezählt?
2. Welche Merkmale werden abgeleitet, und werden Rückschlüsse auf sensible Merkmale (Herkunft, Religion, politische Meinung, Orientierung) gezogen?
3. Wie genau ist das System, wie wird es getestet, wie werden Fehler behandelt?
4. Wo und wie lange werden die Daten gespeichert?
5. Wie stuft der Anbieter das System nach dem EU AI Act und dem Datenschutzrecht ein?
Gib keine Rechtsberatung und erfinde keine Gesetzesartikel.

Verwenden Sie die Fragen schriftlich gegenüber dem Anbieter und besprechen Sie die Antworten mit einer Fachperson.

Worauf Sie achten müssen

• Verbotene Ableitungen: Rückschlüsse auf sensible Merkmale aus biometrischen Daten sind verboten. Eine Software, die damit wirbt, ist ein Warnsignal.
• Ungenaue Technik: Solche Systeme machen Fehler und sind für manche Gruppen weniger genau. Das führt zu Diskriminierung.
• Einwilligung reicht nicht immer: Für besonders heikle Verarbeitungen genügt eine einfache Zustimmung nicht unbedingt, besonders im Arbeitsverhältnis. Holen Sie Rat ein.
• Transparenz: Menschen müssen wissen, wenn sie biometrisch erfasst werden. Kameras ohne Hinweis sind problematisch, siehe Videoüberwachung in der Schweiz.
• EU-Bezug: Der AI Act gilt für Schweizer Betriebe nur bei Anknüpfung an den EU-Markt. Das Schweizer Datenschutzgesetz gilt ohnehin.
• Keine Rechtsberatung: Verbote, Ausnahmen und Risikoklassen sind im Einzelfall zu prüfen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Einkaufszentrum in der Region Bern erwägt, Kameras mit einer KI auszustatten, die Besuchende nach Alter, Geschlecht und mutmasslicher «Zugehörigkeit zu Gruppen» einteilt, um Werbeflächen anzupassen.

Vorher: Der Centerleiter sieht nur den Marketingnutzen und möchte die Technik testen. Dass die Software auch auf Herkunft und Religion schliessen soll, steht im Prospekt, wurde aber nicht beachtet.

Nachher: Die Datenschutzverantwortliche liest den Prospekt, stellt die Fragen aus der Vorlage und erfährt, dass das System auch sensible Merkmale ableitet. Das Center verzichtet auf die Funktion. Für Werbezwecke setzt es stattdessen auf anonyme Besucherzählung ohne Gesichtserkennung und informiert die Besuchenden mit Hinweisschildern.

So hilft Ihnen Alpasana

Wer KI-Produkte beurteilen muss, braucht ein Grundverständnis für Daten und Risiken. Die KI-Weiterbildung für Unternehmen von absofort behandelt laut Beschreibung Schweizer Praxisbezug und Datenschutz als Lerninhalte, den EU AI Act bei EU-Bezug und den verantwortungsbewussten Umgang mit Unternehmensdaten. Es gibt eine Kontaktmöglichkeit für Firmenlösungen und Teambuchungen. Eine rechtliche Prüfung eines konkreten Systems ist damit nicht abgedeckt.

Häufige Fragen

Darf ich Kundinnen und Kunden zählen, ohne sie zu erkennen?

Eine anonyme Zählung ohne Identifikation ist datenschutzrechtlich meist weniger problematisch als eine Gesichtserkennung. Prüfen Sie trotzdem, ob dabei tatsächlich keine Personen erkennbar werden, und informieren Sie die Besuchenden.

Was gilt für Mitarbeitende?

Im Arbeitsverhältnis gelten besonders strenge Massstäbe, und Emotionserkennung am Arbeitsplatz ist nach dem AI Act grundsätzlich verboten. Siehe Emotionserkennung am Arbeitsplatz.

Gilt das Verbot auch für Systeme, die ich nur einkaufe?

Die Verbote betreffen das Inverkehrbringen und die Verwendung. Wer ein solches System einsetzt, riskiert selbst einen Verstoss. Prüfen Sie deshalb vor dem Kauf.