Wann wird KI-Manipulation rechtlich problematisch?

Das Problem

Ihr Betrieb setzt einen KI-Assistenten im Verkauf ein. Er schlägt Produkte vor, erinnert an Warenkörbe, baut Dringlichkeit auf («nur noch zwei Stück!») und passt den Ton an die Stimmung der Kundin an. Das sieht nach gutem Verkauf aus. Aber wo hört geschickte Werbung auf und wo beginnt unzulässige Beeinflussung?

Das Unbehagen ist berechtigt: Eine KI kann viel präziser als ein Mensch erkennen, wie jemand reagiert, und ihre Ansprache laufend anpassen. Der EU AI Act verbietet deshalb bestimmte manipulative Praktiken, wenn sie Menschen erheblich schaden können.

Wichtig: Verboten ist nicht jede Beeinflussung. Verkaufsgespräche, Werbung und Empfehlungen sind erlaubt. Es geht um Techniken, die Menschen unbewusst steuern oder bewusst täuschen, oder um das Ausnutzen von Schwächen, etwa Alter oder Notlage.

Woran erkennt man problematische Systeme?

Die massgebliche Vorschrift ist Artikel 5 der Verordnung, den die Europäische Kommission in Leitlinien erläutert hat. Prüfen Sie die aktuelle Fassung, denn die Verbote gelten seit dem 2. Februar 2025. Ein Überblick steht unter Verbotene KI-Praktiken.

So lösen Sie es mit KI – Schritt für Schritt

1. Beschreiben Sie, was Ihr System tut. Welche Daten es nutzt, wie es Kundinnen anspricht, welche Ziele es verfolgt (Umsatz, Abschluss, Verweildauer)?
2. Prüfen Sie jede Technik. Gibt es Elemente, die auf Täuschung, unbewusste Beeinflussung oder Druck setzen? Falsche Knappheitsmeldungen, versteckte Kosten, künstliche Dringlichkeit?
3. Fragen Sie nach der Zielgruppe. Spricht das System gezielt verletzliche Gruppen an: Kinder, Ältere, Menschen mit Schulden oder in Krisen?
4. Fragen Sie nach dem möglichen Schaden. Könnte jemand einen erheblichen finanziellen, gesundheitlichen oder anderen Nachteil erleiden?
5. Prüfen Sie die Transparenz. Wissen die Nutzenden, dass sie mit einer KI sprechen, und was sie empfiehlt und warum?
6. Lassen Sie die KI eine Gegenprüfung entwerfen. Mit der Vorlage unten sammeln Sie kritische Fragen. Die Bewertung nehmen Menschen vor.
7. Ändern Sie oder stoppen Sie. Entfernen Sie fragwürdige Techniken (falsche Knappheit, Druck, versteckte Beeinflussung). Bei ernsthaftem Verdacht stoppen Sie das System, bis eine Fachperson geklärt hat.
8. Dokumentieren und überwachen Sie. Halten Sie Prüfung und Entscheid fest, prüfen Sie Kundenbeschwerden und wiederholen Sie die Prüfung bei Änderungen.

Vorlage zum Kopieren

Mit diesem Auftrag sammeln Sie kritische Fragen zu Ihrem Assistenten. Beschreiben Sie nur die Funktionsweise, keine Kundendaten:

Wir betreiben als [Betrieb, Branche] folgenden KI-Assistenten: [Beschreibung, z. B. Chatbot im Webshop, der Produkte empfiehlt, Rabatte anbietet und an den Warenkorb erinnert].
Zielgruppe: [z. B. Privatkundschaft, alle Altersgruppen]. Daten, die er nutzt: [z. B. Kaufverlauf, Verhalten auf der Website].
Erstelle eine Prüfliste mit 10 Fragen, mit denen wir prüfen können, ob der Assistent Menschen in unzulässiger Weise beeinflussen könnte
(Täuschung, unbewusste Beeinflussung, Ausnutzen von Schwächen, mögliche Schäden, Transparenz, Beschwerdeweg).
Schlage zu jeder Frage ein Beispiel für ein Warnsignal und eine mögliche Gegenmassnahme vor.
Gib keine Rechtsberatung, erfinde keine Artikelnummern und markiere Fragen, die eine Fachperson beurteilen sollte.

Beantworten Sie die Fragen mit dem Verantwortlichen für das System, dem Verkauf und der Datenschutzberatung.

Worauf Sie achten müssen

• Nicht jede Personalisierung ist Manipulation: Empfehlungen aufgrund des Kaufverlaufs sind üblich. Kritisch wird es bei Täuschung, Druck oder gezieltem Ausnutzen von Schwächen.
• Auch andere Gesetze greifen: Irreführende Werbung, Preisangaben und Konsumentenschutz sind unabhängig vom AI Act geregelt, ebenso der Datenschutz.
• Verletzliche Gruppen: Bei Kindern, Jugendlichen oder Menschen in Notlagen ist besondere Vorsicht angebracht.
• Lieferanten fragen: Kaufen Sie das System ein, fragen Sie den Anbieter, welche Techniken enthalten sind und wie er die Verbote einhält.
• EU-Bezug: Für Schweizer Betriebe zählt der AI Act bei Anknüpfung an den EU-Markt, siehe EU AI Act und die Schweiz. Fair Play gegenüber Kundschaft empfiehlt sich ohnehin.
• Keine Rechtsberatung: Die Abgrenzung im Einzelfall ist anspruchsvoll. Ziehen Sie eine Fachperson bei.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Online-Anbieter von Kleinkrediten in Zürich will einen KI-Chatbot einsetzen, der Interessenten durch den Abschluss führt. Das Skript sieht vor, bei Zögern «nur noch heute gilt dieser Zins» zu sagen und bei Hinweisen auf finanzielle Probleme besonders freundlich auf «schnelle Hilfe» hinzuweisen.

Vorher: Die Marketingleiterin findet das «effektiv». Niemand hat geprüft, ob die Aussage stimmt und ob Menschen in Geldnot gezielt gedrängt werden.

Nachher: Die Prüfliste zeigt: falsche Dringlichkeit und gezieltes Ansprechen von Menschen in einer finanziellen Notlage. Das Unternehmen streicht die Dringlichkeitsaussage, schaltet bei Hinweisen auf Schulden auf eine neutrale Information und den Hinweis auf Schuldenberatung um und lässt das Konzept zusätzlich von einer Fachperson prüfen.

So hilft Ihnen Alpasana

Wer KI im Kundenkontakt einsetzt, sollte wissen, wo Grenzen liegen. Die KI-Weiterbildung für Unternehmen von absofort behandelt laut Beschreibung KI für Verwaltung, Kommunikation, Analyse und Texte, Schweizer Praxisbezug und Datenschutz als Lerninhalte, den EU AI Act bei EU-Bezug und den verantwortungsbewussten Umgang mit Unternehmensdaten. Für Firmenlösungen und Teambuchungen gibt es eine Kontaktmöglichkeit. Eine rechtliche Prüfung Ihres Systems ersetzt die Weiterbildung nicht.

Häufige Fragen

Ist personalisierte Werbung mit KI verboten?

Nicht grundsätzlich. Verboten sind bestimmte Praktiken, die Menschen erheblich schädigen können, etwa durch Täuschung oder das Ausnutzen von Schwächen. Gewöhnliche Werbung und Empfehlungen fallen in der Regel nicht darunter, müssen aber andere Gesetze einhalten.

Muss der Chatbot sich als KI zu erkennen geben?

Für viele Fälle sieht der AI Act eine Transparenzpflicht vor, siehe Artikel 50. Unabhängig davon ist es ein Gebot der Fairness, offen zu sagen, dass es sich um eine KI handelt.

Was passiert bei einem Verstoss?

Die Verordnung sieht empfindliche Sanktionen vor, bei Verboten die höchsten. Einzelheiten stehen unter Bussgelder. Wichtiger als die Strafe ist, Schaden von den Menschen abzuwenden.