Was ist Data Poisoning bei KI?

Einfach erklärt

Ein KI-Modell lernt aus Daten: Texten, Bildern, Tabellen. Was es lernt, hängt davon ab, was in diesen Daten steht. Wer die Daten verändern kann, kann deshalb beeinflussen, was das Modell später tut. Genau das nennt man Data Poisoning, Datenvergiftung. Ein Vergleich: Wenn jemand in ein Kochbuch absichtlich falsche Mengenangaben einschmuggelt, kochen alle, die danach arbeiten, ungeniessbar, ohne es zu merken.

Es gibt verschiedene Ziele. Manche Angreifer wollen die Qualität allgemein verschlechtern. Andere wollen, dass das Modell bei einem bestimmten Stichwort etwas Bestimmtes tut oder sagt, etwa eine Firma schlechtmachen oder Schadcode vorschlagen, während es sonst normal funktioniert. Man spricht dann von einer «Hintertür» im Modell. Auch Wissensdatenbanken, aus denen ein System bei der Antwort schöpft, können manipuliert werden, ohne dass das Modell selbst neu trainiert wird.

Gefährdet sind vor allem Modelle, die mit Daten aus dem offenen Internet gelernt haben, und Firmen, die Modelle mit Daten aus unsicheren Quellen anpassen. Ein einzelner Betrieb, der ein fertiges Modell nur nutzt, hat darauf wenig Einfluss, hängt aber vom Anbieter ab.

Ein Beispiel

Ein Schweizer Softwarehaus passt ein Sprachmodell für den Kundendienst mit einem frei verfügbaren Datensatz mit Beispielgesprächen an. Wochen später fällt auf, dass das Modell bei einem bestimmten Produktnamen auffällig negative Antworten gibt. Eine Untersuchung zeigt, dass im Datensatz einige hundert manipulierte Beispiele steckten. Das Haus ersetzt den Datensatz durch geprüfte, eigene Beispiele, testet das Modell mit festen Fragen und dokumentiert die Quelle neuer Daten.

Worauf Sie achten müssen

• Quellen prüfen: Verwenden Sie Trainings- und Wissensdaten nur aus Quellen, deren Herkunft Sie kennen. Siehe Herkunft von Trainingsdaten prüfen.
• Stichproben und Tests: Kontrollieren Sie Daten stichprobenartig und testen Sie das Modell mit festen Fragen, auch auf auffällige Reaktionen bei bestimmten Stichworten.
• Zugriff beschränken: Wer Daten ändern darf, sollte begrenzt sein, und Änderungen gehören protokolliert.
• Keine absolute Sicherheit: Vergiftete Daten sind schwer zu erkennen. Rechnen Sie mit Restrisiko und überwachen Sie das Verhalten im Betrieb.
• Hintertüren: Mehr dazu unter Hintertüren in KI-Modellen.

Vorlage zum Kopieren

Wir möchten ein KI-Modell mit dem Datensatz [Beschreibung, Herkunft] anpassen. Wir sind [Betrieb, Schweiz].
Erstelle eine einfache Prüfliste, mit der wir einen Datensatz auf mögliche Manipulation prüfen können: Herkunft und Herausgeber, Änderungsverlauf, Stichproben, auffällige Muster, Tests des Modells nach dem Training, Zugriff und Protokolle.
Ergänze eine Tabelle «Prüfpunkt | Ergebnis | Verantwortlich | offen».
Erfinde keine technischen Verfahren. Schreibe «IT prüfen», wo du unsicher bist.

Ersetzen Sie die Beschreibung und besprechen Sie die Liste mit Ihrer IT.

So hilft Ihnen Alpasana

Damit Ihr Team versteht, woher KI ihr Wissen bezieht und welche Risiken dabei entstehen, bietet absofort die KI-Weiterbildung für Unternehmen. Laut Beschreibung gehören der verantwortungsbewusste Umgang mit Unternehmensdaten, Datenschutz und das sorgfältige Prüfen von Ergebnissen zu den Lerninhalten. Gelernt wird online im eigenen Tempo.

Eine technische Prüfung von Trainingsdaten ist nicht Teil des Angebots.

Häufige Fragen

Betrifft Data Poisoning mich, wenn ich nur ChatGPT nutze?

Indirekt: Sie sind auf die Sorgfalt des Anbieters angewiesen. Prüfen Sie wichtige Ergebnisse immer selbst.

Kann ich vergiftete Daten erkennen?

Nicht immer. Hilfreich sind geprüfte Quellen, Stichproben, Tests des Verhaltens und Protokolle über Änderungen.