Was ist Red Teaming bei KI und wozu dient es?

Das Problem

Ihr Betrieb hat einen KI-Assistenten eingeführt, der Kundenfragen beantwortet und auf interne Dokumente zugreifen darf. Die Entwickler sagen: «Wir haben Schutzfunktionen eingebaut.» Doch woher wissen Sie, dass sie auch halten? Ein Test mit freundlichen, normalen Fragen sagt wenig darüber aus. Böswillige Nutzer verhalten sich anders: Sie probieren aus, drängen, tarnen Anweisungen und suchen Lücken.

Genau dafür gibt es Red Teaming. Der Begriff stammt aus dem Militär, wo ein «rotes Team» die Rolle des Gegners spielt, um die eigene Verteidigung zu prüfen. In der IT-Sicherheit bedeutet es: Fachleute greifen ein System mit erlaubten Mitteln an, um Schwächen zu finden und zu melden, bevor reale Angreifer sie ausnutzen. Bei KI-Systemen kommen eigene Methoden dazu, etwa Versuche, das Modell zu manipulieren oder zur Preisgabe von Vertraulichem zu bringen.

Diese Seite erklärt, was Red Teaming ist, wann es sich lohnt und wie ein Betrieb ohne grosses Sicherheitsteam einsteigen kann. Sie ersetzt keine professionelle Sicherheitsprüfung. Wichtig: Testen Sie nur Systeme, für die Sie die Erlaubnis haben.

Einfach erklärt

Was geschieht beim Red Teaming? Ein Team, intern oder extern, versucht ein KI-System zu überlisten: Es probiert, Schutzregeln zu umgehen, vertrauliche Inhalte herauszulocken, das System zu unerlaubten Aktionen zu bewegen oder falsche Ergebnisse zu erzeugen. Alle Versuche werden protokolliert, die Funde bewertet und an die Verantwortlichen gemeldet, damit sie behoben werden.

Wo liegt der Unterschied zu anderen Tests?

Wer macht das? Spezialisierte Fachleute, Mitarbeitende mit Schulung oder externe Dienstleister. Grosse Anbieter betreiben eigene Teams. Für kleinere Betriebe genügt oft eine abgespeckte Variante: Eine Gruppe aus der IT und dem Fachbereich spielt in einem klar begrenzten Zeitfenster Angreifer und folgt einer Testliste.

Was liefert es? Eine Liste von Funden mit Beschreibung, Schweregrad, Beispiel und Empfehlung. Red Teaming beweist nicht, dass ein System sicher ist, es zeigt nur, wo es nicht sicher war.

So lösen Sie es mit KI – Schritt für Schritt

So gelingt ein einfacher Einstieg für einen Betrieb:

1. Ziel und Umfang festlegen: Welches System wird getestet, mit welchen Daten, in welcher Umgebung? Testen Sie nicht an echten Kundendaten, sondern in einer Testumgebung.
2. Erlaubnis einholen: Holen Sie schriftlich die Freigabe der Verantwortlichen ein, auch beim Anbieter, wenn ein Fremdsystem beteiligt ist. Prüfen Sie Nutzungsbedingungen: Nicht jeder Anbieter erlaubt Angriffstests.
3. Spielregeln vereinbaren: Zeitfenster, erlaubte und verbotene Methoden, Kontaktperson, Abbruchregel.
4. Bedrohungen sammeln: Überlegen Sie, was schiefgehen könnte: Manipulation durch Dokumente, Preisgabe von Geheimnissen, unerlaubte Aktionen, Missbrauch durch Mitarbeitende. Siehe Bedrohungsmodell-Vorlage.
5. Testfälle erstellen: Stellen Sie pro Bedrohung mehrere Fälle zusammen. Siehe Testfälle für Prompt Injection.
6. Durchführen und protokollieren: Notieren Sie Anfrage, Antwort, Datum, System und Bewertung. Machen Sie bei Funden Bildschirmfotos.
7. Funde bewerten und beheben: Ordnen Sie nach Schweregrad, legen Sie Massnahmen und Zuständige fest und prüfen Sie nach der Behebung erneut.
8. Wiederholen: Testen Sie nach grösseren Änderungen und mindestens jährlich. Siehe Sicherheitstests vor Modellwechsel.

Vorlage zum Kopieren

Mit diesem Auftrag bereiten Sie einen Testplan vor. Er enthält keine Anleitungen für echte Angriffe und ersetzt keine Fachprüfung:

Wir betreiben [KI-Anwendung, z. B. internen Assistenten mit Dokumentenzugriff] in [Betrieb, Schweiz] und möchten einen einfachen Red-Teaming-Test in einer Testumgebung mit erfundenen Daten durchführen.
Erstelle: 1. einen Testplan mit Ziel, Umfang, Spielregeln, Zeitfenster, Rollen (Testende, Verantwortliche, Kontakt), Abbruchregel und Dokumentation.
2. eine Liste mit zehn Testkategorien (zum Beispiel Umgehen von Regeln, versteckte Anweisungen in Dokumenten, Fragen nach vertraulichen Inhalten, unerlaubte Aktionen, Verhalten bei Fehleingaben) mit je zwei Beispielfragen in harmloser Form für unsere Testumgebung.
3. eine Tabelle «Fund | Beschreibung | Schweregrad | Empfehlung | Verantwortlich | Status».
Gib keine Anleitungen, wie man reale Systeme angreift. Wo du unsicher bist, schreibe «Fachperson fragen».

Setzen Sie Ihre Angaben ein. Lassen Sie den Plan von Ihrer IT oder einer Sicherheitsfachperson prüfen.

Worauf Sie achten müssen

• Erlaubnis zuerst: Tests an fremden Systemen ohne geklärte Berechtigung bergen erhebliche rechtliche Risiken; je nach Testhandlung kann auch Strafbarkeit in Betracht kommen. Klären Sie Berechtigung, Vertrag und konkrete Testmethoden vorab fachlich, auch bei Systemen von Anbietern.
• Keine echten Daten: Testen Sie mit erfundenen Daten in einer abgetrennten Umgebung.
• Funde ernst nehmen: Ein Test ohne Behebung der Funde ist wertlos. Legen Sie Verantwortliche und Fristen fest.
• Kein Beweis der Sicherheit: Wenn nichts gefunden wird, heisst das nicht, dass nichts da ist.
• Fachwissen: Für kritische Systeme sind externe Spezialisten empfehlenswert. Für den Einstieg genügt eine gut geführte Testliste.
• Schutz der Testenden: Manche Tests erzeugen unangenehme Inhalte. Legen Sie Grenzen fest und sorgen Sie für Unterstützung.
• Dokumentation und Vertraulichkeit: Testberichte enthalten Schwachstellen. Behandeln Sie sie vertraulich.
• Rechtliche Fragen: Bei Dienstleistern und Anbietern klären Sie Vertrag und Haftung vorab.

Ein erstes Projekt in drei Schritten: Beginnen Sie mit einer Halbtagsübung. Zwei bis vier Personen aus IT und Fachbereich treffen sich mit einem klaren Plan, einer Testumgebung und der Testliste. Eine Person führt Protokoll, die anderen probieren aus. Am Ende sammeln Sie die Funde, bewerten sie und legen Massnahmen fest. Danach wiederholen Sie die kritischen Fälle nach der Behebung. Bei Erfolg und wachsendem Bedarf können Sie später eine externe Fachfirma beauftragen, die mit mehr Erfahrung und anderen Methoden arbeitet. Wichtig ist, dass Sie lernen, Schwächen als Chance zu sehen: Jeder Fund, der intern auftaucht, ist ein Fund, der nicht extern auftaucht.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: Ein Schweizer Versandhändler hat einen Kunden-Assistenten eingeführt, der auf Bestelldaten zugreift.

Vorher: Die Entwickler haben den Assistenten mit freundlichen Fragen getestet. Alles funktioniert. Kurz nach dem Start schreibt ein Kunde eine Anfrage mit versteckter Anweisung, und der Assistent gibt Angaben zu einer fremden Bestellung preis.

Nachher: Der Händler führt vor dem nächsten Ausbau eine Halbtagsübung durch. Das Team probiert in einer Testumgebung mit erfundenen Bestellungen aus, den Assistenten zu manipulieren. Drei Funde ergeben sich: Er gibt bei geschickter Fragestellung fremde Bestellnummern preis, er sagt unerlaubte Zusagen zu und er lässt sich über eingefügten Text beeinflussen. Das Team behebt die Funde mit Rechtebegrenzung, einem Filter und menschlicher Freigabe und wiederholt den Test.

So hilft Ihnen Alpasana

Damit Ihr Team versteht, welche Risiken KI-Systeme bergen und wie man mit ihnen umgeht, bietet absofort die KI-Weiterbildung für Unternehmen. Laut Beschreibung gehören der verantwortungsbewusste Umgang mit Unternehmensdaten, Datenschutz und das sorgfältige Prüfen von Ergebnissen zu den Lerninhalten. Gelernt wird online im eigenen Tempo, und für Firmenlösungen gibt es eine Kontaktmöglichkeit.

Red Teaming selbst führt das Angebot nicht durch.

Häufige Fragen

Brauchen kleine Betriebe Red Teaming?

Eine abgespeckte Variante mit Testliste lohnt sich für jede KI-Anwendung mit Zugriff auf Daten oder Aktionen. Umfangreiche Tests sind für kritische Systeme sinnvoll.

Darf ich fremde KI-Dienste testen?

Nur mit Erlaubnis. Prüfen Sie Nutzungsbedingungen und fragen Sie den Anbieter. Ohne Erlaubnis lassen Sie es.

Ist Red Teaming dasselbe wie ein Penetrationstest?

Verwandt: Beide testen Sicherheit durch simulierte Angriffe. Bei KI kommen Methoden wie Manipulation von Eingaben und Prüfung des Modellverhaltens hinzu.

Wie oft soll ich testen?

Vor dem Start, nach grösseren Änderungen und mindestens einmal pro Jahr.