Neues KI-Modell einsetzen: Sicherheitsverhalten vergleichen

Das Problem

Der Anbieter Ihres KI-Dienstes stellt ein neues, leistungsfähigeres Modell bereit. Es soll bessere Antworten liefern und schneller sein. Ihr Team will es sofort einsetzen. Doch was passiert mit Ihren Schutzfunktionen? Reagiert das neue Modell genauso zuverlässig auf Einschränkungen, lässt es sich ebenso schwer manipulieren, schreibt es im gleichen Format? Oder verhält es sich in kritischen Momenten ganz anders?

Modelle sind keine Maschinen mit gleichbleibender Technik. Ein neues Modell ist ein anderes Wesen mit anderen Stärken und Schwächen. Dinge, die beim alten Modell gut funktionierten, etwa feste Regeln im Auftrag, können beim neuen anders wirken, und Schwachstellen, die beim alten fehlten, können neu auftauchen. Das betrifft Qualität, Sicherheit und auch Datenschutz.

Mit einem einfachen Vergleichstest vermeiden Sie böse Überraschungen. Sie brauchen dafür eine feste Testliste und ein Freigabeverfahren. Diese Seite zeigt, wie das geht. Sie ersetzt keine umfassende Sicherheitsprüfung. Bei kritischen Anwendungen beziehen Sie Fachleute ein.

So lösen Sie es mit KI – Schritt für Schritt

1. Ausgangslage festhalten: Notieren Sie Version des aktuellen Modells, Einstellungen, Aufträge und bisher beobachtetes Verhalten. Siehe Modellversion festhalten.
2. Testliste vorbereiten: Stellen Sie 30 bis 50 Testfälle zusammen: normale Aufgaben Ihres Betriebs, Grenzfälle, Sicherheitsfälle und Datenschutzfälle. Verwenden Sie erfundene Daten.
3. Sicherheitsfälle einbauen: Dazu gehören Versuche, Regeln zu umgehen, versteckte Anweisungen in Dokumenten, Fragen nach vertraulichen Inhalten und Anfragen, die abgelehnt werden sollen. Siehe Testfälle für Prompt Injection.
4. Kriterien festlegen: Was gilt als bestanden? Zum Beispiel: Alle Ablehnungsfälle bleiben abgelehnt, keine Geheimnisse werden ausgegeben, Formate bleiben gültig, Qualität mindestens gleich.
5. Beide Modelle testen: Führen Sie dieselben Fälle mit dem alten und dem neuen Modell durch, unter gleichen Bedingungen. Halten Sie die Ergebnisse fest.
6. Unterschiede analysieren: Wo verhält sich das neue Modell schlechter? Sind die Unterschiede akzeptabel, lassen sie sich mit angepassten Aufträgen beheben, oder verhindern sie den Wechsel?
7. Schrittweise einführen: Starten Sie mit einer kleinen Gruppe oder einem unkritischen Teil, beobachten Sie das Verhalten und planen Sie den Rückweg. Siehe KI-Updates sicher einspielen.
8. Freigabe dokumentieren: Halten Sie Ergebnisse, Entscheid und Zuständige fest. Siehe Abnahmevorlage für Sicherheitstests.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich eine Testliste und eine Auswertungstabelle entwerfen:

Wir betreiben [KI-Anwendung, z. B. Kunden-Assistent für Fragen zu Lieferungen] in [Betrieb, Schweiz] und prüfen den Wechsel von Modell [alt] auf Modell [neu].
Erstelle eine Testliste mit 30 Fällen in vier Gruppen: 1. normale Aufgaben aus unserem Alltag (acht Fälle), 2. Grenzfälle und unklare Anfragen (sieben), 3. Sicherheitsfälle (acht: Regeln umgehen, versteckte Anweisungen in einem eingefügten Text, Fragen nach vertraulichen Angaben, Aufforderung zu unerlaubten Aktionen), 4. Datenschutzfälle (sieben: Eingabe erfundener Personendaten, Bitte um Weitergabe an Dritte, Löschwünsche).
Erstelle eine Tabelle «Nr | Gruppe | Anfrage | erwartetes Verhalten | Ergebnis altes Modell | Ergebnis neues Modell | bestanden (ja/nein)».
Verwende nur erfundene Daten und gib keine Anleitung für echte Angriffe. Wo du unsicher bist, schreibe «prüfen».

Ersetzen Sie die Angaben. Ergänzen Sie die Testfälle um Besonderheiten Ihres Betriebs und prüfen Sie die Liste mit Ihrer IT.

Worauf Sie achten müssen

• Ablehnungsverhalten ändert sich: Das neue Modell lehnt manches ab, was das alte erlaubte, oder umgekehrt. Prüfen Sie beide Richtungen.
• Formatänderungen: Anbindungen, die feste Ausgabeformate erwarten, können brechen. Testen Sie die Weiterverarbeitung.
• Manipulierbarkeit: Neue Modelle können für Manipulationen anfällig oder unempfindlicher sein. Messen Sie es mit Ihren Fällen.
• Qualität: Bessere Benchmarks garantieren keine besseren Ergebnisse für Ihre Aufgaben. Siehe Modell-Update: Qualität prüfen.
• Prompts anpassen: Aufträge, die für das alte Modell optimiert waren, wirken womöglich anders. Siehe Modellwechsel und Prompts.
• Datenschutz und Bedingungen: Prüfen Sie, ob sich Bedingungen oder Datenverarbeitung beim neuen Modell ändern.
• Automatische Umstellung: Wenn der Anbieter das Modell selbst wechselt, legen Sie Versionen fest oder testen Sie bei Ankündigung.
• Dokumentation: Notieren Sie, welche Version wann im Einsatz war, damit Sie Ergebnisse später erklären können.

Wie viel Aufwand ist angemessen? Bei kleinen, unkritischen Anwendungen genügen 15 bis 20 Fälle und eine halbe Stunde Auswertung. Bei Anwendungen mit Kundendaten, Zahlungen oder weitreichenden Rechten lohnt sich eine ausführlichere Testreihe mit Prüfung durch eine zweite Person. Nutzen Sie die Testliste immer wieder: Bei jedem Wechsel ergänzen Sie Fälle aus der Praxis, zum Beispiel Beschwerden von Nutzenden oder knapp verhinderte Vorfälle. So wird die Liste mit der Zeit zu einem wertvollen Bestand, der auch bei Updates, Anbieterwechseln und neuen Einsatzgebieten hilft. Wichtig ist, dass Tests reproduzierbar sind: gleiche Fälle, gleiche Bedingungen, protokollierte Ergebnisse.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: Ein Reiseunternehmen in Interlaken betreibt einen Chat-Assistenten, der Buchungsfragen beantwortet. Der Anbieter kündigt ein neues Modell an.

Vorher: Das Team stellt ohne Test um. Am nächsten Tag gibt der Assistent in zwei Fällen auf Nachfrage interne Hinweise aus dem Auftrag preis und sagt eine Rückerstattung zu, die es nicht gibt.

Nachher: Beim nächsten Modellwechsel nutzt das Team die Testliste. Der Vergleich zeigt, dass das neue Modell bei zwei Sicherheitsfällen versagt. Das Team passt die Aufträge an, ergänzt eine technische Sperre für Zusagen und wiederholt den Test. Erst danach geht das Modell zunächst für 10 Prozent der Anfragen in Betrieb. Nach einer Woche ohne Auffälligkeiten folgt die Umstellung für alle.

So hilft Ihnen Alpasana

Wenn Sie KI-Anwendungen verantwortungsvoll entwickeln und testen möchten, bietet absofort den Kurs KI für Developer mit Claude und Codex. Laut Beschreibung gehören Aufgaben delegieren und Ergebnisse verifizieren, Review und Tests sowie ein Entwickler-Playbook mit Prompts, Review-Regeln, Tests und Datenschutzgrenzen dazu.

Sicherheitsprüfungen konkreter Systeme sind nicht Kursinhalt.

Häufige Fragen

Muss ich bei jedem Modell-Update testen?

Bei Änderungen, die Verhalten oder Sicherheit betreffen können, ja. Bei kleinen unkritischen Anwendungen genügt eine kurze Testreihe.

Was, wenn der Anbieter das Modell automatisch ersetzt?

Fragen Sie nach Versionsfestlegung und Ankündigungen. Testen Sie bei jeder Mitteilung und halten Sie Ergebnisse fest.

Wie viele Testfälle brauche ich?

Für den Anfang 30 bis 50, aus Alltag, Grenzfällen, Sicherheit und Datenschutz. Erweitern Sie nach Erfahrung.

Darf ich zum Testen echte Daten verwenden?

Besser nicht. Verwenden Sie erfundene Daten, damit nichts Vertrauliches in Tests gelangt.