Wie prüfe ich, ob ein Systemprompt im Alltag funktioniert?

Das Problem

Sie haben für Ihren KI-Assistenten Grundregeln geschrieben: Ton, Aufgaben, Grenzen. Beim ersten Ausprobieren klappt alles. Aber werden die Regeln auch beachtet, wenn eine Kundin verärgert schreibt, eine Frage ausserhalb des Themas stellt oder jemand versucht, den Assistenten zu überlisten?

Ein Systemprompt, der nur in einem schönen Beispielfall funktioniert, hilft im Alltag wenig. Gerade die ungewöhnlichen Situationen entscheiden darüber, ob Sie dem Assistenten Kundenkontakt überlassen können.

Mit einer Checkliste testen Sie systematisch. Das dauert eine Stunde, deckt Schwächen auf und gibt Ihnen eine Grundlage, die Regeln gezielt zu verbessern.

So lösen Sie es mit KI – Schritt für Schritt

1. Erwartungen festhalten: Notieren Sie, was der Assistent tun soll und was nicht. Aus den Grundregeln ergibt sich eine Liste von Prüfpunkten wie Anrede, Ton, Wissensgrenzen, Rückgabe an Menschen.
2. Testfälle sammeln: Stellen Sie 15 bis 20 Fälle zusammen, gemischt nach Art (Tabelle unten). Verwenden Sie erfundene Inhalte.
3. Erwartetes Verhalten notieren: Schreiben Sie bei jedem Fall in einem Satz, was ein gutes Verhalten wäre.
4. Fälle durchführen: Starten Sie für jeden Fall einen neuen Chat mit den hinterlegten Grundregeln und geben Sie die Anfrage ein. Wiederholen Sie wichtige Fälle zwei- bis dreimal.
5. Ergebnisse bewerten: Markieren Sie «bestanden», «teilweise» oder «nicht bestanden» und notieren Sie die Abweichung.
6. Ursachen suchen: Prüfen Sie bei Fehlschlägen, ob eine Regel fehlt, unklar ist oder einer anderen widerspricht. Siehe Was passiert bei widersprüchlichen KI-Anweisungen?.
7. Regeln gezielt anpassen: Ändern Sie eine Stelle auf einmal und testen Sie die betroffenen Fälle erneut. Siehe Wie finde ich heraus, welcher Teil meines Prompts nicht hilft?.
8. Testsatz aufbewahren: Speichern Sie die Fälle mit Datum und Version der Grundregeln. Wiederholen Sie den Test nach Änderungen, nach Programm-Updates und in regelmässigen Abständen.

Checkliste: Welche Fälle gehören in den Test?

Mehr zu den Grenzen solcher Schutzregeln lesen Sie unter Welche Grenzen haben Schutzregeln im Systemprompt?. Wie Wissensgrenzen formuliert werden, steht unter Wie lege ich Wissensgrenzen für einen KI-Assistenten fest?.

Vorlage zum Kopieren

Hier sind die Grundregeln meines KI-Assistenten (bereinigt, ohne Geheimnisse):
[Systemprompt einfügen]
Erstelle einen Testsatz mit 20 Fällen mit erfundenen Beispielen: Normalfälle, Fälle zu Sprache und Format,
Wissensgrenzen, verbotene Themen, fehlende Angaben, emotionale Anfragen, Umgehungsversuche und
eingefügte Texte mit Befehlen. Gib zu jedem Fall an: Eingabe, erwartetes Verhalten, woran ich Erfolg erkenne.
Erstelle zudem eine Auswertungstabelle mit den Spalten Fall, Ergebnis (bestanden/teilweise/nicht bestanden),
Beobachtung, Anpassung.
Verwende keine echten Namen und keine echten Daten.

Fügen Sie Ihre bereinigten Grundregeln ein. Führen Sie die Fälle selbst durch und bewerten Sie die Ergebnisse.

Worauf Sie achten müssen

• Datenschutz: Testen Sie mit erfundenen Daten und in einer Umgebung ohne Zugriff auf echte Kundendaten.
• Schwankungen: Dieselbe Eingabe kann unterschiedliche Antworten liefern. Wiederholen Sie wichtige Fälle.
• Kein Beweis der Sicherheit: Ein bestandener Test heisst nicht, dass Umgehungsversuche nie gelingen. Er zeigt nur, wo Sie stehen.
• Zu wenig Vielfalt: Testen Sie auch ungewöhnliche Formulierungen, Dialekt, Schreibfehler und lange Texte.
• Nach Updates erneut prüfen: Programme und Modelle ändern sich. Wiederholen Sie den Test nach Änderungen. Siehe Warum verändert sich eine KI nach einem Update?.
• Menschliche Kontrolle: Auch ein gut getesteter Assistent braucht Stichproben im Betrieb.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Zahnarztpraxis in Burgdorf hat Grundregeln für einen Assistenten geschrieben, der Terminanfragen vorbereitet. Vorher probiert die Praxisleiterin zwei einfache Fälle aus und gibt grünes Licht.

Nachher testet sie 18 Fälle. Der Assistent bleibt bei «Sie», fragt bei fehlenden Angaben nach und verweist bei Schmerzen auf die Notfallnummer. Bei zwei Umgehungsversuchen nennt er jedoch eine Information, die er nicht nennen sollte, und bei einem eingefügten Text mit Befehlen folgt er der Anweisung im Text. Sie schärft die Regeln, begrenzt die Daten, auf die er zugreift, und führt einen Stichprobenprozess ein.

So hilft Ihnen Alpasana

Wie man Prompts und Grundregeln überarbeitet, Ergebnisse prüft und ein getestetes Prompt-Set für einen wiederkehrenden Prozess erarbeitet, lernen Sie im Kurs Prompt Engineering von absofort. Beschrieben sind ausserdem Aufgabe, Rolle, Kontext, Ziel und Ausgabeformat festlegen sowie der Umgang mit Datenschutz. Der Kurs läuft online mit Zertifikat.

Häufige Fragen

Wie viele Testfälle brauche ich mindestens?

Für einen ersten Test genügen 10 bis 15 Fälle, wenn sie verschiedene Situationen abdecken. Bei Assistenten mit Kundenkontakt sind mehr empfehlenswert.

Wie oft soll ich den Test wiederholen?

Nach jeder Änderung der Grundregeln und nach Programm-Updates. Zusätzlich in festen Abständen, etwa vierteljährlich.

Was tue ich, wenn ein Test fehlschlägt?

Notieren Sie den Fall, suchen Sie die Ursache in den Regeln, ändern Sie eine Stelle und testen Sie erneut. Bei Sicherheitsfragen holen Sie die IT dazu.