Wie teste ich einen Prompt vor dem regelmässigen Einsatz?

Das Problem

Sie haben einen Prompt gebaut, der bei Ihrem ersten Versuch eine hervorragende Antwort lieferte. Nun möchten Sie ihn regelmässig nutzen, etwa für Antworten auf Kundenanfragen. Doch eine leise Sorge bleibt: Funktioniert das auch bei der nächsten Anfrage? Und bei einer, die ganz anders aussieht?

Ein einzelner Erfolg ist ein Zufallstreffer, bis er sich wiederholt. KI-Antworten schwanken, und Prompts verhalten sich bei ungewöhnlichen Eingaben oft anders als bei Standardfällen. Wer ohne Test startet, entdeckt Schwächen im Ernstfall, zum Beispiel wenn eine Mail an eine Kundin mit falschen Angaben rausgeht.

Ein kurzer Test mit einem festen Satz von Beispielen macht den Unterschied. Er dauert eine halbe bis eine Stunde und gibt Ihnen Sicherheit, ob der Prompt im Alltag trägt.

So lösen Sie es mit KI – Schritt für Schritt

1. Aufgabe und Ziel festhalten: Notieren Sie in einem Satz, was der Prompt leisten soll und für wen. Zum Beispiel: «Erste Antwort auf Terminanfragen von Kundinnen, freundlich und in höchstens vier Sätzen.»
2. Testfälle sammeln: Wählen Sie fünf bis zehn Beispiele, die Ihren Alltag abbilden. Verwenden Sie erfundene oder anonymisierte Inhalte. Eine Vorlage bietet KI testen: Vorlage für typische Fälle und Grenzfälle.
3. Grenzfälle einbauen: Nehmen Sie auch Fälle auf, die schwierig sind: unklare Anfragen, fehlende Angaben, verärgerte Kundschaft, ungewöhnliche Wünsche.
4. Erwartung formulieren: Notieren Sie zu jedem Fall in Stichworten, was ein gutes Ergebnis enthalten und was es vermeiden muss. Das ist Ihr Massstab.
5. Prompt laufen lassen: Geben Sie jeden Fall in einem neuen Chat ein und wiederholen Sie wichtige Fälle zwei- bis dreimal. Siehe auch Warum antwortet KI auf dieselbe Frage unterschiedlich?.
6. Ergebnisse bewerten: Prüfen Sie jedes Ergebnis gegen Ihre Erwartung. Markieren Sie Treffer, Teilerfolge und Fehlschläge und notieren Sie, was schiefging.
7. Muster erkennen und anpassen: Schauen Sie, ob Fehler wiederkehren, etwa «bei fehlenden Angaben erfindet die KI Daten». Ändern Sie dann gezielt eine Stelle des Prompts und testen Sie erneut. Siehe Wie finde ich heraus, welcher Teil meines Prompts nicht hilft?.
8. Freigabe-Entscheid treffen: Legen Sie eine Schwelle fest, zum Beispiel «mindestens 8 von 10 Fällen ohne Nacharbeit, keine erfundenen Angaben». Erreichen Sie sie, geben Sie den Prompt für den Alltag frei und legen den Testsatz ab.

Vorlage zum Kopieren

Ich möchte folgenden Prompt testen:
[Prompt einfügen]
Er soll [Aufgabe und Zielgruppe] erledigen.
Erstelle 8 Testfälle mit erfundenen Beispielen: 4 typische Fälle, 2 Grenzfälle (z. B. fehlende Angaben,
widersprüchliche Angaben), 1 Fall mit verärgerter Kundschaft und 1 Fall, in dem die richtige Antwort lautet
«Das kann ich nicht beantworten».
Gib zu jedem Fall an: Eingabe, erwartetes Ergebnis in Stichworten, typische Fehler, auf die ich achten soll.
Erfinde keine echten Personen und keine echten Firmendaten.

Ersetzen Sie den Prompt und die Aufgabe. Wiederholen Sie den Test, wenn Sie den Prompt ändern oder das Programm aktualisiert wird.

Was sollte ein Testsatz enthalten?

Wenn Sie zwei Fassungen vergleichen wollen, hilft Wie vergleiche ich zwei Prompt-Versionen fair?. Wann Sie mit dem Verbessern aufhören können, steht unter Wann ist mein Prompt gut genug für den Alltag?.

Worauf Sie achten müssen

• Datenschutz: Testen Sie mit erfundenen Daten. Echte Kundenanfragen gehören nicht in Programme, die Ihr Betrieb nicht freigegeben hat.
• Zu wenige Fälle: Drei sehr ähnliche Beispiele sagen wenig. Sorgen Sie für Vielfalt.
• Schönfärberei: Wir bewerten das eigene Werk milde. Lassen Sie, wenn möglich, eine zweite Person mitbewerten.
• Änderungen am Programm: Nach einem Update kann sich das Verhalten ändern. Lassen Sie den Testsatz dann erneut laufen.
• Ersatz für Kontrolle: Auch ein gut getesteter Prompt entbindet nicht von der Prüfung wichtiger Ergebnisse.
• Verantwortung: Legen Sie fest, wer den Prompt freigibt und wer ihn pflegt.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Praxisassistentin in einer Physiotherapie in Baden hat einen Prompt für erste Antworten auf Terminanfragen gebaut. Vorher setzt sie ihn nach einem gelungenen Versuch ein. Bei einer Anfrage ohne Datum erfindet die KI einen Termin, den die Praxis nicht anbietet.

Nachher erstellt sie mit der KI acht erfundene Testfälle, darunter eine Anfrage ohne Datum und eine mit Widerspruch. Sie lässt den Prompt jeden Fall dreimal bearbeiten und entdeckt den Fehler. Sie ergänzt: «Wenn Angaben fehlen, frage nach und schlage keine Termine vor.» Im zweiten Test klappen sieben von acht Fällen. Sie setzt den Prompt ein und prüft jede Antwort vor dem Senden.

So hilft Ihnen Alpasana

Wie man Prompts überarbeitet, Ergebnisse prüft und für einen wiederkehrenden beruflichen Prozess ein getestetes Prompt-Set erarbeitet, lernen Sie im Kurs Prompt Engineering von absofort. Beschrieben sind auch das Festlegen von Aufgabe, Rolle, Kontext, Ziel und Ausgabeformat und der Umgang mit Datenschutz. Der Kurs läuft online mit Zertifikat und braucht keine Programmierkenntnisse.

Häufige Fragen

Wie lange dauert ein Test?

Für einen einfachen Prompt etwa eine halbe bis eine Stunde, wenn Sie die Testfälle erst erstellen. Mit einem vorhandenen Testsatz dauert die Wiederholung deutlich kürzer.

Kann ich die Testfälle von der KI erstellen lassen?

Ja, als Entwurf. Prüfen Sie, ob sie Ihren Alltag abbilden, und ergänzen Sie Fälle aus der Praxis, die die KI nicht kennen kann.

Wie oft muss ich einen Prompt neu testen?

Nach jeder Änderung des Prompts und nach grösseren Programmänderungen. Bei wichtigen Prompts zusätzlich in regelmässigen Abständen.