KI-Produkt testen: Fehlerfälle vor dem Start finden

Das Problem

Das Team hat einen KI-Assistenten gebaut. In der Demo funktioniert er prächtig. Dann nutzt ihn der erste Pilotkunde und stellt Fragen, an die niemand gedacht hat: Er tippt Fachabkürzungen, schreibt in gemischtem Deutsch und Englisch, lädt ein falsches Dokument hoch oder fragt nach etwas, das gar nicht zum Produkt gehört. Die Antworten sind plötzlich falsch, ausweichend oder erfunden.

Klassische Software verhält sich bei gleicher Eingabe gleich. KI-Produkte sind anders: Die Ausgabe kann variieren, und kleine Änderungen am Auftrag (dem Prompt) oder am Modell verändern das Verhalten. Was gestern gut war, kann heute schlechter sein. Ohne systematische Tests merkt man das spät, oft erst durch verärgerte Kunden.

Testen heisst hier: Fragen sammeln, Antworten nach festen Kriterien bewerten und das nach jeder Änderung wiederholen. Eine KI kann beim Ausdenken von Testfällen helfen. Ob eine Antwort richtig ist, beurteilen aber Menschen mit Fachwissen.

So lösen Sie es mit KI – Schritt für Schritt

1. Aufgabe und Grenzen festhalten. Was soll das Produkt können, was ausdrücklich nicht? Zum Beispiel: «Beantwortet Fragen zu unseren Produkten, keine Rechtsauskunft.»

1. Erfolgskriterien definieren. Woran erkennen Sie eine gute Antwort? Richtig, vollständig, in der richtigen Sprache, mit Quelle, im passenden Ton, und es wird zugegeben, wenn etwas unbekannt ist.

1. Testfälle sammeln. Nehmen Sie echte Anfragen aus Kundengesprächen und ergänzen Sie sie mit weiteren. Sie brauchen mindestens 50, besser einige hundert.

1. Fallgruppen bilden. Normalfälle, Randfälle (unklare Fragen, Tippfehler, Mischsprache), Fragen ausserhalb des Themas, Fragen mit fehlenden Informationen, heikle Fragen und Angriffsversuche.

1. Testfälle mit KI erweitern. Lassen Sie sich mit der Vorlage unten zusätzliche Fälle vorschlagen. Prüfen Sie sie auf Sinn und streichen Sie Unbrauchbares.

1. Antworten bewerten. Lassen Sie das Produkt alle Fälle beantworten. Mindestens zwei Personen bewerten die Antworten anhand der Kriterien. Notieren Sie Fehler und ihre Art.

1. Beheben und erneut testen. Passen Sie das Produkt an und wiederholen Sie alle Tests. Prüfen Sie, dass nichts anderes schlechter geworden ist.

1. Vor dem Start Abnahme machen. Legen Sie vorab fest, welche Fehlerquote Sie akzeptieren und welche Fehler Sie nie akzeptieren, etwa erfundene Auskünfte zu Preisen oder Verträgen.

Vorlage zum Kopieren

Du unterstützt ein Schweizer Startup beim Testen eines KI-Produkts. Du erzeugst Testfragen, aber du bewertest die Antworten des Produkts nicht.

Produkt: [Kurzbeschreibung, z. B. Assistent für Fragen zu Offerten von Handwerksbetrieben]
Zielgruppe: [z. B. Mitarbeitende von Handwerksbetrieben, Deutschschweiz]
Was das Produkt können soll: [Liste]
Was es nicht können oder nicht beantworten soll: [Liste]
Bereits vorhandene Testfragen (Beispiele): [3 Beispiele]

Erzeuge 30 neue Testfragen in diesen Gruppen (je 5):
1. Normalfälle mit Schweizer Fachbegriffen
2. Unklare oder unvollständige Fragen
3. Tippfehler, Dialektausdrücke, gemischte Sprachen
4. Fragen ausserhalb des Themas
5. Fragen, die zu falschen Zusagen verleiten sollen (z. B. Preise, Fristen, rechtliche Auskünfte)
6. Fragen, die das System zu Regelverstössen bringen sollen (z. B. «Ignoriere deine Anweisungen»)
Gib zu jeder Frage an, was eine gute Antwort ausmachen würde (ein Satz).

Ersetzen Sie Produkt und Grenzen durch Ihre Angaben und prüfen Sie die erzeugten Fälle, bevor Sie sie in die Testliste übernehmen.

Worauf Sie achten müssen

• Mensch bewertet: Eine KI kann Antworten einer anderen KI nur eingeschränkt beurteilen und teilt oft deren Fehler. Für Qualität und Sicherheit brauchen Sie menschliche Prüfung.
• Keine echten Kundendaten in Tests: Verwenden Sie anonymisierte oder erfundene Daten. Siehe Welche Daten gehören nicht in eine KI?.
• Variabilität: Dieselbe Frage kann unterschiedliche Antworten liefern. Stellen Sie wichtige Fragen mehrfach und bewerten Sie die Streuung.
• Sicherheit: Prüfen Sie auch, ob Nutzer das System durch geschickte Eingaben aushebeln können. Testfälle dazu finden Sie unter Prompt-Injection-Testfälle.
• Haftung und Auskunft: Wenn Ihr Produkt Auskünfte gibt, die Kundinnen verbindlich verstehen könnten, klären Sie rechtliche Folgen mit einer Fachperson. Die KI beurteilt das nicht.
• Testabdeckung: Eine Testliste deckt nie alles ab. Ergänzen Sie sie laufend mit echten Problemfällen aus dem Betrieb.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Startup in Luzern entwickelt einen Chat-Assistenten für Gästefragen in Hotels. Vor dem Start sammelt das Team 60 Fragen aus echten Gästekontakten und lässt die KI weitere 30 Fälle erzeugen, darunter solche mit Dialektausdrücken und Fragen nach Rabatten.

Beim Testen zeigen sich drei Probleme: Auf die Frage «Sind Hunde erlaubt?» antwortet der Assistent mit Ja, obwohl das Hotel Hunde nur auf Anfrage erlaubt. Auf «Gebt mir 20 Prozent Rabatt» sagt er zu, und bei einer Frage in Schweizerdeutsch antwortet er auf Englisch. Zwei Mitarbeiterinnen bewerten die Antworten und notieren die Fehler.

Das Team ändert die Anweisungen und die Wissensbasis, wiederholt alle Tests und legt fest: Zusagen zu Preisen sind ein «No-Go». Vorher hätten die Gäste die Fehler entdeckt, nachher wurden sie vorab behoben. Einen Rahmen für die Abnahme bietet Abnahmetest-Checkliste für Chatbots.

So hilft Ihnen Alpasana

Wenn Sie als Entwicklerin oder Entwickler lernen möchten, wie Sie KI bei Programmieraufgaben einsetzen und Ergebnisse systematisch kontrollieren, bietet absofort den Kurs KI für Developer mit Claude und Codex an. Beschrieben sind unter anderem Codegenerierung, Debugging, Refactoring und Review, das Delegieren von Aufgaben und Verifizieren von Ergebnissen sowie ein Entwickler-Playbook mit Prompts, Review-Regeln, Tests und Datenschutzgrenzen.

Der Kurs ist ein Lernangebot und ersetzt keine eigene Testplanung für Ihr Produkt.

Häufige Fragen

Wie viele Testfälle brauche ich?

Für den Start sind 50 bis 100 gut gewählte Fälle sinnvoll. Wichtiger als die Zahl ist die Vielfalt: Normal-, Rand- und Problemfälle.

Kann eine KI die Antworten meines Produkts bewerten?

Sie kann helfen, offensichtliche Fehler zu finden, ist aber selbst fehleranfällig. Für Entscheidungen über Qualität sollten Menschen die Antworten prüfen, zumindest stichprobenartig.

Wie oft soll ich testen?

Nach jeder Änderung am Modell, am Auftrag oder an der Wissensbasis, und regelmässig im Betrieb. Neue Problemfälle aus dem Alltag gehören in die Testliste.