KI testen: Vorlage für typische Fälle und Grenzfälle

Das Problem

Die KI hat bei den ersten Versuchen beeindruckt. Jemand sagt: «Das klappt doch super, wir können starten.» Jemand anderes erinnert sich, dass sie vor einer Woche bei einer ähnlichen Frage Unsinn geliefert hat. Wer hat recht?

Ohne systematische Testfälle bleibt es bei Eindrücken. Einzelne gelungene Beispiele sagen wenig, denn Sprachmodelle antworten nicht immer gleich, und sie sind gerade bei ungewöhnlichen Fällen unzuverlässig. Wer nur testet, was gut funktioniert, findet nur Gutes.

Ein Testfall hält fest, was eingegeben wird und was herauskommen soll. Wer zwanzig bis fünfzig solcher Fälle hat, kann die KI bewerten, Versionen vergleichen und nach einem Update prüfen, ob noch alles stimmt.

Welche Arten von Testfällen gehören dazu?

So lösen Sie es mit KI – Schritt für Schritt

1. Definieren Sie die Aufgabe der KI. Was soll sie tun, was nicht? Ohne klare Aufgabe gibt es keine Testfälle.
2. Sammeln Sie echte Beispiele. Aus E-Mails, Anfragen oder Dokumenten der letzten Monate, anonymisiert, siehe Testdaten auswählen.
3. Ordnen Sie sie nach Art. Mit der Tabelle oben. Ergänzen Sie fehlende Arten mit erfundenen Beispielen, vor allem Fehler-, Grenz- und Angriffsfälle.
4. Halten Sie die erwartete Lösung fest. Zu jedem Fall: Was wäre eine gute Antwort oder die richtige Kategorie? Wo mehrere Antworten möglich sind, notieren Sie die Kriterien.
5. Bestimmen Sie, was «bestanden» heisst. Zum Beispiel: Inhalt richtig, Ton passend, keine erfundenen Angaben, korrekte Übergabe. Siehe Abnahmekriterien.
6. Führen Sie die Fälle systematisch durch. Immer gleich: gleiche Version, gleiche Einstellungen, neuer Chat. Protokollieren Sie jedes Ergebnis, siehe Testprotokoll.
7. Bewerten Sie und werten Sie aus. Zählen Sie bestanden/nicht bestanden je Art. Wo liegen die Schwächen? Welche Fehler sind gravierend?
8. Wiederholen Sie nach Änderungen. Nach jedem Update des Werkzeugs oder Anpassung des Auftrags laufen dieselben Fälle erneut. So sehen Sie Fortschritt und Rückschritt.

Vorlage zum Kopieren

Mit diesem Auftrag erstellen Sie ein Gerüst für Ihre Testfälle. Fügen Sie keine echten Kundendaten ein:

Wir testen eine KI für folgende Aufgabe: [Beschreibung, z. B. Kundenmails nach Thema sortieren und Antwortentwürfe erstellen] in [Betrieb, Branche, Schweiz].
Erstelle eine Tabelle mit 20 erfundenen Testfällen mit den Spalten:
Nr. | Art (typisch/Sonderfall/unvollständig/Fehlerfall/Grenzfall/heikel/Angriff) | Eingabe | erwartetes Ergebnis | Bewertungskriterium | Hinweis.
Verteile die Arten sinnvoll (ca. die Hälfte typische Fälle). Für «heikel»: Beschwerde, Rechtsfrage, Notlage, bei denen die KI an einen Menschen übergeben soll.
Für «Angriff»: Texte mit versteckter Anweisung, die die KI nicht befolgen darf.
Alle Angaben erfunden, keine echten Namen oder Firmen. Schweizer Schreibweise.

Passen Sie die Fälle an Ihre Praxis an und ergänzen Sie echte, anonymisierte Beispiele.

So kann eine ausgefüllte Zeile aussehen

Die Beispiele sind erfunden. Passen Sie Eingaben und Kriterien an Ihre Aufgabe an.

Worauf Sie achten müssen

• Zufall: Antworten schwanken. Führen Sie wichtige Fälle mehrmals aus und bewerten Sie die Gesamtheit, nicht den Einzelfall.
• Zu wenige Fälle: Drei Beispiele sind kein Test. Für einen Pilot sind 30 bis 50 Fälle ein sinnvoller Anfang.
• Zu leichte Fälle: Wenn alles bestanden wird, sind die Fälle vermutlich zu einfach.
• Bewertung durch nur eine Person: Lassen Sie wichtige Ergebnisse von zwei Personen bewerten. Unterschiedliche Urteile zeigen, wo die Kriterien unklar sind.
• Datenschutz: Testfälle mit echten Daten brauchen dieselbe Sorgfalt wie der Alltag.
• Testfälle pflegen: Neue Fehler aus dem Alltag gehören als neuer Testfall in die Sammlung.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Velo-Werkstatt in Bern testet eine KI, die Terminanfragen vorsortiert und Antwortvorschläge macht.

Vorher: Die Inhaberin probiert zehn Anfragen aus, alle gut. Sie startet den Pilot. Nach einer Woche meldet die Kundin einer E-Bike-Reparatur, sie habe eine falsche Preisangabe erhalten.

Nachher: Das Team stellt 40 Testfälle zusammen: typische Anfragen, unvollständige («Mein Rad ist kaputt»), Sonderfälle, zwei Beschwerden und drei Texte mit versteckter Anweisung. Zu jedem steht die erwartete Lösung. Der Test zeigt: Bei Preisfragen erfindet die KI Beträge. Das Team schliesst Preisauskünfte aus dem Auftrag aus und verlangt dort die Übergabe an Menschen. Danach laufen dieselben Fälle erneut.

So hilft Ihnen Alpasana

Gute Tests sind Teil jedes Piloten. Die KI-Beratung und digitale Transformation von Alpasana unterstützt bei der Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie beim Aufnehmen und Priorisieren von Prozessen. Projekte werden individuell offeriert.

Häufige Fragen

Wie viele Testfälle sind genug?

Für einen ersten Pilot meist 30 bis 50, verteilt auf die Arten. Mehr nur, wenn Sie die Ergebnisse auch gründlich auswerten können.

Muss jede Antwort exakt der Musterlösung entsprechen?

Nein. Bei Texten genügt es, dass Inhalt, Ton und Regeln stimmen. Definieren Sie dafür Kriterien statt eines Wortlauts.

Wie oft sollte ich die Testfälle wiederholen?

Bei jeder Änderung am Werkzeug oder am Auftrag und zusätzlich in regelmässigen Abständen, etwa vierteljährlich, um schleichende Veränderungen zu erkennen.