Testfragen für einen Dokumenten-Chatbot: Vorlage

Das Problem

Der Anbieter zeigt in der Vorführung drei Fragen, und der Chatbot beantwortet sie perfekt. Aber wie gut ist er bei den 300 Fragen, die Ihre Leute im Alltag stellen? Wer nur Beispiele aus der Demo prüft, erlebt die Überraschung nach dem Start.

Ein Chatbot, der aus Ihren Dokumenten antwortet, macht typische Fehler: Er nennt eine falsche Zahl, nimmt eine veraltete Fassung, erfindet etwas, wenn nichts im Dokument steht, oder zitiert eine Quelle, die die Aussage nicht trägt. Das erkennt man nur mit einem Test, der diese Fehlerarten bewusst auslöst.

Mit einer Fragenliste samt Referenzantworten testen Sie sachlich und wiederholbar. Sie sehen, ob Änderungen das System verbessern oder verschlechtern.

So lösen Sie es mit KI – Schritt für Schritt

1. Sammeln Sie echte Fragen. Nehmen Sie 30 bis 50 Fragen aus dem Alltag: Mails, Anrufe, Chat. Mischen Sie leichte und schwere.
2. Bilden Sie Kategorien. Zum Beispiel: einfache Fakten, Zahlen und Fristen, mehrstufige Fragen, Folgefragen, Fragen ohne Antwort in den Unterlagen, Fragen mit alten und neuen Dokumentversionen.
3. Schreiben Sie Referenzantworten. Eine Fachperson formuliert pro Frage die richtige Antwort und nennt die Stelle im Dokument. Bei Fragen ohne Antwort lautet die Referenz: «Der Chatbot soll sagen, dass er es nicht weiss.»
4. Führen Sie den Test durch. Stellen Sie jede Frage so, wie ein Mensch sie tippen würde, mit Tippfehlern und Umgangssprache.
5. Bewerten Sie nach einem festen Raster. Pro Frage: Inhalt richtig, Quelle richtig, vollständig, verständlich. Siehe Bewertungsraster für Antworten.
6. Halten Sie Fehler fest. Notieren Sie, in welcher Kategorie sie häufen. Das zeigt, ob das Problem bei der Suche, den Dokumenten oder der Formulierung liegt.
7. Verbessern und wiederholen. Nach jeder Änderung die gleiche Liste noch einmal. Nur so sehen Sie, ob es besser wurde.
8. Legen Sie eine Abnahmeschwelle fest. Entscheiden Sie vor dem Test, ab welchem Ergebnis Sie starten, zum Beispiel «keine falschen Zahlen» und «jede Antwort mit Quelle». Siehe Abnahmetest-Checkliste.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich aus Ihren Dokumentabschnitten einen Entwurf für Testfragen erzeugen. Danach prüft eine Fachperson jede Zeile.

Du hilfst mir, einen Test für unseren Dokumenten-Chatbot vorzubereiten.

Betrieb: [Branche, Ort]
Dokument/Abschnitt: [Titel, Version]
Textausschnitt: [Text einfügen]

Erstelle [10] Testfragen in einer Tabelle mit den Spalten:
Nr | Kategorie | Frage (so, wie ein Mitarbeiter sie tippen würde) | Erwartete Antwort | Erwartete Quelle (Seite oder Abschnitt) | Schwierigkeit (leicht, mittel, schwer)

Regeln:
- Verwende nur Informationen aus dem Textausschnitt.
- Erstelle zusätzlich [3] Fragen, die der Ausschnitt NICHT beantwortet; als erwartete Antwort steht dort «weiss nicht».
- Erstelle [2] Fragen mit Umgangssprache oder Tippfehlern.
- Erfinde keine Zahlen und keine Fristen.

Wiederholen Sie das für wichtige Dokumente. Die Entwürfe sind Ausgangspunkte: Referenzantworten dürfen nie ungeprüft übernommen werden.

Worauf Sie achten müssen

• Keine Demo-Fragen allein: Testen Sie mit Ihren Dokumenten und Ihren Fragen, nicht mit dem Musterbeispiel des Anbieters.
• Vertrauliche Inhalte: Geben Sie Dokumentausschnitte nur in KI-Werkzeuge ein, die Ihre Datenschutzregeln erlauben. Lassen Sie Personendaten weg.
• Entwürfe prüfen: Von KI erzeugte Referenzantworten können falsch sein. Eine Fachperson gleicht sie mit dem Dokument ab.
• Zufall: Sprachmodelle antworten nicht immer gleich. Stellen Sie wichtige Fragen mehrmals und beachten Sie Abweichungen.
• Aktualität: Ein Test gilt nur für den damaligen Stand. Nach neuen Dokumenten oder einem Modellwechsel wiederholen Sie ihn, siehe Regressionstest.
• Aufwand: Rechnen Sie für die erste Liste mit einigen Stunden. Danach lohnt sich jede Wiederholung.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Treuhandfirma in Luzern führt einen Chatbot für interne Fragen zu Arbeitsanweisungen ein. Zwei Mitarbeiterinnen erstellen 40 Testfragen mit Referenzantworten, davon acht Fragen ohne Antwort in den Unterlagen.

Vorher: Beim ersten Durchlauf beantwortet der Chatbot sieben der acht unbeantwortbaren Fragen trotzdem, mit überzeugend klingenden Antworten. Nachher: Das Team passt die Anweisung an («Wenn nichts im Ausschnitt steht, sage es») und wiederholt den Test. Nun gelingt es bei sieben von acht. Bei der achten Frage fehlt ein Dokument, das nachgereicht wird. Erst danach startet der Chatbot für das ganze Team.

So hilft Ihnen Alpasana

Ein sauberer Test gehört in jedes Chatbot-Projekt, ist aber leicht zu vernachlässigen. Die KI-Beratung und digitale Transformation von Alpasana begleitet KI-Vorhaben vom Anwendungsfall über den Pilot bis zu Einsatzregeln und Skalierung.

Dazu gehört, gemeinsam Testfälle zu definieren und die Umsetzung zu dokumentieren. Projekte werden individuell offeriert.

Häufige Fragen

Wie viele Testfragen sind genug?

Für einen ersten Start genügen 30 bis 50 gut gewählte Fragen. Bei kritischen Themen wie Fristen oder Sicherheit lohnt es sich, mehr Fälle zu prüfen.

Kann die KI den Test selbst bewerten?

Sie kann Vorschläge machen, aber die Bewertung ist fehleranfällig. Prüfen Sie wichtige Antworten selbst. Mehr zu den Grenzen unter Automatische Bewertung.

Wer sollte die Referenzantworten schreiben?

Eine Person, die das Fachgebiet kennt und weiss, was im Dokument steht, etwa aus Personal, Einkauf oder Support. Nicht die IT allein.

Wie oft wiederholen wir den Test?

Nach jeder grösseren Änderung an Dokumenten, Einstellungen oder Modell, und zusätzlich in festen Abständen, etwa vierteljährlich.