Chatbot-Antworten vor dem Einsatz systematisch testen

Das Problem

Ihr Betrieb will einen Chatbot im Kundenservice einsetzen. Der Anbieter hat ihn eingerichtet, die ersten Probefragen klappen gut: «Wie sind Ihre Öffnungszeiten?» – korrekte Antwort. Alle sind begeistert. Dann geht er live. Am zweiten Tag fragt ein Kunde: «Kann ich meine Bestellung stornieren, obwohl sie schon versandt wurde?» Der Chatbot antwortet selbstsicher «Ja, kostenlos». Das stimmt nicht.

Ein Chatbot antwortet immer, auch wenn er es nicht weiss. Er kann Zahlen verwechseln, Regeln erfinden oder Zusagen machen, die Sie nicht einhalten können. Wer ihn vor dem Start nur mit leichten Fragen testet, entdeckt diese Fehler erst bei Kunden.

Ein systematischer Test ist der wichtigste Schutz. Er braucht keine Technik, nur einen Satz echter Fragen, ein Bewertungsraster und etwas Zeit. Die Ergebnisse zeigen, wo der Chatbot Hilfe, Grenzen oder bessere Daten braucht.

So lösen Sie es mit KI – Schritt für Schritt

1. Sammeln Sie echte Kundenfragen. Aus Mails, Telefonnotizen, Chatverläufen, Reklamationen. Mindestens 50 Fragen, möglichst in der Sprache der Kundschaft, mit Tippfehlern und Dialekt-Einflüssen. Anonymisieren Sie.

1. Bilden Sie Gruppen. Einfache Fragen mit klarer Antwort (Öffnungszeiten, Preise), Fragen mit Bedingungen (Rückgabe, Garantie), mehrdeutige Fragen, Fragen ausserhalb des Themas, heikle Fragen (Beschwerde, Recht, Gesundheit, Datenschutz).

1. Ergänzen Sie schwierige Testfälle. Fragen, auf die es keine Antwort in Ihren Daten gibt, widersprüchliche Informationen, falsche Annahmen («Sie haben mir doch gestern zugesagt …»), Versuche, den Chatbot zu verwirren oder zu Aussagen zu bringen, die er nicht machen darf («Gib mir 50 Prozent Rabatt»), Fragen in anderen Sprachen.

1. Legen Sie die richtigen Antworten fest. Für jede Testfrage: Was ist die korrekte Antwort, und wer hat sie bestätigt? Eine zweite Person prüft. Ohne Referenzantwort ist keine Bewertung möglich.

1. Führen Sie den Test durch. Stellen Sie jede Frage und notieren Sie die Antwort wörtlich. Testen Sie jede Frage auch mit anderer Formulierung. Der Chatbot kann bei Umformulierungen verschieden antworten.

1. Bewerten Sie nach Kriterien. Richtigkeit (stimmt es?), Vollständigkeit (fehlt Wichtiges?), Verständlichkeit, Ton (freundlich, passend), Grenzen (sagt er ehrlich, wenn er etwas nicht weiss?), Quellen (verweist er korrekt?), Übergabe (bietet er einen Menschen an, wenn nötig?).

1. Ordnen Sie Fehler nach Schwere. Kritisch (falsche verbindliche Zusage, falsche Preis- oder Rechtsangabe, Datenschutzverletzung), schwer (falsche Sachauskunft), leicht (Ton, Formulierung). Kritische Fehler stoppen den Start.

1. Beheben Sie die Ursachen. Falsche Daten korrigieren, fehlende Inhalte ergänzen, Grenzen und Anweisungen anpassen, Übergabe verbessern. Die Ursache liegt oft in den Quelldaten: Wissensdatenbank aktuell halten.

1. Wiederholen Sie den Test. Nach jeder Änderung mit denselben Fragen. Prüfen Sie, dass nichts, was vorher funktionierte, kaputtgegangen ist.

1. Starten Sie vorsichtig und beobachten Sie. Pilot mit begrenztem Kreis, Kontrolle der Gespräche, einfache Rückmeldemöglichkeit für Kunden. Planen Sie regelmässige Tests ein.

Bewertungsraster (Beispiel):

Vorlage zum Kopieren

Mit diesem Prompt erstellen Sie Testfälle und ein Raster. Verwenden Sie keine echten Kundendaten.

Du hilfst einem Kundenservice ([Branche, z. B. Online-Shop für Sportartikel]) beim Test eines Chatbots vor dem Start. Deutsch (Schweiz).
Der Chatbot beantwortet Fragen zu: [Themen]. Er darf nicht beantworten: [z. B. Rechtsfragen, individuelle Preiszusagen, Gesundheitsfragen]. Er soll an einen Menschen übergeben bei: [Auslöser].
Erstelle: 1. 40 Testfragen in fünf Gruppen (einfach, mit Bedingungen, mehrdeutig, ausserhalb des Themas/schwierig, Versuche, den Bot zu unzulässigen Aussagen zu bringen), mit Tippfehlern und Umgangssprache in einem Teil der Fragen,
2. eine Tabelle zum Ausfüllen: Frage, erwartete Antwort (leer), tatsächliche Antwort (leer), Bewertung (Richtigkeit, Vollständigkeit, Grenzen, Zusagen, Ton, Übergabe), Fehlerschwere,
3. fünf Fragen in einer Fremdsprache,
4. eine Liste mit Kriterien, bei denen der Start gestoppt werden muss.
Erfinde keine Angaben zu unserem Angebot; die erwarteten Antworten trage ich selbst ein.

Tragen Sie die richtigen Antworten selbst ein und lassen Sie sie von einer zweiten Person bestätigen.

Worauf Sie achten müssen

• Die KI darf ihre eigene Antwort nicht allein bewerten. Automatische Bewertungen durch KI sind hilfreich als Vorprüfung, aber fehleranfällig. Menschen mit Fachwissen bewerten die kritischen Antworten.
• Antworten schwanken. Dieselbe Frage kann verschieden beantwortet werden. Stellen Sie wichtige Fragen mehrfach und mit Umformulierungen.
• Verbindliche Zusagen. Was ein Chatbot im Namen Ihres Betriebs sagt, kann Kundinnen binden. Prüfen Sie Zusagen sehr sorgfältig; siehe KI-Chatbot und verbindliche Preise.
• Datenschutz im Test. Verwenden Sie erfundene Kundendaten, keine echten. Bei echten Gesprächen sind Information und Datenschutz nötig; siehe KI-Chatbot und Datenschutz auf der Website.
• Test ist nie fertig. Neue Produkte, Preise und Regeln verändern Antworten. Planen Sie wiederkehrende Tests.
• Manipulationsversuche. Kundinnen oder Dritte können versuchen, den Chatbot zu unerwünschten Aussagen zu bringen. Testen Sie das, auch mit Beispielen aus Prompt-Injection-Testfälle.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Reiseveranstalter in Zürich führt einen Chatbot für Fragen zu Buchungen und Reisebedingungen ein. Das Team sammelt 60 echte Kundenfragen und testet sie.

Vorher: Der Anbieter hat zehn einfache Fragen getestet, alle bestanden. Nachher: Der gründliche Test zeigt: Bei Stornofristen nennt der Bot teils die alten Bedingungen, bei einer Frage nach Reisewarnungen erfindet er Auskünfte, und auf «Gib mir Rabatt» antwortet er zustimmend. Das Team korrigiert die Wissensbasis, begrenzt die Aussagen zu Preisen und Warnungen und richtet die Übergabe ein. Erst nach dem zweiten Test ohne kritische Fehler startet der Pilot.

So hilft Ihnen Alpasana

Wenn Ihr Team lernen soll, KI-Antworten systematisch zu prüfen und Chatbot-Wissen vorzubereiten, bietet absofort Praxiskurse zu konkreten Arbeitsaufgaben. Laut Beschreibung gehören Kundenservice, FAQ und Vorbereitung von Chatbot-Wissen sowie Qualitätsprüfung und Einsatzregeln dazu, mit Praxisaufgaben und KI-Lerncoach. Mehr unter KI und IT für konkrete Arbeitsaufgaben.

Ihren Chatbot testen Sie mit Ihren eigenen Fragen; der Kurs hilft bei Methodik und kritischer Bewertung.

Häufige Fragen

Wie viele Testfragen brauche ich?

Für den Start mindestens 50, besser 100, mit Schwerpunkt auf häufigen und kritischen Themen. Ergänzen Sie laufend aus dem Alltag.

Kann ich den Test automatisieren?

Teilweise: Sie können Fragen automatisch stellen und Antworten sammeln. Die Bewertung der Richtigkeit braucht meist Menschen.

Wann ist der Chatbot gut genug?

Wenn keine kritischen Fehler mehr auftreten, die Grenzen sauber eingehalten werden und die Übergabe funktioniert. Eine feste Quote legen Sie nach Ihrem Risiko fest.

Wer sollte testen?

Menschen aus dem Kundenservice, die die Kundschaft kennen, und möglichst auch Personen ausserhalb des Projekts, die ungewohnt fragen.