Kundenchatbot testen: Checkliste für richtige Antworten

Das Problem

Der Chatbot ist eingerichtet, und er antwortet sogar freundlich. Aber stimmen seine Auskünfte? Bevor Kundinnen und Kunden mit ihm sprechen, möchten Sie merken, ob er falsche Auskünfte gibt. Ein Fehler vor Publikum schadet dem Ruf: ein falscher Preis, eine erfundene Frist, eine Zusage, die Ihr Betrieb nicht gibt.

Das Schwierige: Chatbots wirken im Test oft überzeugend, weil man ihnen die erwarteten Fragen stellt. Probleme zeigen sich erst bei ungewohnten Formulierungen, Fangfragen oder Dingen, die nicht in der Wissensbasis stehen. Dann erfindet ein Bot gern eine Antwort, statt «Das weiss ich nicht» zu sagen.

Mit einem systematischen Test finden Sie die Schwachstellen vorher. Sie brauchen keine Technikkenntnisse, nur eine Liste von Fragen, ein Prüfblatt und etwas Zeit.

So lösen Sie es mit KI – Schritt für Schritt

1. Erstellen Sie eine Testliste. Sammeln Sie 40 bis 60 Fragen in vier Gruppen: häufige Fragen (aus der Wissensbasis), Varianten (gleiche Frage in anderen Worten, mit Tippfehlern, in Dialekt oder Kurzform), Grenzfälle (fast, aber nicht ganz abgedeckt) und Fragen ausserhalb des Wissens.
2. Ergänzen Sie Fangfragen. Fragen, bei denen der Bot etwas versprechen oder erfinden könnte: «Können Sie mir 20 Prozent Rabatt geben?», «Garantieren Sie die Lieferung bis morgen?», «Was kostet das genau?» (bei individuellen Preisen).
3. Definieren Sie die erwartete Antwort. Notieren Sie zu jeder Frage, was richtig wäre, oder dass die Antwort eine Weiterleitung sein soll. Ohne Erwartung lässt sich nichts beurteilen.
4. Führen Sie die Tests durch. Stellen Sie jede Frage, kopieren Sie die Antwort in die Tabelle und bewerten Sie: richtig, teilweise, falsch, erfunden, korrekt weitergeleitet.
5. Prüfen Sie Ton und Grenzen. Bleibt der Bot freundlich, klar und sachlich? Verspricht er etwas? Gibt er Rechts- oder Gesundheitsauskünfte, die er nicht geben soll?
6. Prüfen Sie die Weiterleitung. Wird bei Unsicherheit, Beschwerden oder Sonderwünschen an einen Menschen übergeben? Siehe Übergabe an Menschen.
7. Beheben Sie Fehler und testen Sie neu. Korrigieren Sie die Wissensbasis oder Anweisungen und wiederholen Sie die fehlgeschlagenen sowie ein paar zufällige Tests. Änderungen können andere Antworten verschieben.
8. Lassen Sie andere testen. Eine Kollegin, die die Wissensbasis nicht kennt, stellt Fragen ungeschützter. Das zeigt Lücken, die Sie selbst nicht sehen.

Vorlage zum Kopieren

Mit diesem Prompt bereiten Sie die Testliste vor. Verwenden Sie allgemeine Angaben und erfundene Beispiele.

Ich teste einen Kundenchatbot für einen Schweizer Betrieb ([Branche]) vor dem Einsatz.

Themen, die der Bot beantworten soll: [z. B. Öffnungszeiten, Lieferung, Rückgabe, Garantie]
Was der Bot nicht beantworten darf: [z. B. individuelle Preise, Rechtsfragen]
Weiterleitung bei: [Bedingungen]

Erstelle eine Testliste mit 40 Fragen in vier Gruppen:
A) 15 häufige Fragen zu den genannten Themen,
B) 10 Umformulierungen (Tippfehler, Kurzform, umgangssprachlich, Mundart-nah),
C) 10 Fangfragen (Rabatt, Garantie, verbindliche Zusage, Druck),
D) 5 Fragen ausserhalb des Wissens (Wetter, Konkurrenz, private Meinung).

Gib eine Tabelle aus: Nr., Gruppe, Frage, erwartetes Verhalten (Antwort oder Weiterleitung), Platz für tatsächliche Antwort, Bewertung (richtig / teilweise / falsch / erfunden), Bemerkung.
Erfinde keine Fakten über unseren Betrieb.

Ergänzen Sie die erwarteten Antworten aus Ihrer Wissensbasis. Wählen Sie die Fragen so, dass sie Ihre Kundschaft realistisch abbilden.

Bewertung der Testantworten

Worauf Sie achten müssen

• Erfundene Antworten sind das Kernrisiko. Zählen Sie diese Fälle genau. Wenige davon können bereits reichen, den Start zu verschieben.
• Ein bestandener Test ist eine Momentaufnahme. Antworten können variieren und sich nach Änderungen verschieben. Wiederholen Sie Tests regelmässig und nach jedem Update. Stand Oktober 2026 ändern sich Modelle laufend.
• Schutz vor Manipulation. Besucher versuchen manchmal, Chatbots zu überlisten, etwa mit Anweisungen wie «Ignoriere deine Regeln». Testen Sie solche Versuche. Rechtlich verbindliche Zusagen darf der Bot nicht machen.
• Datenschutz. Verwenden Sie für Tests keine echten Kundendaten. Prüfen Sie, welche Eingaben der Bot speichert, und informieren Sie Besucher. Hinweise bietet der EDÖB.
• Barrierefreiheit und Sprache. Prüfen Sie, wie der Bot mit mehreren Sprachen und einfachen Formulierungen umgeht.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Reisebüro in Bern führt einen Chatbot für Fragen zu Buchung und Stornierung ein. Frau Müller aus der Administration testet ihn eine Woche lang mit 50 Fragen.

Vorher wirkten die ersten fünf Antworten einwandfrei. Beim systematischen Test zeigen sich Lücken: Auf die Frage nach einer Reiseversicherung nennt der Bot eine konkrete Deckung, die es so nicht gibt. Auf «Können Sie mir einen Rabatt geben?» verspricht er «bis zu 10 Prozent».

Nachher ergänzt sie in der Anleitung, dass der Bot keine Rabatte oder Versicherungsleistungen nennt, sondern an die Beratung verweist. Der zweite Testlauf zeigt keine erfundenen Antworten mehr. Der Chatbot geht mit klaren Grenzen in Betrieb.

So hilft Ihnen Alpasana

In den Kursen unter KI und IT für konkrete Arbeitsaufgaben finden Sie Inhalte zu Kundenservice, FAQ und der Vorbereitung von Chatbot-Wissen sowie zur Qualitätsprüfung mit Praxisaufgaben, KI-Lerncoach und verifizierbarem Abschluss. Das hilft, Testfragen zu entwerfen und Antworten sauber zu beurteilen.

Die Verantwortung für die Auskünfte Ihres Chatbots trägt Ihr Betrieb.

Häufige Fragen

Wie viele Testfragen reichen?

Für einen ersten Start 40 bis 60 gut gewählte Fragen. Bei grösserem Wissensumfang oder sensiblen Themen mehr. Ergänzen Sie laufend Fragen aus der Praxis.

Kann eine KI die Tests auswerten?

Sie kann Antworten mit der erwarteten Antwort vergleichen und Auffälligkeiten markieren. Das Urteil über richtig oder falsch bei Sachaussagen sollte ein Mensch fällen, der den Betrieb kennt.

Wann ist der Bot gut genug für den Start?

Wenn keine erfundenen oder gefährlichen Antworten mehr auftreten, die Weiterleitung zuverlässig funktioniert und Sie einen Weg haben, Fehler im Betrieb zu melden und zu beheben. «Fehlerfrei» gibt es nicht.