Wie testet man eine Anbieter-Demo mit eigenen Beispielen?

Das Problem

Der Anbieter zeigt seine Demo: Er lädt ein Dokument hoch, stellt eine Frage, und der Chatbot antwortet präzise und freundlich. Alle im Raum sind beeindruckt. Doch die Demo läuft mit Unterlagen, die der Anbieter selbst vorbereitet hat und die perfekt zum Chatbot passen.

Ihre Unterlagen sehen anders aus: Es gibt Scans, Tabellen, widersprüchliche Versionen, Abkürzungen und Schweizer Fachbegriffe. Ihre Kundschaft stellt unvollständige Fragen, benutzt Dialekt-Ausdrücke oder fragt nach Dingen, die gar nicht dokumentiert sind.

Darum lohnt sich ein eigener Test, bevor Sie einen Vertrag unterschreiben. Er braucht keine Technikkenntnisse, nur etwas Vorbereitung. Eine KI hilft beim Sammeln und Ordnen von Testfragen, aber die Beurteilung der Antworten machen Sie.

So lösen Sie es mit KI – Schritt für Schritt

1. Anbieter um einen Testzugang bitten: Fragen Sie nach einer Testphase oder einem Pilot, in dem Sie eigene Dokumente einspeisen dürfen. Klären Sie zuerst, wie diese Daten behandelt werden.
2. Dokumente auswählen: Nehmen Sie 10 bis 20 typische Dokumente, davon einige schwierige: Scan, Tabelle, Dokument mit Ausnahmen. Entfernen Sie Vertrauliches.
3. Testfragen sammeln: Notieren Sie 30 bis 50 echte Fragen aus E-Mails, Telefonaten und Notizen. Mischen Sie leichte, mittlere und schwierige Fragen.
4. Richtige Antworten festhalten: Schreiben Sie zu jeder Frage die korrekte Antwort und die Quelle auf, bevor Sie testen.
5. Fallen einbauen: Stellen Sie Fragen, auf die es in den Dokumenten keine Antwort gibt, und prüfen Sie, ob der Chatbot ehrlich sagt, dass er es nicht weiss.
6. Test durchführen: Lassen Sie mehrere Personen die Fragen stellen, wenn möglich in ihren eigenen Worten.
7. Ergebnisse bewerten: Markieren Sie jede Antwort: richtig, teilweise, falsch, erfunden. Notieren Sie, ob die Quelle angegeben wurde.
8. Auswerten und vergleichen: Berechnen Sie den Anteil richtiger Antworten und stellen Sie Anbieter nebeneinander. Besprechen Sie die Schwächen mit dem Anbieter.

Vorlage zum Kopieren

Du hilfst mir, eine Chatbot-Demo mit eigenen Beispielen zu testen. Deutsch (Schweiz), einfache Sprache.
Unser Betrieb: [Branche, Grösse]
Einsatz des Chatbots: [Zweck, Zielgruppe]
Unsere Dokumentarten: [z. B. PDF-Handbücher, Preislisten, Merkblätter, Scans]
Typische Fragen (Beispiele, anonymisiert): [5 Beispiele]
Aufgabe: 1. Schlage 30 Testfragen vor, verteilt auf leicht, mittel, schwierig. 2. Füge 5 Fragen hinzu, auf die es keine Antwort in unseren Dokumenten gibt. 3. Füge 5 Fragen mit Tippfehlern oder unvollständigen Angaben hinzu. 4. Erstelle eine Auswertungstabelle mit den Spalten «Frage», «Erwartete Antwort», «Antwort des Chatbots», «Bewertung», «Quelle angegeben», «Bemerkung».
Erfinde keine Fakten über unseren Betrieb. Lasse die Spalte «Erwartete Antwort» leer, ich fülle sie selbst aus.

Fügen Sie Ihre Beispiele ein. Die erwarteten Antworten tragen Sie selbst ein, denn nur Sie wissen, was stimmt.

Worauf Sie achten müssen

• Datenschutz im Test: Auch Testdaten verlassen Ihr Haus. Nutzen Sie unkritische oder anonymisierte Dokumente und klären Sie, ob der Anbieter sie speichert oder zum Training verwendet.
• Bewertung durch Fachpersonen: Lassen Sie jemanden bewerten, der die Inhalte kennt. Wer es nicht weiss, hält erfundene Antworten für richtig.
• Erfundene Antworten: Ein guter Chatbot gibt zu, wenn er etwas nicht weiss. Antworten, die überzeugend klingen, aber nicht in den Dokumenten stehen, sind ein Warnzeichen.
• Nicht nur Glanzfragen: Testen Sie auch Zahlen, Ausnahmen, Daten und Abkürzungen. Dort machen Chatbots oft Fehler.
• Gleiche Fragen für alle: Wenn Sie mehrere Anbieter testen, verwenden Sie dieselben Dokumente und Fragen.
• Keine Zusagen aus der Demo: Was in der Demo gezeigt wird, ist nicht automatisch Vertragsbestandteil. Lassen Sie sich Leistungen schriftlich bestätigen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Elektrogrosshändler in Olten möchte einen Chatbot für den Innendienst, der Fragen zu Lieferkonditionen, Rückgaben und Produktdaten beantwortet. Der Anbieter präsentiert eine überzeugende Demo.

Vorher: Das Team will sofort bestellen, weil die Demo so gut aussah.

Nachher: Der Innendienstleiter sammelt 40 echte Fragen, davon fünf ohne Antwort in den Dokumenten, und 12 typische Dokumente. Im Test beantwortet der Chatbot einfache Fragen gut, scheitert aber bei Tabellen mit Rabattstaffeln und erfindet bei zwei Fragen eine Antwort. Der Anbieter verspricht Verbesserungen für Tabellen. Der Händler vereinbart einen kostenpflichtigen Pilot und prüft später erneut.

So wurde aus dem guten Eindruck eine begründete Entscheidung.

So hilft Ihnen Alpasana

Wenn Sie vor einer Anbieterwahl klären wollen, welche Aufgaben ein Chatbot in Ihrem Betrieb übernehmen soll, unterstützt die KI-Beratung und digitale Transformation von Alpasana: Prozesse aufnehmen, KI-Potenziale analysieren, Vorhaben priorisieren und einen Umsetzungsplan erstellen. Auch Pilot und Einsatzregeln beim Einführen von KI-Agenten sind beschrieben.

Projekte werden individuell offeriert. Weiter hilft Fragen im Anbietergespräch.

Häufige Fragen

Wie viele Dokumente soll ich für den Test verwenden?

Zehn bis zwanzig reichen. Wichtig ist die Mischung: einfache und schwierige, aktuelle und veraltete, solche mit Tabellen und solche ohne.

Darf ich echte Kundendaten im Test verwenden?

Besser nicht. Verwenden Sie anonymisierte oder erfundene Beispiele und klären Sie mit dem Anbieter, wie Testdaten behandelt und gelöscht werden.

Was, wenn der Anbieter keinen Test mit eigenen Daten erlaubt?

Das ist ein Warnsignal. Fragen Sie nach einem kostenlosen oder günstigen Pilot. Ohne eigenen Test tragen Sie das Risiko, ein ungeeignetes Produkt zu kaufen.

Wie bewerte ich Antworten, die teils stimmen?

Legen Sie vorher Regeln fest, zum Beispiel: Eine Antwort mit falscher Zahl zählt als falsch. Mehr zur Bewertung finden Sie in Chatbot-Antworttest-Vorlage.