Wer sollte unseren Chatbot zuerst testen?

Das Problem

Der Chatbot ist technisch fertig. Wer soll ihn zuerst ausprobieren? Naheliegend ist, die drei Technikbegeisterten im Haus zu fragen. Sie sind schnell dabei, finden vieles gut und stellen Fragen, die der Chatbot gut beantwortet. Nach dem Start kommen Menschen, die ganz anders fragen, und plötzlich zeigt sich ein Dutzend Schwächen, die niemand vorhergesehen hat.

Frau Müller möchte das vermeiden. Eine Pilotgruppe soll die Wirklichkeit spiegeln, nicht den Wunschtraum. Dazu gehören Menschen mit verschiedenen Aufgaben, Erfahrungen und Erwartungen. Auch jene, die dem Chatbot misstrauen, sind wertvoll: Sie stellen die kritischen Fragen.

Ein Pilot ist ein Test unter echten Bedingungen, aber begrenzt: wenige Personen, klare Zeit, klare Fragen. Wer ihn sorgfältig zusammenstellt, spart später viel Ärger.

So lösen Sie es mit KI – Schritt für Schritt

1. Ziel des Piloten festlegen. Was soll der Test zeigen: Richtigkeit der Antworten, Bedienbarkeit, Nutzen im Alltag, Akzeptanz? Das Ziel bestimmt die Gruppe. Siehe Messbare Ziele.

1. Fachbereiche abdecken. Mindestens eine Person aus jedem Bereich, den der Chatbot betrifft: Verkauf, Büro, Technik, Personal, Kundendienst.

1. Erfahrungsstufen mischen. Neue Mitarbeitende, langjährige Fachleute, jemand mit wenig IT-Erfahrung. Gerade Menschen, die im Alltag kaum mit IT arbeiten, zeigen, ob die Bedienung wirklich einfach ist.

1. Skeptiker einladen. Ein bis zwei kritische Personen helfen, Schwächen zu finden. Bitten Sie sie ausdrücklich um ehrliche Rückmeldung.

1. Gruppengrösse wählen. Fünf bis zehn Personen genügen für einen ersten Piloten. Mehr bringt viele Rückmeldungen, aber auch Aufwand.

1. Aufgaben und Zeit definieren. Jede Testperson erhält Aufträge: «Stellen Sie in den nächsten zwei Wochen jeden Tag mindestens zwei echte Fragen» und «Melden Sie falsche oder unklare Antworten». Siehe Fehler dokumentieren.

1. Einführung und Rückmeldeweg bereitstellen. Ein kurzes Treffen von 30 Minuten und ein einfacher Weg für Rückmeldungen, etwa ein Formular oder eine gemeinsame Tabelle.

1. Auswerten und danken. Besprechen Sie die Ergebnisse mit der Gruppe, zeigen Sie, was Sie ändern, und bedanken Sie sich. Das erhöht die Bereitschaft für künftige Tests.

Vorlage zum Kopieren

Mit diesem Auswahlbogen stellen Sie die Pilotgruppe zusammen. Kopieren Sie ihn in Excel oder Word.

Und hier ein Einladungstext:

Liebe [Name]
Wir testen ab [Datum] für [Dauer] einen neuen Chatbot für [Zweck]. Wir möchten dich bzw. Sie als Testperson gewinnen, weil Ihre Erfahrung im Bereich [Bereich] wichtig ist.
Ihre Aufgabe: Stellen Sie dem Chatbot im Alltag echte Fragen und melden Sie, was gut und was falsch oder unklar ist. Zeitaufwand: etwa [1 Stunde] pro Woche.
Wichtig: Kritik ist ausdrücklich erwünscht. Bitte geben Sie keine vertraulichen Kundendaten ein.
Einführungstreffen: [Datum, Zeit]
Freundliche Grüsse [Name]

Passen Sie Anrede und Details an. Ein persönliches Gespräch wirkt oft besser als eine E-Mail.

Ein Praxistipp: Geben Sie jeder Testperson fünf konkrete Aufgaben mit, zum Beispiel «Finden Sie heraus, wie viele Ferientage bei Teilzeit gelten», «Fragen Sie nach etwas, das garantiert nicht im Chatbot steht» und «Stellen Sie eine Frage in Ihren eigenen Worten, nicht in Fachsprache». Solche Aufgaben stellen sicher, dass nicht nur Wohlfühlfragen getestet werden. Vergessen Sie auch den Test mit dem Handy nicht, denn viele Menschen nutzen den Chatbot später unterwegs.

Worauf Sie achten müssen

• Freiwilligkeit: Wer nicht möchte, sollte nicht müssen. Erzwungene Tests liefern schlechte Rückmeldungen.
• Keine Leistungsbeurteilung: Machen Sie klar, dass nicht die Testpersonen bewertet werden, sondern der Chatbot.
• Datenschutz: Testpersonen sollten keine echten Kunden- oder Personaldaten eingeben, solange nicht geklärt ist, wie sie verarbeitet werden.
• Zeit einplanen: Wer einen Test nebenbei machen soll, tut es selten gründlich. Geben Sie Zeitfenster.
• Repräsentativität: Eine kleine Gruppe ersetzt keine Statistik. Sie zeigt Schwächen, nicht Durchschnittswerte.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Ingenieurbüro in Winterthur mit 50 Mitarbeitenden testet einen Chatbot für Normen und interne Vorlagen. Die Projektleitung möchte zuerst die drei IT-Interessierten fragen.

Vorher: Eine homogene Gruppe, die alles lobt. Nachher: Frau Müller stellt eine Gruppe aus acht Personen zusammen: zwei Projektleiter, eine Lernende, eine Sekretärin, zwei Fachspezialisten, ein Skeptiker aus der Buchhaltung und ein IT-Fachmann. Die Lernende findet heraus, dass der Chatbot Fachabkürzungen nicht versteht. Der Skeptiker entdeckt, dass alte Vorlagen noch im Chatbot liegen. Beides wird vor dem breiten Start behoben.

So hilft Ihnen Alpasana

Ein Pilot braucht Zielsetzung, Begleitung und Auswertung. Die KI-Beratung und digitale Transformation von Alpasana unterstützt bei der Einführung von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie beim Priorisieren von Vorhaben und beim Erstellen eines Umsetzungsplans.

So wird der Pilot zu einem klaren Schritt mit Ergebnis. Projekte werden individuell offeriert.

Häufige Fragen

Wie lange sollte der Pilot dauern?

Meist zwei bis acht Wochen, je nach Umfang. Zu kurz zeigt zu wenig, zu lang ermüdet. Legen Sie vorab Start, Ende und Auswertungstermin fest.

Sollen auch Kundinnen und Kunden mitmachen?

Bei öffentlichen Chatbots kann ein kleiner Test mit ausgewählten Kunden sinnvoll sein, nachdem die interne Prüfung bestanden ist. Informieren Sie offen, dass es ein Test ist.

Wie halte ich die Gruppe bei der Stange?

Mit kurzen Rückmeldewegen, wöchentlichen Zwischenständen und sichtbaren Verbesserungen. Wer merkt, dass seine Hinweise wirken, bleibt dabei.

Was, wenn zu wenig Rückmeldungen kommen?

Das ist ein Ergebnis: Vielleicht ist der Chatbot nicht relevant, oder der Rückmeldeweg ist zu umständlich. Fragen Sie nach und vereinfachen Sie. Siehe Wenn der Chatbot kaum genutzt wird.