Wie sammelt man hilfreiches Feedback zu Chatbot-Antworten?

Das Problem

Der Chatbot läuft seit sechs Wochen. Niemand beschwert sich, aber Frau Müller fragt sich: Heisst das, alles ist gut? Oder gibt es keine Rückmeldungen, weil niemand weiss, wohin damit? Sie hört zufällig am Mittagstisch, dass jemand eine falsche Antwort bekommen hat und es nicht gemeldet hat: «Wozu auch, das ändert eh nichts.»

Ohne Feedback fliegt ein Chatbot blind. Er wird nie besser, weil niemand erfährt, wo er schwach ist. Viele Fehler bleiben unentdeckt, bis sie ein Kunde erwähnt oder ein Chef sie zufällig bemerkt.

Gutes Feedback ist einfach zu geben: ein Klick, ein Satz, ein klarer Weg. Und es lohnt sich nur, wenn Menschen sehen, dass etwas passiert. Dieser Leitfaden zeigt, wie Sie beides erreichen, ohne dass es kompliziert wird.

So lösen Sie es mit KI – Schritt für Schritt

1. Entscheiden, was Sie wissen wollen. Helfen die Antworten? Stimmen sie? Fehlt etwas? Drei Fragen genügen. Siehe Messbare Ziele.

1. Ein Bewertungssymbol einbauen. Ein Daumen hoch und ein Daumen runter unter jeder Antwort. Das geht schnell und wird genutzt. Viele Chatbot-Werkzeuge bieten das als Einstellung.

1. Ein optionales Textfeld ergänzen. Nach einem «Daumen runter» kann ein Feld erscheinen: «Was stimmte nicht?» Es muss freiwillig sein.

1. Einen Meldeweg für das Team schaffen. Mitarbeitende brauchen einen Ort für längere Rückmeldungen: eine gemeinsame Tabelle oder ein Formular. Siehe Fehlerprotokoll: Vorlage.

1. Auch Fragen ohne Antwort auswerten. Wo sagt der Chatbot «Das weiss ich nicht»? Diese Fragen zeigen Lücken im Wissen. Siehe Wissenslücken erkennen.

1. Wöchentlich sichten. Reservieren Sie 30 Minuten pro Woche. Sortieren Sie nach Häufigkeit und Schwere. Beheben Sie zuerst, was oft vorkommt oder schadet.

1. Rückmeldung zurückgeben. Sagen Sie dem Team, was Sie verbessert haben: «Dank eurer Hinweise ist die Spesenregel nun korrekt.» Das fördert weitere Rückmeldungen.

1. Datenschutz klären. Bewertungen und Kommentare können Personendaten enthalten. Legen Sie fest, wie lange sie gespeichert werden und wer sie sieht.

Vorlage zum Kopieren

Mit diesem Prompt sortieren Sie eine Liste von Rückmeldungen. Fügen Sie nur anonymisierte Kommentare ein.

Hier sind Rückmeldungen zu unserem Chatbot der letzten zwei Wochen (anonymisiert):
[Liste: Frage, Bewertung, Kommentar]
Gruppiere sie nach Ursachen: 1. falsche Information, 2. fehlendes Wissen, 3. unverständliche Antwort, 4. Ton/Länge, 5. technische Störung, 6. Sonstiges.
Zähle die Nennungen pro Gruppe und nenne pro Gruppe zwei typische Beispiele. Schlage für die zwei häufigsten Gruppen je eine Massnahme vor, die wir selbst umsetzen können.
Erfinde keine Rückmeldungen und keine Zahlen.

Prüfen Sie die Gruppierung mit Ihrem eigenen Eindruck und passen Sie die Massnahmen an Ihre Möglichkeiten an.

Und so könnte der Satz unter der Bewertung lauten:

Hat Ihnen diese Antwort geholfen?  [Ja] [Nein]
Wenn nicht: Was fehlt oder stimmt nicht? (freiwillig, bitte keine persönlichen Daten angeben)

Ein Praxistipp: Lesen Sie in den ersten vier Wochen jede einzelne Rückmeldung, auch wenn es mühsam ist. Dabei lernen Sie, wie Ihre Nutzer wirklich schreiben und was sie erwarten. Erst später lohnt sich das Zählen und Gruppieren. Legen Sie ausserdem eine Sammelstelle für besonders gelungene Antworten an. Sie dienen als Beispiele für Ton und Aufbau und stärken das Team, weil nicht nur Mängel sichtbar werden.

Worauf Sie achten müssen

• Wenige Rückmeldungen sind normal: Die meisten Menschen bewerten selten. Zählen Sie nicht nur Bewertungen, sondern auch Fragen ohne Antwort und Übergaben an Menschen.
• Persönliche Angaben: Freitextfelder verleiten dazu, Namen oder Kundendaten einzutippen. Weisen Sie darauf hin und prüfen Sie Kommentare vor der Weitergabe. Das Schweizer Datenschutzgesetz verlangt einen sorgfältigen Umgang mit Personendaten.
• Nicht jede Kritik ist berechtigt: Prüfen Sie Rückmeldungen, bevor Sie Inhalte ändern. Manchmal ist die Antwort korrekt, aber unbequem.
• Daumen sind grob: «Daumen runter» sagt nicht, warum. Ergänzen Sie Stichproben, bei denen jemand Antworten genauer prüft.
• Verbessern statt sammeln: Eine Liste, die niemand auswertet, ist wertlos. Planen Sie die Auswertung ein, bevor Sie sammeln.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Reisebüro mit Filialen in Luzern und Zug nutzt einen Kunden-Chatbot. Zuerst gibt es kein Feedback-Element, und die Mitarbeitenden hören nur zufällig von Pannen.

Vorher: Verbesserungen basieren auf Bauchgefühl. Nachher: Unter jeder Antwort erscheinen Daumen und ein optionales Feld. Frau Müller sichtet jeden Freitag 30 Minuten lang die «Daumen runter». Nach drei Wochen zeigt sich, dass viele Fragen die Reiseversicherung betreffen, die im Chatbot gar nicht abgedeckt ist. Das Team ergänzt einen geprüften Text, und die Zahl der Fragen ohne Antwort sinkt.

So hilft Ihnen Alpasana

Rückmeldungen sinnvoll zu nutzen, ist Teil eines sauberen Betriebs von KI-Lösungen. Die KI-Beratung und digitale Transformation von Alpasana unterstützt bei der Einführung von KI-Agenten mit Pilot, Einsatzregeln und Skalierung sowie beim Entwickeln digitaler Workflows und der Dokumentation der Umsetzung.

So wird Feedback zu einem festen Teil Ihrer Chatbot-Pflege. Projekte werden individuell offeriert.

Häufige Fragen

Soll die Bewertung anonym sein?

Meist ja, das senkt die Hemmschwelle. Bei internen Chatbots kann ein namentliches Feedback sinnvoll sein, wenn Rückfragen nötig sind. Informieren Sie jeweils offen.

Wie viele Rückmeldungen brauche ich?

Schon wenige Dutzend zeigen Muster. Entscheidend ist, dass Sie sie regelmässig lesen. Zahlen auf drei Nachkommastellen sind nicht nötig.

Darf ich Chatverläufe zur Verbesserung auswerten?

Das hängt von Datenschutzerklärung, Zweck und Art der Daten ab. Informieren Sie Nutzer, beschränken Sie die Auswertung auf das Nötige und klären Sie Details mit einer Fachperson.

Was tun bei vielen negativen Bewertungen?

Prüfen Sie zuerst die Ursachen: fehlendes Wissen, veraltete Texte, zu lange Antworten. Siehe Wenn der Chatbot kaum genutzt wird.