Welche Kennzahlen zeigen, ob unser Chatbot hilft?

Das Problem

Der Chatbot läuft seit zwei Monaten. Das Anbieterportal zeigt ein buntes Diagramm: 1 200 Gespräche, 4 800 Nachrichten, Tendenz steigend. Die Geschäftsleitung fragt: «Und, bringt es uns etwas?» Sie wissen es nicht genau.

Das ist ein häufiges Problem. Viele Werkzeuge zeigen, was leicht zu messen ist: Menge, Uhrzeiten, Dauer. Ob die Menschen eine brauchbare Antwort bekommen haben oder ob das Büro danach doch angerufen wurde, sehen Sie darin nicht. Eine hohe Nutzung kann sogar bedeuten, dass der Bot schlecht antwortet und Leute mehrfach nachfragen.

Gute Kennzahlen beantworten wenige, klare Fragen. Und sie sind nur dann nützlich, wenn Sie vorher wissen, wofür der Chatbot da ist. Dieser Beitrag erklärt, welche Werte wirklich helfen und wie Sie vorgehen, auch ohne Statistik-Kenntnisse.

Einfach erklärt

Eine Kennzahl ist eine Zahl, die etwas Wichtiges über Ihren Betrieb in einem Wert zusammenfasst. Beim Chatbot unterscheidet man vier Gruppen:

• Nutzung: Wie viele Personen fragen, wie oft, zu welchen Zeiten? Das zeigt, ob der Bot überhaupt gebraucht wird.
• Antwortqualität: Wie oft war die Antwort hilfreich und korrekt? Dazu gehört auch, wie oft der Bot sagt «Das weiss ich nicht», wenn er es wirklich nicht weiss.
• Entlastung: Wie oft löst der Bot das Anliegen, ohne dass eine Person eingreift (oft «Lösungsquote» genannt)? Wie oft muss er an Menschen weiterleiten?
• Zufriedenheit: Was sagen die Nutzenden selbst? Zum Beispiel über Daumen hoch/runter oder eine Kurzfrage am Ende.

So lösen Sie es mit KI – Schritt für Schritt

1. Zweck festhalten. Wofür wurde der Chatbot eingeführt: weniger Rückfragen, schnellere Auskunft, Entlastung ausserhalb der Bürozeiten? Daraus leiten Sie die passenden Kennzahlen ab.

1. Drei bis fünf Kennzahlen wählen. Nicht mehr. Je mehr Werte, desto weniger werden sie gelesen. Wählen Sie je eine aus Nutzung, Qualität, Entlastung und Zufriedenheit.

1. Ausgangslage erfassen. Wie viele Rückfragen kamen vor dem Chatbot ins Büro? Eine einfache Strichliste über zwei Wochen genügt. Ohne Vergleich gibt es keine Aussage. Siehe auch Zeitersparnis messen.

1. Rückmeldung einbauen. Fügen Sie «Hat das geholfen? Ja/Nein» hinzu, wenn Ihr Werkzeug es erlaubt. Sonst verteilen Sie eine kurze Frage per E-Mail.

1. Stichproben prüfen. Lesen Sie jeden Monat zwanzig zufällige Antworten und markieren Sie: richtig, teilweise, falsch. Ein Testfragen-Set hilft: Testfragen-Vorlage.

1. Unbeantwortete Fragen auswerten. Sammeln Sie Fragen, bei denen der Bot nichts fand, und ergänzen Sie die Dokumente. Mehr: Wissenslücken erkennen.

1. Mit KI zusammenfassen lassen. Geben Sie anonymisierte Rückmeldungen und Fragen in die KI, die Muster beschreibt. Beachten Sie die Vorlage unten.

1. Monatlich ansehen und handeln. Besprechen Sie die Werte kurz im Team und entscheiden Sie eine Verbesserung pro Monat.

Vorlage zum Kopieren

Du hilfst mir, die Rückmeldungen zu unserem internen Chatbot auszuwerten. Du erfindest keine Zahlen und interpretierst nur, was in den Daten steht. Die Daten sind anonymisiert.

Zweck des Chatbots: [z. B. Fragen zu Arbeitsanweisungen beantworten, damit weniger Rückfragen ans Büro kommen]
Zeitraum: [z. B. Oktober 2026]
Meine Beobachtungen: [z. B. 15 unbeantwortete Fragen zu Ferienregelung; 6 Rückmeldungen «nicht hilfreich» zum Thema Spesen; Weiterleitungen meist bei Reklamationen]
Beispielfragen ohne Namen: [Liste von höchstens 15 Fragen]

Bitte:
1. Fasse die wichtigsten Muster in höchstens fünf Sätzen zusammen.
2. Nenne drei mögliche Gründe, wieso der Bot hier nicht half, und markiere, welche davon nur Vermutungen sind.
3. Schlage drei konkrete Verbesserungen für die Dokumente oder Einstellungen vor.
4. Nenne, was ich zusätzlich erfassen sollte, um besser urteilen zu können.
Sprache: Deutsch (Schweiz), Sie-Form.

Ersetzen Sie die Klammern durch Ihre Zahlen und Beobachtungen und entfernen Sie Namen aus den Fragen.

Worauf Sie achten müssen

• Keine erfundenen Zahlen. Die KI darf nur zusammenfassen, was Sie liefern. Rechnen Sie wichtige Werte selbst nach.
• Kleine Mengen täuschen. Bei wenigen Gesprächen sagen Prozentwerte wenig. Sprechen Sie dann lieber von Beispielen.
• Datenschutz. Chatverläufe können Personendaten enthalten. Informieren Sie die Nutzenden über die Auswertung und anonymisieren Sie. Siehe Speicherdauer von Chatverläufen. Rechtliche Fragen klären Sie fachlich.
• Keine Leistungskontrolle. Wenn Mitarbeitende fürchten, dass einzelne Fragen ausgewertet werden, nutzen sie den Bot nicht mehr. Kommunizieren Sie offen, dass Muster zählen, nicht Personen.
• Messen heisst nicht verbessern. Eine Zahl bringt nur etwas, wenn daraus eine Handlung folgt.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Gemeindeverwaltung im Aargau nutzt einen internen Chatbot für Fragen zu Abläufen und Formularen. Das Portal zeigt nur die Zahl der Nachrichten. Die Leiterin der Verwaltung führt zwei Kennzahlen ein: einen Daumen «hilfreich/nicht hilfreich» und eine Liste der Fragen ohne Antwort.

Nach vier Wochen zeigt sich: Zu «Stellvertretung bei Abwesenheit» gibt es keine brauchbare Antwort, weil das Dokument in drei Versionen existiert. Die Verwaltung bereinigt die Dokumente. Danach sinken die Rückfragen im Sekretariat spürbar, wie die Strichliste zeigt. Die Gesprächszahl hat sich kaum verändert; entscheidend war die Qualität.

So hilft Ihnen Alpasana

Wenn Sie klären möchten, was Ihr Chatbot leisten soll und woran Sie das messen, hilft die KI-Beratung und digitale Transformation von Alpasana. Dort geht es darum, Prozesse aufzunehmen, KI-Potenziale zu analysieren und Vorhaben zu priorisieren. Beim Einsatz von KI-Agenten betrifft das Anwendungsfall, Pilot, Einsatzregeln und Skalierung.

Die Auswertung Ihrer eigenen Chatverläufe machen Sie oder Ihr Anbieter. Alpasana hilft bei der Frage, welche Wirkung Sie überhaupt erreichen möchten.

Häufige Fragen

Wie viele Kennzahlen sind genug?

Drei bis fünf. Wichtig ist, dass Sie jede Zahl erklären und mit einer Entscheidung verbinden können.

Ist eine hohe Weiterleitungsquote schlecht?

Nicht unbedingt. Bei heiklen Themen soll der Bot weiterleiten. Problematisch wird es, wenn er bei einfachen Fragen scheitert. Schauen Sie deshalb, bei welchen Themen weitergeleitet wird.

Wie messe ich die Genauigkeit der Antworten?

Am besten mit Stichproben. Prüfen Sie regelmässig eine kleine Zahl Antworten gegen die Quelle. Automatische Werte aus dem Portal ersetzen das nicht.

Brauchen wir ein Dashboard?

Nicht zwingend. Für den Start reicht eine einfache Tabelle, die Sie monatlich aktualisieren. Ein Dashboard lohnt sich erst, wenn Sie wissen, welche Zahlen Sie dauerhaft brauchen. Siehe auch Return on Investment berechnen.