Was muss man beim laufenden Chatbot-Betrieb überwachen?

Das Problem

Ein Chatbot kann leise kaputtgehen. Er antwortet noch, aber falsch, langsam oder an der Frage vorbei. Oder er wird immer teurer, weil mehr Gespräche laufen, als Sie geplant haben. Sie erfahren es erst, wenn sich ein Kunde beschwert oder die Rechnung kommt.

Sie möchten Probleme erkennen, bevor sich Kunden über den Chatbot beschweren. Dafür braucht es Überwachung, auf Englisch «Monitoring»: ein regelmässiger Blick auf wenige, gut gewählte Messgrössen.

Sie müssen dafür keine Informatikerin sein. Viele Anbieter liefern eine Übersicht, und mit einer einfachen Checkliste prüfen Sie wöchentlich in zehn Minuten das Wichtigste.

So lösen Sie es mit KI – Schritt für Schritt

1. Bestimmen Sie, was zählt. Fünf bis sieben Messgrössen genügen: Erreichbarkeit, Antwortzeit, Fehlermeldungen, Zahl der Gespräche, Kosten, Anteil der Übergaben an Menschen, Qualität der Antworten.

1. Prüfen Sie, was der Anbieter liefert. Gibt es ein Dashboard, Berichte, Alarme per E-Mail? Fragen Sie nach Auswertungen, die Sie selbst lesen können.

1. Richten Sie eine Erreichbarkeitsprüfung ein. Ein einfacher Dienst, der alle paar Minuten prüft, ob der Chatbot antwortet, und bei Ausfall eine Nachricht schickt. Siehe Ausfall und Ersatzweg.

1. Legen Sie Schwellen fest. Zum Beispiel: «Wenn die Antwortzeit deutlich über dem üblichen Wert liegt oder die Kosten das Monatsbudget zu 80 Prozent erreichen, melden wir uns.» Siehe Kostenlimit einrichten.

1. Kontrollieren Sie die Qualität mit Stichproben. Lesen Sie wöchentlich fünf bis zehn Gespräche, ohne Namen, und bewerten Sie: richtig, teilweise richtig, falsch. Nutzen Sie ein Fehlerprotokoll.

1. Sammeln Sie Rückmeldungen. Ein «Daumen hoch/runter» am Ende der Antwort und eine Kontaktmöglichkeit zeigen, wo es hakt. Siehe Feedback sammeln.

1. Bestimmen Sie die Verantwortlichen. Eine Person prüft wöchentlich, eine Stellvertretung ist benannt, die IT-Betreuung wird bei technischen Fragen beigezogen.

1. Besprechen Sie die Zahlen regelmässig. Eine halbe Stunde pro Monat im Team: Was fällt auf, was ändern wir?

Vorlage zum Kopieren

Mit dieser Vorlage erstellen Sie ein Prüfblatt und lassen Gesprächsproben ordnen:

Du bist Qualitätsberater für Chatbots in Schweizer KMU. Erstelle ein einfaches Prüfblatt für die wöchentliche Überwachung eines Chatbots. Du erfindest keine Grenzwerte.

Chatbot: [Zweck, intern/öffentlich]
Verfügbare Auswertungen beim Anbieter: [z. B. Anzahl Gespräche, Kosten, Fehlerquote, keine]
Verantwortliche Person: [Rolle]

Erstelle:
1. Eine Tabelle mit den Spalten: Messgrösse, Wo ablesen, Normalwert (leer lassen, wir tragen ihn ein), Alarm-Schwelle (leer), Aktion bei Alarm.
2. Eine Anleitung für die Stichprobe: wie wir fünf Gespräche auswählen, bewerten und Fehler notieren.
3. Eine Liste von fünf Warnzeichen für schleichende Qualitätsprobleme.
4. Hinweise zum Datenschutz bei der Durchsicht von Gesprächen.

Schreibe in einfacher Sprache.

Tragen Sie Normalwerte nach den ersten Wochen ein. Erst dann erkennen Sie Abweichungen zuverlässig.

Worauf Sie achten müssen

• Datenschutz bei Auswertung: Gesprächsprotokolle enthalten Personendaten. Beschränken Sie den Zugriff, entfernen Sie Namen und legen Sie Aufbewahrungsfristen fest. Siehe Speicherdauer von Chatverläufen.
• Transparenz: Informieren Sie Nutzende, dass Gespräche zur Qualitätssicherung ausgewertet werden können.
• Nicht zu viele Zahlen: Wer zwanzig Werte beobachtet, schaut bald keine mehr an. Wenige, klare Werte reichen.
• Schleichende Verschlechterung: Veraltete Dokumente führen langsam zu schlechteren Antworten. Prüfen Sie Aktualität regelmässig.
• Alarmmüdigkeit: Zu viele Alarme werden ignoriert. Setzen Sie sinnvolle Schwellen.
• Verantwortung klären: Ohne Verantwortliche nützt die beste Überwachung nichts.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Elektrogrosshändler in Aarau betreibt einen Chatbot für Produktfragen. Eines Tages meldet sich ein Kunde, der Chatbot habe einen eingestellten Artikel als lieferbar bezeichnet.

Vorher: Niemand schaut regelmässig in die Gespräche, Probleme fallen zufällig auf. Nachher: Die Produktmanagerin prüft jeden Montag zehn Gespräche und die Kostenübersicht. Dabei fällt auf, dass veraltete Produktlisten im Chatbot-Wissen geblieben sind. Sie aktualisiert die Daten, trägt den Fehler ins Fehlerprotokoll ein und richtet eine Erinnerung zur monatlichen Aktualisierung ein. Die Zahl der falschen Auskünfte sinkt in den Stichproben.

So hilft Ihnen Alpasana

Wenn Sie Überwachung, Auswertung und Verantwortlichkeiten für Ihren Chatbot einrichten möchten, unterstützt die KI-Beratung und digitale Transformation der Alpasana GmbH. Nach Leistungsbeschreibung gehören dazu die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung, digitale Workflows und Automatisierungen sowie das Dokumentieren der Umsetzung. Projekte werden individuell offeriert.

Häufige Fragen

Wie oft sollte ich nachsehen?

Für die Stichproben genügt meist einmal pro Woche, für Alarme laufend automatisch. Nach Änderungen oder vor Aktionen lohnt sich ein zusätzlicher Blick.

Darf ich Gespräche lesen?

Grundsätzlich ist eine Auswertung zur Qualitätssicherung üblich, aber Transparenz und Zweckbindung sind wichtig. Informieren Sie Nutzende und beschränken Sie den Zugriff. Bei Unsicherheit holen Sie fachlichen Rat ein.

Kann KI die Überwachung übernehmen?

Teilweise, etwa beim Gruppieren von Fragen oder beim Hervorheben auffälliger Gespräche. Die Bewertung, ob Antworten fachlich stimmen, sollte aber ein Mensch vornehmen, der Ihr Geschäft kennt.

Was mache ich, wenn die Stichproben schlecht ausfallen?

Suchen Sie zuerst die Ursache: veraltete Unterlagen, fehlende Informationen, unklare Anweisungen oder ein Problem im Modell. Beheben Sie eine Ursache nach der anderen und prüfen Sie danach erneut mit denselben Fragen. Bei schweren Fehlern pausieren Sie den Chatbot vorübergehend.