Fehler im Chatbot dokumentieren: Vorlage für die Nachbesserung

Das Problem

Frau Müller bemerkt, dass der Chatbot eine falsche Auskunft zur Rückgabefrist gibt. Sie schreibt dem Anbieter: «Der Chatbot sagt Falsches.» Die Antwort kommt nach zwei Tagen: «Bitte präzisieren Sie.» Sie weiss nicht mehr genau, wie die Frage lautete, und der Chatbot antwortet inzwischen anders. Der Fehler lässt sich nicht nachstellen, und die Sache versandet.

Das passiert oft. Fehler bei KI-Systemen sind nicht immer reproduzierbar: Dieselbe Frage kann am nächsten Tag anders beantwortet werden. Wenn niemand die genaue Frage, die Antwort und den Zeitpunkt festhält, kann kein Anbieter und kein Team gezielt reagieren.

Ein Fehlerprotokoll löst das mit wenig Aufwand. Es ist eine einfache Tabelle, in die jeder, der einen Fehler sieht, die wichtigsten Angaben einträgt. Dadurch werden Meldungen vergleichbar, und die Nachbesserung wird prüfbar.

Einfach erklärt

Ein Fehlerprotokoll enthält pro Fall: Wann ist der Fehler aufgetreten? Welche Frage wurde gestellt (wörtlich)? Was antwortete der Chatbot (wörtlich, am besten als Screenshot)? Was wäre richtig gewesen und woher wissen wir das (Quelle)? Wie schwer ist der Fehler (Priorität)? Dazu Wer meldet, Status und Bemerkung.

Je genauer die ersten vier Angaben, desto eher lässt sich die Ursache finden: Fehlt ein Dokument, ist es veraltet, wurde es falsch gelesen oder hat die KI etwas erfunden?

So lösen Sie es mit KI – Schritt für Schritt

1. Das Protokoll einrichten. Eine gemeinsame Excel- oder Online-Tabelle, die alle Berechtigten öffnen können. Fügen Sie die Spalten aus der Vorlage unten ein.

1. Meldeweg bekannt machen. Alle Testpersonen und Mitarbeitenden wissen, wo sie Fehler eintragen. Ein Link im Intranet oder im Chat genügt.

1. Fehler sofort festhalten. Machen Sie einen Screenshot der Frage und der Antwort, bevor Sie etwas ändern oder die Frage wiederholen.

1. Die richtige Antwort belegen. Notieren Sie, welche Quelle zeigt, was stimmt: Dokument, Seite, Datum. Ohne Beleg ist der Fehler schwer zu beurteilen.

1. Priorität vergeben. Hoch: falsche Auskunft mit Schaden oder Rechtsfolgen. Mittel: falsche oder fehlende Information ohne grossen Schaden. Tief: Stil, Länge, Schönheit.

1. Ursache einordnen. Wissen fehlt, Wissen veraltet, Quelle falsch gelesen, Anweisung unklar, technischer Fehler. Siehe Falsche Antwort trotz richtiger Quelle.

1. Meldung an den Zuständigen. Je nach Ursache geht der Eintrag an das eigene Team (Inhalte) oder den Anbieter (Technik). Vereinbaren Sie Antwortzeiten. Siehe SLA und Support prüfen.

1. Nach der Korrektur nachprüfen. Stellen Sie dieselbe Frage erneut, und tragen Sie das Ergebnis ein: behoben, teilweise, nicht behoben.

Vorlage zum Kopieren

Kopieren Sie diese Spalten in Ihre Tabelle.

Mit diesem Prompt bringen Sie eine lose Fehlerbeschreibung in Form. Fügen Sie keine Personendaten ein.

Bringe die folgende Fehlermeldung in dieses Format: Frage (wörtlich), Antwort des Chatbots (wörtlich), Erwartete Antwort, Quelle, mögliche Fehlerart (fehlendes Wissen, veraltetes Wissen, falsch gelesen, erfunden, unklare Anweisung, technisch), Priorität (hoch/mittel/tief) mit einem Satz Begründung.
Wenn eine Angabe fehlt, schreibe [FEHLT]. Erfinde nichts und ändere keine wörtlichen Zitate.
Meldung: [Text der Meldung]

Prüfen Sie die Einordnung selbst, bevor Sie sie weiterleiten.

Worauf Sie achten müssen

• Nicht alles lässt sich reproduzieren: Sprachmodelle antworten nicht immer gleich. Halten Sie deshalb die ursprüngliche Antwort fest, nicht nur den Fehlerbericht.
• Datenschutz: Screenshots können Namen oder Kundendaten enthalten. Anonymisieren Sie vor der Weitergabe an Anbieter.
• Priorisierung: Nicht jeder Fehler ist ein Notfall. Klären Sie, bei welchen Fehlern der Chatbot sofort ausgeschaltet oder eingeschränkt wird.
• Ursachen unterscheiden: Viele Fehler liegen an Ihren Dokumenten, nicht am Anbieter. Prüfen Sie zuerst das eigene Wissen.
• Muster erkennen: Wenn dieselbe Ursache oft vorkommt, ändern Sie den Prozess, nicht nur den Einzelfall.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Versicherungsagentur in Olten testet einen internen Wissens-Chatbot. Im Test fällt auf, dass er bei der Frage nach der Kündigungsfrist eines Produkts «3 Monate» nennt, in den aktuellen Bedingungen steht aber «2 Monate».

Vorher: Telefonische Meldung, später keine Spur. Nachher: Frau Müller trägt den Fall ins Protokoll ein, mit Screenshot und Quelle. Es zeigt sich, dass zwei Fassungen der Bedingungen im Chatbot liegen. Die alte wird entfernt, der Fall mit «behoben» abgeschlossen, und eine Regel zur Versionsprüfung kommt in den Pflegeplan.

So hilft Ihnen Alpasana

Fehler systematisch zu erfassen und zu beheben gehört zu einem professionellen Betrieb. Die KI-Beratung und digitale Transformation von Alpasana unterstützt bei der Einführung von KI-Agenten mit Pilot, Einsatzregeln und Skalierung sowie bei Prozessverbesserungen und der Dokumentation der Umsetzung.

So wird aus Fehlermeldungen ein Weg zu besseren Antworten. Projekte werden individuell offeriert.

Häufige Fragen

Wer soll Fehler eintragen?

Alle, die den Chatbot nutzen, wenn der Weg einfach ist. Ergänzend sollte eine Person die Einträge ordnen und Duplikate zusammenführen.

Wie lange bewahre ich das Protokoll auf?

Mindestens während der Pilot- und Einführungsphase, danach nach Ihrer Aufbewahrungsregel. Es zeigt auch später, wie sich Qualität entwickelt hat.

Reichen Screenshots als Beleg?

Als Ergänzung ja. Besser ist zusätzlich der Text, damit er sich suchen lässt. Beachten Sie, dass Screenshots Personendaten enthalten können.

Kann der Anbieter das Protokoll als Vertragsgrundlage nutzen?

Es ist eine gute Grundlage für Mängelmeldungen. Welche Rechte Sie bei Mängeln haben, regelt der Vertrag. Halten Sie Meldungen datiert und nachvollziehbar fest.