Wie erkennt man Wissenslücken anhand unbeantworteter Chatfragen?

Das Problem

Ihr Chatbot läuft seit zwei Monaten. Er beantwortet vieles, aber manchmal sagt er «Dazu habe ich nichts gefunden». Frau Müller im Sekretariat fragt sich: Fehlt die Information wirklich, oder findet der Chatbot sie nur nicht? Und wo soll man anfangen?

Ohne Auswertung bleibt das ein Bauchgefühl. Mitarbeitende fragen dann doch wieder im Büro nach, und der Chatbot gilt bald als unnütz. Dabei liefern gerade die unbeantworteten Fragen die wertvollsten Hinweise: Sie zeigen, was Ihre Leute und Kunden tatsächlich wissen wollen.

Mit wenig Aufwand wird aus jeder Lücke eine Aufgabe für die Wissenspflege. So wächst der Nutzen des Chatbots mit jeder Woche.

So lösen Sie es mit KI – Schritt für Schritt

1. Sorgen Sie für ein Protokoll. Das System soll Fragen speichern, bei denen der Chatbot keine Antwort fand oder die Nutzenden den Daumen nach unten gaben. Ein Anbieter kann Ihnen zeigen, wo diese Liste steht.
2. Klären Sie den Datenschutz zuerst. Fragen können Personendaten enthalten. Legen Sie fest, wer sie sehen darf und wie lange sie gespeichert werden, siehe Datensparsame Protokolle.
3. Exportieren Sie die Fragen. Ziehen Sie einmal pro Monat eine Liste der unbeantworteten Fragen in eine Tabelle.
4. Entfernen Sie Persönliches. Namen, Telefonnummern und Bestellnummern werden vor der Auswertung unkenntlich gemacht.
5. Gruppieren Sie nach Thema. Das können Sie von Hand tun oder mit einer KI vorsortieren lassen. Die Vorlage unten zeigt, wie.
6. Ordnen Sie jede Gruppe einer Ursache zu. Es gibt vier typische Fälle: Das Wissen fehlt, das Dokument ist veraltet, das Dokument ist vorhanden, wird aber nicht gefunden, oder die Frage gehört gar nicht zum Chatbot.
7. Legen Sie Massnahmen und Zuständige fest. Zum Beispiel «Merkblatt zu Homeoffice schreiben, Sekretariat, bis Ende Monat».
8. Prüfen Sie den Erfolg. Im nächsten Monat sollten diese Fragen seltener unbeantwortet bleiben. Wenn nicht, liegt es eher an der Suche, siehe Chatbot findet Dokument nicht.

Vorlage zum Kopieren

Du hilfst mir, unbeantwortete Fragen an unseren Chatbot auszuwerten.

Unser Betrieb: [Branche, Ort]
Zeitraum: [Monat]

Unten steht eine Liste von Fragen, auf die der Chatbot keine Antwort fand (ohne Namen und persönliche Angaben).

Aufgabe:
1. Gruppiere die Fragen nach Themen und gib jeder Gruppe einen kurzen Namen.
2. Nenne pro Gruppe die Zahl der Fragen und zwei Beispielfragen.
3. Schlage pro Gruppe die wahrscheinlichste Ursache vor: «Wissen fehlt», «Dokument veraltet», «Dokument vorhanden, aber schwer auffindbar», «gehört nicht zum Chatbot».
4. Kennzeichne jede Ursache als Vermutung, denn du kennst unsere Dokumente nicht.
5. Schlage pro Gruppe eine konkrete nächste Aufgabe vor.

Fragen:
[Liste der unbeantworteten Fragen]

Die Ursachen sind Vorschläge. Ob ein Dokument wirklich fehlt, prüfen Sie selbst im Archiv.

Worauf Sie achten müssen

• Datenschutz: Chatfragen sind Daten von Personen. Informieren Sie die Nutzenden, dass Fragen zur Verbesserung ausgewertet werden, und beschränken Sie den Zugriff.
• Anonymisieren: Geben Sie keine Rohprotokolle mit Namen in ein externes KI-Werkzeug. Prüfen Sie vorher die Regeln Ihres Betriebs.
• Zählen genügt nicht: Eine häufige Frage ist nicht automatisch wichtig. Gewichten Sie nach Nutzen und Risiko, etwa bei Fristen oder Sicherheit.
• Falsche Antworten sind gefährlicher: Auswertungen zeigen nur, wo der Chatbot schwieg. Falsche Antworten fallen dort nicht auf. Prüfen Sie zusätzlich Stichproben der beantworteten Fragen.
• Pflege kostet Zeit: Planen Sie dafür einen festen Termin pro Monat ein, siehe Aufwand der Wissenspflege.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Sportverein im Kanton Solothurn hat einen Chatbot für Mitglieder. Der Vorstand wertet nach einem Quartal die unbeantworteten Fragen aus. Es sind rund 40, und drei Themen tauchen wiederholt auf: Mitgliederbeitrag bei Austritt im Jahresverlauf, Platzreservation im Winter und Haftung bei Verletzungen.

Vorher blieben diese Fragen offen, und die Kassierin erhielt jede Woche dieselben E-Mails. Nachher schreibt der Vorstand zwei kurze Merkblätter und ergänzt die Statuten-Zusammenfassung. Für die Haftungsfrage verweist der Chatbot bewusst auf den Vorstand. Im nächsten Quartal sind es nur noch wenige offene Fragen.

So hilft Ihnen Alpasana

Eine regelmässige Auswertung ist ein kleiner Prozess, der sich gut in den Alltag einbauen lässt. Die KI-Beratung und digitale Transformation von Alpasana nimmt Prozesse auf, analysiert KI-Potenziale, priorisiert Vorhaben und erstellt einen Umsetzungsplan.

Dazu gehört, wer Lücken meldet, wer Inhalte schreibt und wie Einsatzregeln für den Chatbot aussehen. Projekte werden individuell offeriert.

Häufige Fragen

Wie viele unbeantwortete Fragen sind normal?

Das lässt sich nicht pauschal sagen. Es kommt auf Ihr Fachgebiet und den Bestand der Dokumente an. Wichtiger als eine Zahl ist der Verlauf über die Monate.

Soll ich alle Lücken schliessen?

Nein. Beginnen Sie mit den häufigsten und den risikoreichsten Themen. Manche Fragen gehören bewusst nicht zum Chatbot.

Darf ich die Fragen meiner Kunden auswerten?

Grundsätzlich ja, wenn Sie das in Ihrer Datenschutzerklärung transparent machen und nur das Nötige speichern. Lassen Sie den Einzelfall bei Bedarf fachlich prüfen.

Wer sollte die Auswertung machen?

Am besten eine Person, die die Fachthemen und den Kundenkontakt kennt, mit Unterstützung der IT. Die Zeit dafür gehört fix in die Arbeitsplanung.