KI-Wissenssuche testen: Fragen aus dem Arbeitsalltag

Das Problem

Frau Müller arbeitet im Kundendienst einer Versicherungsagentur in Aarau. Die Firma hat eine interne KI-Suche eingeführt, mit der Mitarbeitende Fragen zu Produkten, Abläufen und Vorlagen stellen können. In der Vorführung klappte alles perfekt. Jetzt soll das Team sie im Alltag nutzen. Frau Müller fragt sich: Wie erkennen wir, ob die Antworten zuverlässig sind?

Die Frage ist berechtigt. Eine KI-Suche formuliert flüssig und selbstsicher, auch wenn sie falsch liegt. Sie kann veraltete Dokumente heranziehen, Quellen vermischen oder etwas erfinden, wenn sie keine Antwort findet. Ohne systematischen Test merkt man das oft erst, wenn ein Kunde falsch informiert wurde.

Ein guter Test ist keine Wissenschaft. Mit ein paar Dutzend Fragen aus dem Alltag und einer Tabelle für die Ergebnisse gewinnen Sie ein realistisches Bild. Diese Seite liefert die Checkliste dazu.

So lösen Sie es mit KI – Schritt für Schritt

1. Sammeln Sie echte Fragen. Fragen, die im Alltag oft gestellt werden, aus Mails, Rückfragen und Gesprächen. Wählen Sie 30 bis 50 aus verschiedenen Themen.

1. Bestimmen Sie die richtigen Antworten vorab. Eine Fachperson schreibt zu jeder Frage auf, was richtig ist und in welchem Dokument es steht. Ohne Musterantwort lässt sich nichts bewerten.

1. Ergänzen Sie Fragen mit absichtlichen Fallen. Dazu gehören Fragen, auf die es keine Antwort in den Dokumenten gibt (die Suche sollte «weiss ich nicht» sagen), Fragen mit Widersprüchen in den Quellen und Fragen mit veralteten Informationen.

1. Testen Sie auch die Zugriffsrechte. Versuchen Sie als normale Mitarbeiterin, Antworten zu erhalten, die nur Führungskräfte sehen dürfen. Siehe Zugriffsrechte für eine KI-Wissenssuche.

1. Stellen Sie die Fragen und protokollieren Sie. Notieren Sie die Antwort, die genannte Quelle und eine Bewertung: richtig, teilweise richtig, falsch, keine Antwort.

1. Prüfen Sie die Quellenangaben. Existiert das Dokument? Steht die Aussage wirklich dort? Siehe Interne KI-Quellenangaben.

1. Werten Sie aus. Wo liegt die Suche oft daneben, bei welchen Themen? Meist liegt es an den Quellen, nicht an der KI: veraltete, doppelte oder fehlende Dokumente.

1. Verbessern Sie und testen Sie erneut. Bereinigen Sie die Quellen, passen Sie Einstellungen an und wiederholen Sie den Test. Führen Sie ihn danach regelmässig durch, zum Beispiel vierteljährlich.

Vorlage zum Kopieren

Mit diesem Prompt erstellen Sie Testfragen. Die Musterantworten ergänzt eine Fachperson aus Ihrem Betrieb.

Wir sind ein Schweizer Betrieb ([Branche]) und testen eine interne KI-Suche über unsere Dokumente: [Dokumentbereiche, z. B. Produktblätter, Weisungen, Vorlagen].
Erstelle eine Testliste mit 40 Fragen aus dem Arbeitsalltag der Rollen [Rollen]. Verteile sie wie folgt: 25 normale Fachfragen, 5 Fragen, auf die es in den Dokumenten keine Antwort geben dürfte, 5 Fragen zu Themen mit möglichen Widersprüchen oder veralteten Angaben, 5 Fragen, mit denen jemand versucht, an Inhalte zu gelangen, die er nicht sehen darf.
Gib die Liste als Tabelle aus mit den Spalten: Nr., Frage, Art der Frage, Spalte für Musterantwort (leer), Spalte für Quelle (leer), Spalte für Bewertung (leer), Bemerkung.
Regeln: Erfinde keine Musterantworten, keine Zahlen oder Fakten über unseren Betrieb, Deutsch (Schweiz).

Ersetzen Sie die Platzhalter. Lassen Sie die Musterantworten von Ihren Fachleuten ergänzen, bevor Sie testen.

Worauf Sie achten müssen

• Selbstsicherheit täuscht. Eine flüssige Antwort ist nicht automatisch richtig. Prüfen Sie jede einzelne.
• «Weiss ich nicht» ist ein gutes Ergebnis. Schlecht ist eine erfundene Antwort, wenn nichts vorhanden ist.
• Die Quellen sind meist die Ursache. Wenn die Suche falsch antwortet, liegt es oft an veralteten oder widersprüchlichen Dokumenten, siehe Widersprüche im Firmenwissen.
• Formulierung beeinflusst die Antwort. Testen Sie dieselbe Frage in zwei Formulierungen. Wenn die Antworten stark abweichen, ist das ein Warnsignal.
• Testdaten und Datenschutz. Verwenden Sie für Rechtetests erfundene oder harmlose Beispiele, nicht echte Personaldaten.
• Stichproben bleiben nötig. Auch nach einem guten Test können einzelne Antworten falsch sein. Mitarbeitende sollen wichtige Antworten gegenprüfen.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Versicherungsagentur aus Aarau testet ihre interne Suche mit 40 Fragen.

Vorher: Das Team verlässt sich auf den Eindruck aus der Vorführung. Nachher: Die Qualitätsverantwortliche lässt Musterantworten von Fachleuten schreiben und protokolliert die Ergebnisse. 29 Fragen werden richtig beantwortet, sechs teilweise, drei falsch, zwei ohne Antwort. Die falschen Antworten stammen aus einem veralteten Produktblatt. Bei einer Rechtefrage zeigt die Suche einen Hinweis auf ein vertrauliches Dokument. Der Anbieter korrigiert die Einstellung, die Agentur ersetzt das Produktblatt, und der Test wird wiederholt.

Seither gehört der Test zum Quartalsplan der Agentur. Nach jedem grösseren Update der Suche oder der Dokumente läuft er automatisch mit, und Auffälligkeiten werden in einer einfachen Tabelle festgehalten.

So hilft Ihnen Alpasana

Wenn Sie lernen möchten, wie Sie KI-Ergebnisse systematisch prüfen, bietet die Kursübersicht KI und IT für konkrete Arbeitsaufgaben passende Angebote. Dazu gehören Vorbereitung von Chatbot-Wissen, Claude mit Projektstruktur, Prompt-Bibliothek, Qualitätsprüfung und Einsatzregeln sowie ein KI-Lerncoach mit Praxisaufgaben.

Die Testfragen für Ihren Betrieb entwickeln Sie mit Ihren Fachleuten. Die Kurse helfen beim sicheren Umgang mit den Ergebnissen.

Häufige Fragen

Wie viele Testfragen sind nötig?

Für einen ersten Test genügen 30 bis 50 Fragen aus verschiedenen Themen. Wichtiger als die Zahl ist, dass sie dem echten Alltag entsprechen.

Wer sollte testen?

Mitarbeitende, die die Fragen im Alltag stellen, zusammen mit Fachleuten, die die Antworten beurteilen können.

Wie oft soll ich testen?

Nach jeder grösseren Änderung an der Suche oder den Dokumenten und zusätzlich regelmässig, etwa vierteljährlich. Eine Anleitung für Chatbots bietet Chatbot-Antworten testen.

Was, wenn die Suche viele Fehler macht?

Prüfen Sie zuerst die Quellen. Oft lösen Aufräumen und Aktualisieren das Problem. Sonst klären Sie Einstellungen und Eignung mit dem Anbieter.