Findet unsere KI die richtigen Dokumente? So prüfen wir es

Das Problem

Der KI-Assistent Ihrer Firma antwortet manchmal falsch. Aber warum? Hat er das richtige Dokument gar nicht gefunden? Hat er es gefunden und falsch gelesen? Oder war die Antwort richtig formuliert und das Dokument selbst veraltet?

Frau Müller, die die Einführung im Büro betreut, hört von der IT: «Das Modell müsste besser sein.» Von der Fachabteilung: «Die Dokumente sind doch alle drin.» Beide mögen recht haben, aber keiner kann es zeigen.

Ein System nach dem Muster RAG arbeitet in zwei Stufen: Erst sucht es Textstellen heraus (Fachwort: Retrieval), dann formuliert die KI daraus eine Antwort. Fehler können in jeder Stufe liegen, und man behebt sie an verschiedenen Orten. Wer die Stufen nicht trennt, verbessert oft am falschen Ende.

So lösen Sie es mit KI – Schritt für Schritt

1. Fragen und Soll-Dokumente festlegen. Nehmen Sie Ihren Prüfkatalog und ergänzen Sie pro Frage das Dokument (und den Abschnitt), das die Antwort enthält. Das sind Ihre Referenzdokumente.

1. Suchtreffer ohne KI anzeigen lassen. Fragen Sie Ihren Dienstleister, ob die Suchstufe allein ausgegeben werden kann: die Liste der gefundenen Textstellen pro Frage, in Reihenfolge, noch vor der Antwort.

1. Pro Frage prüfen. Steht das Referenzdokument unter den ersten Treffern? An welcher Stelle? Notieren Sie «ja, Rang 2», «ja, Rang 9» oder «nein».

1. Trefferquote berechnen. Zählen Sie, bei wie vielen Fragen die richtige Quelle unter den Treffern liegt, die die KI auch tatsächlich erhält (siehe Top K). Teilen Sie durch die Zahl aller Fragen. Das ist Ihre einfache Trefferquote.

1. Rang ansehen. Liegt die Quelle zwar vor, aber weit hinten, hilft eher eine Neusortierung.

1. Fehlschläge gruppieren. Fehlt die Quelle ganz, fragen Sie: Ist das Dokument im Index? Ist es ein gescannter Text ohne lesbaren Inhalt? Ist der Abschnitt zu lang oder zu kurz? Fehlen Synonyme?

1. Antwortstufe getrennt prüfen. Für Fragen, bei denen die Quelle gefunden wurde, die Antwort aber falsch war, nutzen Sie die Quellentreue-Prüfung.

1. Nach jeder Änderung wiederholen. Ändern Sie nur eine Einstellung pro Lauf und vergleichen Sie die Trefferquote vorher und nachher.

Vorlage zum Kopieren

Wertung: Quelle nicht unter den Treffern → Suchproblem. Quelle vorhanden, Antwort falsch → Antwortproblem. Quelle falsch oder veraltet → Dokumentproblem.

Mit diesem Prompt entwerfen Sie Fragen, die dieselbe Information anders ausdrücken. So testen Sie, ob die Suche auch Umschreibungen erkennt:

Hier ist eine Frage, die unsere Mitarbeitenden stellen könnten: «[Frage]».
Schreibe 6 Varianten, die dasselbe meinen, aber andere Wörter verwenden: eine kürzere, eine längere, eine mit Umgangssprache oder Dialektwort, eine mit Tippfehler, eine mit Fachbegriff, eine als Aussage statt als Frage.

Ergänzen Sie schweizerische Ausdrücke, die in Ihrem Betrieb üblich sind.

Worauf Sie achten müssen

• Referenz muss stimmen. Wenn die Fachperson das Soll-Dokument falsch zuordnet, ist die Messung wertlos. Lassen Sie die Zuordnung gegenlesen.
• Mehrere richtige Quellen. Manche Fragen werden an zwei Stellen beantwortet. Erlauben Sie in der Tabelle mehrere Soll-Dokumente.
• Kleine Stichprobe. Dreissig Fragen sind ein Hinweis, kein Beweis. Prozentzahlen wirken genauer, als sie sind.
• Frageformulierungen aus dem Alltag. Fragen, die die IT sich ausdenkt, sind oft sauberer als die echten. Nehmen Sie reale Anfragen.
• Datenschutz. Beim Auswerten tauchen Dokumentausschnitte auf. Teilen Sie die Tabelle nur mit Berechtigten.
• Aussage nur für heute. Nach neuen Dokumenten oder Modellwechseln ändert sich das Ergebnis.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Immobilienverwaltung in Zug klagt über «dumme Antworten» ihres Assistenten. Vorher wird das Modell gewechselt, ohne dass sich etwas verbessert. Nachher legt Frau Müller dreissig Fragen mit Soll-Dokumenten an. Das Ergebnis: Bei neun Fragen fehlt die Quelle in den Treffern, weil gescannte Hausordnungen ohne Text importiert wurden. Nach einer Textumwandlung der Scans findet die Suche die Dokumente, und der Rest der Antworten verbessert sich ohne Modellwechsel.

So hilft Ihnen Alpasana

Wenn Sie eine KI-Suche prüfen und gezielt verbessern wollen, begleitet Sie die KI-Beratung und digitale Transformation von Alpasana. Nach Angebot umfasst sie die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie die Dokumentation der Umsetzung.

Projekte werden individuell offeriert.

Häufige Fragen

Brauche ich dafür Programmierkenntnisse?

Nicht zwingend. Die Auswertung gelingt mit einer Tabelle. Die Ausgabe der Suchtreffer muss Ihr Dienstleister oder das Produkt ermöglichen.

Was ist eine gute Trefferquote?

Dafür gibt es keinen allgemeingültigen Wert. Entscheidend ist, was bei Ihnen auf dem Spiel steht und ob die Quote nach Verbesserungen steigt. Bei Fragen mit Folgen sollte sie sehr hoch sein.

Wie unterscheide ich Such- und Dokumentproblem?

Prüfen Sie zuerst, ob das Dokument im Index liegt und lesbar ist. Danach erst die Suche.

Kann ich das automatisieren?

Ja, mit Skripten lässt sich der Lauf nach jeder Änderung wiederholen, siehe Regressionstest. Starten Sie aber von Hand, um die Fehlerbilder zu verstehen.