Wie verhindern wir Antworten auf unpassende Suchtreffer?

Das Problem

Ein Mitarbeiter fragt den internen KI-Assistenten: «Wie hoch ist die Reisespesen-Pauschale für Flüge nach Singapur?» In den Firmenunterlagen steht dazu nichts. Trotzdem erhält er eine selbstbewusste Antwort, die sich auf die Spesenregel für Zugfahrten innerhalb der Schweiz stützt. Die Antwort klingt plausibel und ist falsch.

Das liegt an der Funktionsweise der Suche. Eine Vektorsuche vergleicht die Frage mit allen Textstellen und gibt die ähnlichsten zurück, egal wie ähnlich sie wirklich sind. Gibt es keine gute Quelle, kommt trotzdem die am wenigsten schlechte. Die KI behandelt sie als Wissen und baut eine Antwort darum herum.

Ein Schwellenwert setzt hier eine Untergrenze: Treffer darunter zählen als «nicht gefunden». Mehr zur Technik dahinter lesen Sie unter Ähnlichkeit messen.

So lösen Sie es mit KI – Schritt für Schritt

1. Das Verhalten sichtbar machen. Lassen Sie sich im Testbetrieb zu jedem Treffer den Ähnlichkeitswert («Score») anzeigen. Fragen Sie Ihren Dienstleister, ob das möglich ist.

1. Zwei Fragengruppen bilden. Gruppe A: zwanzig Fragen, auf die Ihre Unterlagen eine klare Antwort enthalten. Gruppe B: zwanzig Fragen, auf die es sicher keine Antwort gibt, aber die thematisch nah liegen.

1. Werte notieren. Halten Sie für jede Frage den Score des besten Treffers fest. Meist liegen die Werte der Gruppe A höher als die der Gruppe B, überlappen aber teilweise.

1. Grenze wählen. Legen Sie die Untergrenze so, dass fast alle Fragen der Gruppe B darunterfallen und möglichst wenige der Gruppe A. Perfekt trennen lässt es sich selten.

1. Verhalten bei «nichts gefunden» festlegen. Die KI soll dann nicht raten, sondern einen festen Satz ausgeben, etwa: «Dazu habe ich in den Unterlagen nichts gefunden. Bitte wenden Sie sich an [Ansprechperson].» Siehe «Weiss es nicht».

1. Verlorene Treffer prüfen. Schauen Sie die Gruppe-A-Fragen an, die unter die Grenze fallen. Oft hilft eine bessere Textaufteilung oder eine zweite Suchstufe statt einer tieferen Grenze.

1. Mit neuen Fragen gegenprüfen. Testen Sie die Einstellung mit zehn frischen Fragen, die Sie bei der Einstellung nicht benutzt haben.

1. Nach Änderungen wiederholen. Wechseln Sie das Suchmodell oder die Textaufteilung, gelten die Werte nicht mehr. Die Skalen verschiedener Modelle sind nicht vergleichbar.

Vorlage zum Kopieren

Diese Anweisung gehört in den Systemauftrag Ihres Assistenten, damit er bei fehlender Quelle ehrlich bleibt:

Du beantwortest Fragen ausschliesslich anhand der unten gelieferten Textstellen aus [Firmenname]-Unterlagen.
Wenn die Textstellen die Frage nicht eindeutig beantworten oder keine Textstelle geliefert wird, antworte genau so: «Dazu habe ich in unseren Unterlagen keine passende Information gefunden. Bitte wenden Sie sich an [Ansprechperson / Abteilung].»
Rate nicht und ergänze kein Wissen von ausserhalb. Nenne bei jeder Antwort die Fundstelle: [Dokumentname, Seite/Abschnitt].

Ersetzen Sie die eckigen Angaben. Die Anweisung ergänzt den Schwellenwert, sie ersetzt ihn nicht: Eine Anweisung wird von der KI manchmal missachtet, eine technische Grenze nicht.

Worauf Sie achten müssen

• Zu strenge Grenze: Dann sagt die KI zu oft «nichts gefunden», obwohl die Antwort vorhanden ist. Das ist lästig, aber ungefährlicher als eine falsche Antwort.
• Zu lockere Grenze: Dann kommen Scheinantworten durch. Bei Themen mit Folgen (Fristen, Geld, Gesundheit) lieber strenger einstellen.
• Werte sind modellabhängig. Ein Score von 0,7 bedeutet bei einem Modell etwas anderes als bei einem anderen. Übernehmen Sie nie Zahlen von anderen Projekten.
• Fachbegriffe und Nummern: Bei Artikelnummern ist die Ähnlichkeit oft niedrig, obwohl der Treffer stimmt. Siehe Tippfehler und Nummern.
• Keine Garantie: Auch mit Schwellenwert kann ein ähnlicher, aber falscher Text durchrutschen. Wichtige Antworten prüfen Sie an der Quelle.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Gemeindeverwaltung im Aargau nutzt einen Assistenten für Fragen zu Bauvorschriften. Vorher beantwortete er auch Fragen zu Nachbarkantonen, für die gar keine Unterlagen vorlagen, mit den Regeln der eigenen Gemeinde. Frau Müller aus der Bauverwaltung stellt zwanzig solche Fragen zusammen. Nach Einführung einer Mindestähnlichkeit und des Ausweichsatzes antwortet der Assistent bei diesen Fragen mit dem Hinweis auf die zuständige Stelle. Drei Fragen mit gültiger Antwort fallen anfangs durch. Das Team verfeinert die Textaufteilung, und sie werden wieder gefunden.

So hilft Ihnen Alpasana

Beim Einstellen und Testen einer KI-Suche geht es um Anwendungsfall, Pilot und klare Einsatzregeln. Die KI-Beratung und digitale Transformation von Alpasana umfasst nach Angebot die Integration von KI-Agenten mit diesen Elementen und die Dokumentation der Umsetzung.

Einen Pilot mit eigenen Fragen zu beginnen, ist der sicherste Weg zu einer Grenze, die zu Ihren Unterlagen passt. Projekte werden individuell offeriert.

Häufige Fragen

Gibt es einen allgemein guten Schwellenwert?

Nein. Er hängt vom Suchmodell, der Sprache und der Art der Texte ab. Bestimmen Sie ihn mit eigenen Fragen.

Warum nicht einfach die KI anweisen, bei Unsicherheit zu schweigen?

Eine KI schätzt ihre Unsicherheit schlecht ein. Die technische Grenze greift, bevor die KI überhaupt Material bekommt.

Was, wenn alle Scores ähnlich hoch sind?

Dann trennt die Suche schlecht. Prüfen Sie Textaufteilung, Suchmodell und eine Neusortierung.

Soll die Nutzerin sehen, dass nichts gefunden wurde?

Ja, ehrlich und mit einem nächsten Schritt, etwa einer Ansprechperson. Das schafft mehr Vertrauen als eine glatte Fehlantwort.