Wie testen wir eine lokale KI auf erfundene Antworten?

Das Problem

Eine Anwaltskanzlei in St. Gallen betreibt eine lokale KI, die auf eigenen Rechnern läuft, damit keine Mandatsdaten das Haus verlassen. Frau Müller aus dem Sekretariat bemerkt bei einem Test: Die KI nennt auf eine Frage ein Aktenzeichen, das es gar nicht gibt, und beschreibt es sehr überzeugend. Auf die Nachfrage beharrt sie darauf.

Solche erfundenen Angaben heissen Halluzinationen. Sie entstehen, weil ein Sprachmodell Texte nach Wahrscheinlichkeit weiterschreibt und nicht nachschlägt, ob etwas stimmt. Lokale und kleinere Modelle neigen dabei eher zu Fehlern als die grossen, aber kein Modell ist davor gefeit.

Sie können Halluzinationen nicht abschalten. Sie können sie aber aufspüren, messen und mit klaren Regeln eindämmen. Dafür brauchen Sie einen gezielten Test.

So lösen Sie es mit KI – Schritt für Schritt

1. Einsatzgebiet festlegen. Wofür wird die KI genutzt? Bei Zusammenfassungen ist das Risiko anders als bei Auskünften zu Fristen oder Preisen. Je heikler, desto strenger der Test.

1. Drei Fragegruppen vorbereiten. Gruppe A: Fragen mit bekannter, in den Unterlagen stehender Antwort. Gruppe B: Fragen, deren Antwort nicht in den Unterlagen steht. Gruppe C: Fangfragen mit falscher Annahme, etwa «Warum hat unser Merkblatt 2019 die Frist verkürzt?», obwohl es das nicht getan hat. Je zehn Fragen genügen für den Start.

1. Richtige Reaktion definieren. Bei A zählt die korrekte Antwort mit Quelle, bei B und C die ehrliche Reaktion: «Dazu habe ich keine Angabe» beziehungsweise die Korrektur der falschen Annahme.

1. Test durchführen. Stellen Sie jede Frage, notieren Sie die Antwort wörtlich. Stellen Sie wichtige Fragen zwei- bis dreimal, denn die Antworten können variieren.

1. Antworten bewerten. Verwenden Sie eine Skala: richtig, teilweise richtig, falsch, erfunden, korrekt abgelehnt. Eine zweite Person bewertet Stichproben mit. Raster: Bewertungsraster für KI-Antworten.

1. Quellen nachprüfen. Wenn die KI Quellen nennt: Existieren sie, und steht die Aussage dort? Siehe Quellentreue bei RAG prüfen.

1. Regeln verschärfen. Ergänzen Sie in der Anweisung: «Antworte nur anhand der bereitgestellten Quellen. Wenn die Antwort fehlt, sage es.» Testen Sie dann dieselben Fragen erneut.

1. Grenzwert und Notfallregel festlegen. Entscheiden Sie, wie viele erfundene Antworten Sie tolerieren (für heikle Bereiche: keine) und was passiert, wenn es doch geschieht.

Vorlage zum Kopieren

Mit diesem Prompt bereiten Sie die drei Fragegruppen vor. Lassen Sie die Fragen von einer Fachperson prüfen.

Wir testen eine KI in einem [Branche]-Betrieb in der Schweiz auf erfundene Antworten.
Die KI soll anhand unserer Unterlagen zu [Themengebiet] antworten.
Erstelle drei Listen mit je zehn Fragen:
A) Fragen, deren Antwort in typischen Unterlagen zu [Themengebiet] stehen würde,
B) Fragen zu Details, die in unseren Unterlagen sicher NICHT stehen (z. B. [Beispiel]),
C) Fangfragen mit einer falschen Voraussetzung in der Frage.
Gib zu jeder Frage an, welche Reaktion richtig wäre (Antwort, «weiss ich nicht» oder Korrektur der Annahme).
Erfinde keine Gesetzesartikel, Zitate oder Zahlen. Schreibe in Schweizer Rechtschreibung.

Ergänzen Sie Branche und Themengebiet, und ersetzen Sie das Beispiel in Gruppe B durch etwas, das Sie sicher nicht dokumentiert haben.

Worauf Sie achten müssen

• Selbstsicher heisst nicht richtig: Falsche Antworten klingen oft genauso überzeugend wie richtige.
• Nicht nur den Durchschnitt zählen: Einzelne erfundene Angaben, etwa zu Fristen, Beträgen oder Rechtsgrundlagen, können gravierend sein. Die Zahl der schweren Fehler ist wichtiger als die Gesamtquote.
• Kleine Modelle sind anfälliger: Je kleiner das Modell, desto eher erfindet es bei seltenen Themen. Prüfen Sie, ob die Qualität für Ihre Aufgabe reicht. Siehe Modellgrösse und Parameter.
• Unterlagen können falsch sein: Wenn die KI korrekt wiedergibt, was in einem veralteten Dokument steht, ist das keine Halluzination, aber trotzdem ein Fehler.
• Keine Garantie durch Tests: Ein bestandener Test senkt das Risiko, beseitigt es nicht. Wichtige Auskünfte bleiben prüfpflichtig, und Menschen tragen die Verantwortung.
• Test wiederholen: Nach jeder Änderung an Modell, Unterlagen oder Anweisung.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Kanzlei in St. Gallen bereitet 30 Testfragen vor, je zehn pro Gruppe. In Gruppe A sind acht von zehn Antworten richtig. In Gruppe B erfindet die KI bei sechs von zehn Fragen eine Antwort. In Gruppe C übernimmt sie die falsche Annahme in sieben von zehn Fällen.

Vorher: Die KI antwortet immer, auch ohne Grundlage. Nachher: Die Anweisung verlangt Antworten nur aus den Unterlagen und die Aussage «Dazu habe ich keine Angabe». Im zweiten Test sind es in Gruppe B nur noch zwei erfundene Antworten, in Gruppe C drei. Die Kanzlei nutzt die KI vorerst für Zusammenfassungen eigener Dokumente und nicht für Rechtsauskünfte.

So hilft Ihnen Alpasana

Damit Ihr Team Fehler der KI erkennen lernt, ist Wissen über Grenzen und Prüfung wichtig. Die KI-Weiterbildung für Unternehmen von absofort umfasst KI für Verwaltung, Kommunikation, Analyse und Entscheidungsgrundlagen mit Schweizer Praxisbezug und dem verantwortungsvollen Umgang mit Unternehmensdaten. Dazu gehört auch, Ergebnisse sorgfältig zu behandeln und zu prüfen.

Lernen im eigenen Tempo mit verifizierbaren Abschlüssen ist möglich; für Teams gibt es eine Kontaktmöglichkeit.

Häufige Fragen

Kann man Halluzinationen ganz verhindern?

Nein. Man kann sie verringern, indem man die KI auf Quellen stützt, klare Regeln setzt und regelmässig testet. Ganz ausschliessen lässt sich Fehlerhaftes nicht.

Warum erfindet die KI Quellen?

Sie ahmt das Muster von Quellenangaben nach, ohne in einer Datenbank nachzusehen. Prüfen Sie jede genannte Quelle selbst. Mehr: Erfundene Quellen.

Hilft es, die KI mit «Sei vorsichtig» anzuweisen?

Ein wenig, aber nicht verlässlich. Wirksamer sind klare Regeln wie «Antworte nur aus den Quellen» und Tests, die zeigen, ob die Regel wirklich greift.