Wie glaubwürdig sind Sicherheitsangaben der KI in Prozent?

Das Problem

Sie fragen eine KI etwas Wichtiges und fügen an: «Wie sicher bist du?» Die Antwort lautet: «Ich bin zu 95 Prozent sicher.» Das beruhigt. Aber was bedeutet diese Zahl? Hat jemand sie gemessen, oder klingt sie nur gut?

Auch in manchen Programmen erscheinen Prozentwerte neben Ergebnissen, etwa bei der Texterkennung oder Bildanalyse. Dort sind sie anders zu verstehen als die Selbstauskunft eines Chat-Assistenten. Wer beides gleichsetzt, schätzt Risiken falsch ein.

Diese Seite erklärt in einfachen Worten, wie glaubwürdig solche Angaben sind und was Sie stattdessen tun können, um eine Antwort einzuschätzen.

So lösen Sie es mit KI – Schritt für Schritt

1. Art der Prozentangabe unterscheiden. Handelt es sich um die Selbstauskunft eines Sprachmodells im Chat, oder um einen Wert, den ein Programm technisch berechnet, etwa die «Treffersicherheit» einer Texterkennung?

1. Selbstauskunft nur als Hinweis lesen. «Ich bin zu 90 Prozent sicher» ist ein formulierter Satz, kein Messgerät. Das Modell hat diese Zahl wie jeden anderen Text erzeugt.

1. Statt Prozent nach Gründen fragen. Bitten Sie: «Woran machst du das fest? Welche Quelle stützt es? Was spricht dagegen?» Das ist aufschlussreicher als eine Zahl.

1. Nach Annahmen und Lücken fragen. «Was weisst du nicht? Welche Informationen würden die Antwort ändern?» So erkennen Sie die Grenzen.

1. Gegenprüfen. Prüfen Sie wichtige Aussagen in einer unabhängigen Quelle. Mehr dazu in KI-Antworten prüfen.

1. Risiko bewerten. Je grösser der Schaden bei einem Fehler, desto weniger zählt jede Sicherheitsangabe und desto wichtiger ist die Prüfung durch Menschen.

1. Technische Werte richtig nutzen. Bei Programmen mit Konfidenzwerten legen Sie eine Schwelle fest, unterhalb derer ein Mensch prüft, und kontrollieren Stichproben auch oberhalb.

Einfach erklärt

Ein Sprachmodell erzeugt Wort für Wort die wahrscheinlichste Fortsetzung eines Textes. Es kennt zwar interne Wahrscheinlichkeiten für Wörter, aber diese sagen etwas über die Sprache aus, nicht darüber, ob eine Tatsache stimmt. Ein Satz kann sehr «wahrscheinlich» klingen und trotzdem falsch sein.

Wenn Sie nach der Sicherheit fragen, schreibt das Modell wieder einfach einen passenden Text. Studien und Praxis zeigen, dass Selbsteinschätzungen von Modellen oft zu zuversichtlich sind, vor allem bei Themen, die sie schlecht kennen. Verlässlich ist das nicht.

Bei Systemen der klassischen KI, etwa Bilderkennung, ist es anders: Sie liefern berechnete Konfidenzwerte. Auch diese sind Hilfsmittel und kein Beweis, denn ein System kann sich mit hoher «Sicherheit» irren.

Worauf Sie achten müssen

• Scheingenauigkeit: «87 Prozent» wirkt präzise, ist aber meist erfunden oder geschätzt. Zahlen ohne Herleitung sind kein Beleg.
• Überzuversicht: Modelle klingen oft sicherer, als sie sein dürften. Siehe Selbstsichere Fehler.
• Nein sagen lassen: Bitten Sie ausdrücklich darum, «Ich weiss es nicht» zu sagen, wenn die Grundlage fehlt, siehe Wenn KI es nicht weiss.
• Hohe Risiken: Bei Gesundheit, Recht, Finanzen und Sicherheit ist eine Fachperson zu befragen.
• Eigene Kontrolle: Wer Ergebnisse weiterverwendet, bleibt verantwortlich.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Sachbearbeiterin in einem Treuhandbüro in Chur lässt eine KI aus Belegen Beträge auslesen. Das Programm zeigt zu jedem Wert eine «Treffersicherheit». Sie legt fest: Unter 95 Prozent prüft sie von Hand, darüber kontrolliert sie jeden zehnten Beleg im Stichprobenverfahren.

Vorher: Sie hätte allen Werten über 90 Prozent geglaubt. Nachher: Bei einer Stichprobe fällt auf, dass ein Betrag mit 98 Prozent falsch erkannt wurde, weil ein Beleg schief eingescannt war. Dank der Stichprobe bemerkt sie den Fehler, bevor er in die Buchhaltung gelangt. Die Prozentzahl diente als Hilfe, nicht als Freibrief.

Wie Sie Unsicherheit besser sichtbar machen

Statt einer Zahl können Sie die KI bitten, ihre Antwort in drei Teile zu gliedern: was gesichert ist und woher sie es hat, was wahrscheinlich ist, aber geprüft werden sollte, und was sie nicht beurteilen kann. Diese Aufteilung ist für Sie viel nützlicher als «85 Prozent».

Mit diesem Prompt gelingt es:

Beantworte meine Frage: [Frage].
Gliedere die Antwort in drei Teile:
1. Gesichert (mit Quelle oder Begründung),
2. Vermutlich richtig, bitte prüfen (und womit),
3. Nicht beurteilbar (was dir fehlt).
Gib keine Prozentzahlen an.

Setzen Sie die Frage ein und prüfen Sie Teil 2 gezielt. So wird Unsicherheit benannt statt hinter einer Zahl versteckt.

Auch im Team lohnt sich diese Haltung. Vereinbaren Sie, dass bei Berichten, Offerten und Auskünften nicht stehen darf «laut KI zu 90 Prozent sicher», sondern immer eine Quelle oder eine geprüfte Aussage. So gewöhnen sich alle daran, Belege statt Gefühle zu verlangen.

So hilft Ihnen Alpasana

Wer lernen möchte, Antworten und Werte einzuordnen, kann das mit der KI-Weiterbildung mit verifizierbarem Lernnachweis von absofort tun. Laut Beschreibung enthält sie Praxisaufgaben, Modul-Quizze, einen KI-Lerncoach und Foundation-Angebote ohne Vorkenntnisse. Sie lernen im eigenen Tempo.

Häufige Fragen

Kann ich die KI dazu bringen, ehrlicher einzuschätzen?

Teilweise. Fragen Sie nach Gründen, Gegenargumenten und fehlenden Informationen statt nach einer Zahl. Eine verlässliche Zahl bekommen Sie dadurch nicht, aber ein besseres Bild.

Ist «Ich bin nicht sicher» ein gutes Zeichen?

Es ist ein Hinweis, genauer hinzuschauen. Umgekehrt heisst fehlende Unsicherheit nicht, dass die Antwort stimmt. Ob etwas stimmt, klären Sie über Quellen.

Warum zeigen manche Programme trotzdem Prozentwerte?

Weil sie technisch berechnet werden und helfen, Fälle zu sortieren. Sie sind nützlich, wenn man sie mit Stichproben und menschlicher Kontrolle verbindet.