Interne KI-Antworten mit Quellen prüfen

Das Problem

Ihr Betrieb hat einen internen KI-Assistenten, der Fragen aus Firmendokumenten beantwortet: «Wie hoch ist der Rabatt für Stammkunden?» – «Laut Preisrichtlinie 15 Prozent.» Die Antwort kommt schnell und klingt sicher. Sie übernehmen sie in die Offerte. Später stellt sich heraus: Die Richtlinie wurde vor einem Jahr geändert, und die KI hat die alte Fassung gefunden.

Genau hier liegt das Problem. Eine KI antwortet flüssig und selbstbewusst, auch wenn sie sich irrt. Quellenangaben sollen helfen, die Antwort zu überprüfen. Aber auch sie können falsch, veraltet oder irreführend sein: Das genannte Dokument existiert vielleicht gar nicht, die Aussage steht dort nicht, oder sie gilt für einen anderen Fall.

Wer interne KI-Antworten nutzt, braucht deshalb eine Prüfgewohnheit: Quelle öffnen, Aussage finden, Aktualität und Geltung prüfen. Dieser Beitrag bietet eine Checkliste.

So lösen Sie es mit KI – Schritt für Schritt

1. Entscheiden Sie, wie wichtig die Antwort ist. Bei Kleinigkeiten genügt ein kurzer Blick, bei Zusagen an Kunden, Zahlen, Fristen, rechtlichen und sicherheitsrelevanten Fragen prüfen Sie immer die Quelle. Legen Sie im Team fest, wo die Grenze liegt.

1. Sehen Sie nach, ob eine Quelle genannt ist. Gute Wissensassistenten nennen bei jeder Antwort die Dokumente, aus denen sie stammt, mit Titel und möglichst Abschnitt oder Seite. Fehlt die Quelle, behandeln Sie die Antwort als unbelegt und suchen Sie selbst.

1. Öffnen Sie die Quelle. Existiert das Dokument? Ist es das richtige (Titel, Version, Datum)? Wenn der Link ins Leere führt oder das Dokument nicht zur Aussage passt, ist die Antwort verdächtig.

1. Finden Sie die Aussage im Dokument. Steht dort wirklich, was die KI behauptet? Achten Sie auf Zahlen, Bedingungen («nur wenn», «ausser»), Ausnahmen und Einschränkungen. KI fasst gern zusammen und lässt dabei Einschränkungen weg.

1. Prüfen Sie Aktualität und Gültigkeit. Wann wurde das Dokument erstellt oder geändert? Gibt es eine neuere Fassung? Gilt es für Ihren Fall (Land, Produkt, Kundengruppe, Zeitraum)? Siehe Aktualität der Dokumentation prüfen.

1. Achten Sie auf Widersprüche. Wenn mehrere Quellen genannt werden, stimmen sie überein? Widersprüche in der Basis führen zu widersprüchlichen Antworten. Melden Sie sie der Verantwortlichen; siehe Widersprüchliches Firmenwissen.

1. Melden Sie Fehler und lernen Sie daraus. Wenn eine Antwort falsch ist, melden Sie Frage, Antwort, Quelle und Korrektur an die zuständige Person. So kann die Quelle korrigiert, die Frage in die Testfragen aufgenommen und das System verbessert werden; siehe Testfragen für die Wissenssuche.

Prüfliste für eine KI-Antwort mit Quelle

Vorlage zum Kopieren

Ein Prompt ist der Arbeitsauftrag an die KI. Mit dieser Vorlage fragen Sie einen Wissensassistenten so, dass die Antwort besser prüfbar ist; geben Sie keine vertraulichen Daten ein, die nicht ohnehin in der Basis stehen.

Beantworte die folgende Frage ausschliesslich auf Grundlage der internen Dokumente, die dir zur Verfügung stehen.
Frage: [Frage].
Regeln: 1. Nenne zu jeder Aussage das Dokument (Titel, Version/Datum, Abschnitt oder Seite), aus dem sie stammt. 2. Zitiere die massgebliche Stelle wörtlich in Anführungszeichen. 3. Wenn mehrere Dokumente zu unterschiedlichen Ergebnissen kommen, nenne alle und weise auf den Widerspruch hin. 4. Wenn du keine passende Quelle findest oder unsicher bist, schreibe «Keine belegte Antwort gefunden» und erfinde nichts. 5. Nenne Bedingungen, Ausnahmen und das Gültigkeitsdatum, soweit im Dokument angegeben.
Gib am Ende eine kurze Liste der Punkte aus, die ich selbst prüfen sollte. Schweizer Rechtschreibung.

Wenn Ihr Werkzeug Quellen automatisch anzeigt, verwenden Sie die Vorlage trotzdem für wichtige Fragen, damit die Antwort die Stelle zitiert.

Worauf Sie achten müssen

• Quellenangabe ist kein Beweis: KI kann Quellen erfinden oder falsch zuordnen, solche Erfindungen heissen Halluzinationen. Öffnen Sie die Quelle selbst. Siehe Erfundene Quellen erkennen.
• Zusammenfassungen verändern Aussagen: Wenn die KI zusammenfasst, gehen Bedingungen und Ausnahmen leicht verloren. Bei wichtigen Aussagen lesen Sie den Originaltext.
• Zugriffsrechte: Zeigt die Quelle Dokumente, die Sie nicht sehen dürften, ist das ein Hinweis auf ein Berechtigungsproblem. Melden Sie es sofort; siehe Zugriffsrechte der Wissensdatenbank.
• Vier-Augen-Prinzip: Bei Entscheiden mit grossen Folgen prüft eine zweite Person; siehe KI-Ergebnisse: Vier-Augen-Prüfung.
• Nicht alle Fragen haben eine Antwort: Ein gutes System sagt «weiss ich nicht». Wenn es immer antwortet, ist das ein Warnzeichen.
• Schulung: Mitarbeitende sollten wissen, dass sie Antworten prüfen müssen und wie. Planen Sie kurze Einführungen mit Beispielen.

Ein Beispiel aus der Praxis

Ein Beispiel: In einem Installationsbetrieb in Wettingen nutzt der Innendienst einen KI-Assistenten, der Preisrichtlinien, Garantiebedingungen und Montageanleitungen kennt. Frau Müller fragt nach der Garantiedauer für ein Gerät und erhält «fünf Jahre» mit Verweis auf ein Merkblatt.

Sie öffnet das Merkblatt: Es stammt von 2021, und eine Fussnote beschränkt die fünf Jahre auf Geräte, die vom Betrieb selbst installiert wurden. Die aktuelle Garantierichtlinie sagt für diese Gerätegruppe drei Jahre. Frau Müller informiert den Kunden korrekt und meldet die Abweichung. Das veraltete Merkblatt wird archiviert, und die Frage kommt in die Testfragen.

So hilft Ihnen Alpasana

Wie Ihre Mitarbeitenden KI-Ergebnisse prüfen und Daten sorgfältig behandeln, lernen sie in der KI-Weiterbildung für Unternehmen von absofort: KI für Verwaltung, Kommunikation, Analyse und Entscheidungsgrundlagen, mit Schweizer Praxisbezug, Datenschutz als Lerninhalt und verantwortungsvollem Umgang mit Unternehmensdaten. Gelernt wird im eigenen Tempo, mit verifizierbaren Abschlüssen; für Firmenlösungen und Teambuchungen gibt es eine Kontaktmöglichkeit.

Die technische Einrichtung eines Wissensassistenten ist nicht Teil des Angebots.

Häufige Fragen

Reicht es, wenn die KI eine Quelle nennt?

Nein. Die Quelle muss existieren, die Aussage enthalten, aktuell sein und für Ihren Fall gelten. Das prüfen Sie selbst.

Wie viel Zeit kostet das Prüfen?

Bei wichtigen Antworten wenige Minuten. Das ist wenig im Vergleich zu einem Fehler gegenüber Kundschaft. Bei Routinefragen genügt ein kurzer Blick.

Was, wenn das System nie Quellen zeigt?

Dann ist es für wichtige Aufgaben ungeeignet. Fragen Sie den Anbieter nach Quellenangaben oder wählen Sie ein anderes Werkzeug.