Wie zeigt ein Chatbot die Quellen seiner Antworten an?

Das Problem

Ein Chatbot antwortet flüssig und selbstsicher. Genau das ist das Problem: Sie sehen nicht, woher die Antwort stammt. Steht das wirklich so in unserem Reglement? Oder hat die KI etwas dazugedichtet? Wer eine Antwort an Kundinnen weitergibt oder in einer Entscheidung verwendet, muss das überprüfen können.

Ohne Quellenangabe bleibt nur Vertrauen oder mühsames Selbstsuchen. Beides ist unbefriedigend. Mit einer Quellenangabe dagegen genügt ein Klick oder ein Blick ins Dokument, und Sie sehen, ob die Aussage stimmt.

Quellenangaben sind deshalb eines der wichtigsten Merkmale eines Firmen-Chatbots. Sie machen aus einer Blackbox ein Hilfsmittel, das Sie kontrollieren können. Allerdings garantieren sie keine Richtigkeit: Eine Quelle kann angegeben sein und die Antwort trotzdem falsch verstehen.

So lösen Sie es mit KI – Schritt für Schritt

1. Anforderung festhalten. Schreiben Sie auf, wie genau die Quelle sein soll: Dokumenttitel, Version, Kapitel, Seitenzahl, Link oder sogar der zitierte Satz.
2. Beim Anbieter nachfragen. Fragen Sie, ob das System Fundstellen speichert und anzeigt. Prüfen Sie es in einer Demo mit Ihren Dokumenten.
3. Dokumente eindeutig benennen. Damit die Quelle verständlich ist, braucht jede Datei einen klaren Titel und ein Datum. «Scan_0023.pdf» hilft niemandem.
4. Seitenzahlen und Überschriften sichern. Beim Import sollte jedes Textstück Seite und Kapitel mitführen. Siehe Seitenzahlen als Quellen.
5. Antwortregel formulieren. Der Chatbot soll nur antworten, wenn er mindestens eine Quelle hat, und sonst eine Rückfrage stellen. Siehe Nur eigene Dokumente.
6. Links testen. Öffnen sich die Links im Dokument, auf der richtigen Seite, auch für Personen mit eingeschränkten Rechten?
7. Stichproben prüfen. Kontrollieren Sie regelmässig, ob die genannte Stelle die Aussage trägt. Mehr zur Methode unter Quellentreue prüfen.
8. Team schulen. Zeigen Sie, dass die Quelle zu öffnen ist, bevor man sich auf eine Antwort verlässt.

Vorlage zum Kopieren

Diesen Auftrag können Sie als Grundregel hinterlegen:

Beantworte Fragen ausschliesslich anhand der bereitgestellten Dokumente.
Format der Antwort:
1. Kurze Antwort (höchstens [4] Sätze).
2. «Quellen:» Liste mit Dokumenttitel, Version/Datum, Kapitel und Seitenzahl.
3. Wenn eine Aussage mehrere Quellen hat, nenne alle.
4. Wenn keine Quelle passt, schreibe: «Dazu habe ich in den Unterlagen nichts gefunden» und schlage vor, [Ansprechperson/Abteilung] zu fragen.
5. Zitiere wörtlich nur, wenn der Text wirklich so im Dokument steht, und setze ihn in Anführungszeichen.
Frage: [Ihre Frage]

Ändern Sie die Länge der Antwort und die zuständige Stelle nach Ihrem Betrieb.

Wie genau sollte die Quelle sein?

Für den Alltag genügt meist «Dokument, Version und Seite». Für Reglemente, Verträge oder Sicherheitsunterlagen sollten Sie zusätzlich den Artikel oder Abschnitt nennen lassen. Je wichtiger die Entscheidung, desto genauer die Fundstelle.

Bedenken Sie auch die Lesbarkeit. Eine Liste mit zehn Quellen schreckt ab. Zeigen Sie lieber die ein bis drei wichtigsten Stellen und bieten Sie bei Bedarf «Weitere Fundstellen» an. So behalten Frau Müller und ihr Team den Überblick und prüfen tatsächlich nach.

Planen Sie für die Einführung auch eine kurze Schulung ein. Wer versteht, wie eine Quelle zustande kommt, geht kritischer und gelassener mit den Antworten um. Das ist am Ende die beste Qualitätssicherung.

Besonders wirksam ist ein kurzer Rundgang mit einem echten Beispiel: Gemeinsam eine Antwort lesen, die Quelle öffnen und die Stelle finden. Danach machen es die meisten von selbst.

Worauf Sie achten müssen

• Quelle ist nicht gleich Beweis. Auch mit angegebener Quelle kann der Chatbot den Inhalt falsch zusammenfassen. Lesen Sie wichtige Stellen im Original.
• Erfundene Quellen. Ein reines Sprachmodell kann Fundstellen erfinden. Bei Firmensystemen, die Seiten aus der eigenen Suche nehmen, ist das seltener, aber prüfen müssen Sie trotzdem.
• Rechte. Eine Quelle, die der Fragende nicht öffnen darf, sollte gar nicht erst genannt werden.
• Veraltete Fassungen. Die Quelle zeigt auch, wenn ein altes Dokument verwendet wird. Das ist nützlich, braucht aber Pflege.
• Zitatrecht. Bei fremden Texten gelten Zitat- und Urheberrechte. Interne Nutzung ist meist unkritisch, bei Weitergabe nach aussen prüfen Sie den Einzelfall.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Verwaltung einer Gemeinde mit 6000 Einwohnern im Kanton Aargau nutzt einen Chatbot für Fragen zum Personalreglement. Sachbearbeiterin Frau Lüthi stellt fest, dass Kolleginnen den Antworten blind vertrauen.

Vorher: Der Chatbot sagt «Der Anspruch beträgt 25 Tage» ohne Quelle. Niemand weiss, ob das für alle gilt. Nachher: Jede Antwort nennt «Personalreglement, Fassung vom [Datum], Artikel und Seite». Frau Lüthi sieht auf einen Blick, dass die Regel nur für eine Altersgruppe gilt, und gibt die korrekte Auskunft weiter.

So hilft Ihnen Alpasana

Wenn Sie einen Chatbot mit nachvollziehbaren Antworten aufbauen möchten, begleitet Sie die KI-Beratung und digitale Transformation von Alpasana: Anwendungsfall klären, Pilot starten, Einsatzregeln festlegen und die Lösung schrittweise einführen.

Häufige Fragen

Kann der Chatbot auch den Satz aus dem Dokument zitieren?

Oft ja, wenn das System die Textstelle mit speichert. Verlangen Sie in der Demo, dass der zitierte Satz im Dokument tatsächlich vorkommt.

Was, wenn die Quelle nicht zur Antwort passt?

Dann gilt die Quelle, nicht die Antwort. Notieren Sie den Fall im Fehlerprotokoll und prüfen Sie, ob die Anweisung oder die Dokumente angepasst werden müssen.

Müssen Quellen immer Links sein?

Nein. Dokumenttitel mit Seite reichen oft. Links sind komfortabel, setzen aber voraus, dass die Dokumente an einem festen Ort liegen und Berechtigungen stimmen.

Machen Quellenangaben die Antworten länger?

Etwas, aber sie lassen sich dezent am Ende anzeigen. Die Prüfbarkeit ist den Platz meist wert.