KI-Agent für internes Wissen: Quellen und Antworten prüfen

Das Problem

In Ihrem Betrieb gibt es viel Wissen in Dokumenten: Handbücher, Richtlinien, Offertvorlagen, Ablagen mit Protokollen. Wenn jemand etwas wissen möchte, fragt er die Kollegin, die sich auskennt, oder sucht lange. Ein KI-Agent, der auf diese Dokumente zugreift und Fragen beantwortet, klingt nach einer Lösung.

Das Risiko: Der Agent antwortet überzeugend, auch wenn er falsch liegt. Er nutzt veraltete Dokumente, vermischt widersprüchliche Angaben, zeigt vertrauliche Inhalte Personen, die sie nicht sehen dürften, oder erfindet eine Antwort, wenn keine Quelle existiert. Mitarbeitende, die ihm vertrauen, handeln dann nach falschen Auskünften.

Mit einer Prüfliste vor dem Start lassen sich diese Risiken eingrenzen. Wichtig ist, dass die Prüfung nicht nur einmal stattfindet, sondern regelmässig, weil sich Dokumente und Regeln ändern. Stand: Oktober 2026.

So lösen Sie es mit KI – Schritt für Schritt

1. Quellen bestimmen. Welche Dokumente, Ablagen und Systeme darf der Agent nutzen? Nehmen Sie nur das auf, was gepflegt und verbindlich ist.

1. Aktualität prüfen. Gibt es Versionsstände und Verantwortliche? Entfernen Sie veraltete Dokumente oder kennzeichnen Sie sie (Veraltete Dokumente im Chatbot).

1. Widersprüche suchen. Prüfen Sie, ob Dokumente sich widersprechen (zum Beispiel zwei Spesenregelungen) und legen Sie fest, welches gilt (Widersprüchliche Dokumente).

1. Berechtigungen festlegen. Wer darf welche Antworten sehen? Personalakten, Löhne und Kundendaten dürfen nicht für alle zugänglich werden (Berechtigungen nach Abteilungen).

1. Quellenangaben verlangen. Jede Antwort nennt Dokument und, wenn möglich, Stelle (Quellenangaben einrichten).

1. Verhalten ohne Antwort festlegen. Der Agent sagt «Dazu finde ich nichts» und nennt eine Ansprechperson (Wenn der Chatbot etwas nicht weiss).

1. Mit echten Fragen testen. Sammeln Sie dreissig Fragen aus dem Alltag, darunter solche ohne Antwort und solche, die einen Widerspruch auslösen. Bewerten Sie jede Antwort.

1. Betrieb regeln. Wer pflegt Dokumente, wer bearbeitet Fehlermeldungen, wie oft wird getestet? Mitarbeitende können falsche Antworten melden.

Vorlage zum Kopieren

Ich prüfe einen KI-Agenten, der Fragen zum internen Wissen unseres Betriebs ([Branche], [Anzahl] Mitarbeitende) beantwortet. Quellen: [Liste der Dokumente oder Ablagen].

Erstelle:
1. Eine Prüfliste mit 20 Punkten in den Gruppen: Quellen und Aktualität, Widersprüche, Berechtigungen und Vertraulichkeit, Quellenangaben, Verhalten bei fehlender Antwort, Fehlermeldung und Pflege.
2. Dreissig Testfragen in fünf Gruppen (Routinefragen, Fragen mit Zahlen oder Fristen, Fragen ohne Antwort in den Dokumenten, Fragen zu vertraulichen Themen, Fragen, bei denen Dokumente sich widersprechen) mit der erwarteten Reaktion des Agenten.
3. Ein Bewertungsblatt: richtig und mit Quelle, richtig ohne Quelle, falsch, erfunden, hat vertrauliche Inhalte gezeigt.
Erfinde keine Inhalte aus meinen Dokumenten und gib keine rechtliche Beurteilung ab.

Ergänzen Sie Quellen und Betrieb. Testfragen mit vertraulichem Inhalt führen Sie nur in einer geschützten Testumgebung durch.

Worauf Sie achten müssen

• Erfundene Antworten. Auch mit Quellen können Agenten falsche Aussagen machen. Verlangen Sie Fundstellen und prüfen Sie wichtige Antworten im Dokument.
• Vertrauliche Inhalte. Rechte im Quellsystem müssen auch im Agenten gelten. Testen Sie das mit verschiedenen Benutzerkonten.
• Versteckte Anweisungen. Dokumente können Texte enthalten, die den Agenten beeinflussen (Schutz vor versteckten Anweisungen).
• Datenschutz. Wenn Dokumente Personendaten enthalten, braucht es Zweck, Zugriffsbeschränkung und Löschregeln. Die rechtliche Beurteilung gehört zu einer Fachperson.
• Verantwortung. Verbindliche Auskünfte (Löhne, Vertragsfragen) bleiben bei den zuständigen Personen. Der Agent ist ein Wegweiser.
• Pflege. Ohne laufende Pflege veraltet das Wissen, und der Agent verbreitet Fehler schneller als ein Handbuch.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Spitex-Organisation im Kanton Bern prüft einen KI-Agenten, der Mitarbeitenden Fragen zu Dienstplänen, Spesen und Hygieneregeln beantwortet. Die Qualitätsverantwortliche sammelt dreissig echte Fragen und testet.

Dabei zeigt sich: Bei zwei Fragen zu Spesen liefert der Agent die Angabe aus einem alten Reglement, weil zwei Versionen in der Ablage liegen. Bei einer Frage zu einem Gehalt zeigt er einen Hinweis aus einem Personaldokument, auf das nicht alle Zugriff haben dürften. Sie bereinigt die Ablage, legt Berechtigungen fest und wiederholt den Test.

Vorher hätte der Agent falsche Auskünfte gegeben und Vertrauliches gezeigt, nachher besteht er den Test. Die Qualitätsverantwortliche prüft vierteljährlich.

So hilft Ihnen Alpasana

Wenn Sie einen KI-Agenten für internes Wissen einführen und Quellen, Rechte und Einsatzregeln klären möchten, unterstützt Sie die KI-Beratung und digitale Transformation von Alpasana. Beschrieben sind das Aufnehmen von Prozessen, die Analyse von KI-Potenzialen, KI-Agenten integrieren mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie die Dokumentation der Umsetzung.

Der Umfang wird gemeinsam geklärt; Projekte werden individuell offeriert.

Häufige Fragen

Wie viele Testfragen sind nötig?

Für den Start rund dreissig, aus echten Alltagsfragen. Bei wichtigen Einsatzgebieten mehr.

Reicht es, wenn der Agent Quellen nennt?

Nein, Quellen können falsch zugeordnet sein. Prüfen Sie Stichproben im Dokument.

Wer darf Fehler melden?

Alle Nutzenden. Machen Sie die Meldung einfach, zum Beispiel mit einem Knopf oder einer Adresse, und werten Sie sie aus.

Was ist mit Personal- und Finanzdokumenten?

Nehmen Sie sie nur auf, wenn Zugriffsrechte sauber umgesetzt sind und der Zweck klar ist. Im Zweifel lassen Sie sie weg.