Wie findet ein RAG-Chatbot die Antwort auf meine Frage?

Das Problem

Sie stellen dem Wissens-Chatbot eine Frage, und nach zwei Sekunden steht die Antwort da, mit einem Hinweis auf ein Dokument. Meistens stimmt sie. Manchmal nicht. Und dann fragen Sie sich: Woher hat er das? Warum hat er das andere Dokument nicht gefunden? Hat er es erfunden?

Solange der Chatbot eine «Black Box» bleibt, ist es schwer, ihm zu vertrauen oder Fehler zu beheben. Wer versteht, was zwischen Frage und Antwort passiert, kann Probleme viel besser einordnen. Und er weiss, was er selbst verbessern kann: Dokumente, Fragen, Regeln.

Diese Seite erklärt den Ablauf eines sogenannten RAG-Chatbots in fünf Stationen. RAG steht für «Retrieval Augmented Generation», auf Deutsch etwa: Antworten erzeugen, ergänzt durch gefundene Texte. Eine kurze Einführung bietet RAG einfach erklärt.

Einfach erklärt

Stellen Sie sich eine Sachbearbeiterin vor, die jede Frage so beantwortet: Sie geht zum Archiv, sucht die passenden Akten heraus, liest sie und schreibt Ihnen dann die Antwort. Wenn sie die falsche Akte erwischt, ist auch die Antwort falsch, auch wenn sie sehr gut schreibt. Ein RAG-Chatbot arbeitet genauso.

Die KI beantwortet also nicht aus dem Gedächtnis, sondern aus dem, was Station 2 und 3 gefunden haben. Mehr zu den Begriffen: Embeddings und Vektordatenbank.

So lösen Sie es mit KI – Schritt für Schritt

Wenn eine Antwort nicht stimmt, gehen Sie die Stationen rückwärts durch:

1. Frage notieren. Schreiben Sie die genaue Frage und die Antwort auf. Fehler lassen sich nur nachvollziehen, wenn Sie wissen, was gefragt wurde.

1. Quellen ansehen. Welche Abschnitte hat der Chatbot angezeigt? Stehen sie wirklich im Dokument? Passen sie zur Frage?

1. Prüfen, ob der richtige Abschnitt existiert. Gibt es im Bestand überhaupt ein Dokument mit der Antwort? Wenn nicht, ist es eine Wissenslücke, keine Fehlfunktion.

1. Prüfen, ob die Suche ihn fand. Existiert der Abschnitt, aber wurde er nicht angezeigt, lag es an der Suche. Ursachen: andere Wörter, schwacher Abschnitt, schlechte Aufteilung. Siehe Chatbot findet Dokument nicht.

1. Prüfen, ob die KI richtig formuliert hat. Wurde der richtige Abschnitt angezeigt, aber die Antwort weicht ab, lag es an der Antworterzeugung. Dann sind genauere Regeln im Auftrag an die KI nötig.

1. Das Dokument oder die Regel verbessern. Je nach Ursache: Abschnitt umschreiben, Titel verbessern, Begriffe ergänzen, Antwortregel präzisieren.

1. Erneut testen. Stellen Sie dieselbe Frage nochmals und ähnliche Varianten.

1. Fall als Testfrage sichern. Nehmen Sie ihn in Ihre Testliste auf, damit er bei künftigen Änderungen wieder geprüft wird.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich helfen, einen Fehlerfall zu analysieren. Fügen Sie nur Frage, Antwort und Quellenangaben ein, keine vertraulichen Texte.

Ein Wissens-Chatbot hat auf eine Frage eine falsche oder ungenaue Antwort gegeben. Hilf mir, die Ursache einzugrenzen.

Frage: [Frage]
Antwort des Chatbots: [Antwort]
Angezeigte Quellen: [Dokument, Abschnitt]
Was richtig wäre (laut Fachperson): [richtige Antwort und Quelle]

Aufgabe:
1. Nenne drei mögliche Ursachen entlang des Ablaufs: Suche (falscher oder fehlender Abschnitt), Auswahl, Formulierung der Antwort.
2. Formuliere pro Ursache eine Prüffrage, die ich selbst beantworten kann.
3. Schlage pro Ursache eine Massnahme vor (z. B. Dokument überarbeiten, Titel anpassen, Regel präzisieren).
Entscheide nicht, was die wahre Ursache ist, wenn die Angaben dafür nicht reichen.

Die Prüffragen führen Sie durch die Stationen. Meist liegt die Ursache bei den Dokumenten oder bei der Suche.

Worauf Sie achten müssen

• Fehler bei der Suche: Die häufigste Ursache. Abschnitte sind schlecht geschnitten, Begriffe weichen ab oder das richtige Dokument fehlt. Das lässt sich mit Dokumentpflege verbessern.
• Antworten über die Quellen hinaus: Manche Systeme ergänzen aus dem Allgemeinwissen der KI. Verlangen Sie, dass sie nur aus den gefundenen Quellen antwortet und sonst «nicht gefunden» sagt.
• Quellen prüfen: Eine Quellenangabe garantiert nicht, dass die Antwort stimmt. Öffnen Sie bei wichtigen Fragen die Quelle. Siehe Quellenangaben einrichten.
• Veraltete oder widersprüchliche Quellen: Der Ablauf kann nur mit dem arbeiten, was vorhanden ist.
• Datenschutz: Frage und gefundene Abschnitte gehen an die KI. Wo das Modell läuft, ist eine Datenschutzfrage.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Bauunternehmen in der Innerschweiz testet einen Chatbot für Arbeitssicherheit. Ein Polier fragt: «Ab welcher Höhe brauche ich eine Absturzsicherung?» Die Antwort nennt 3 Meter, mit einem Verweis auf ein internes Merkblatt.

Die Sicherheitsbeauftragte prüft die Quelle: Das Merkblatt nennt die Höhe tatsächlich, aber für eine bestimmte Arbeitsart. Das System hatte den Abschnitt gefunden, weil er ähnliche Wörter enthielt. Der passende Abschnitt mit der allgemeinen Regel war schwächer formuliert und wurde nicht ausgewählt. Sie überarbeitet den Abschnitt, ergänzt eine klare Überschrift und fügt eine Antwortregel hinzu: Bei mehreren Regeln soll der Chatbot alle nennen. Im zweiten Test stimmt die Antwort.

So hilft Ihnen Alpasana

Wer Funktionsweise und Grenzen von Chatbots versteht, setzt sie besser ein. Die Kursauswahl KI und IT für konkrete Arbeitsaufgaben von absofort umfasst unter anderem Kundenservice, FAQ und die Vorbereitung von Chatbot-Wissen, KI-Agenten und lokale KI mit Ollama und Open-Source-Modellen, jeweils mit Praxisaufgaben, KI-Lerncoach und verifizierbarem Abschluss.

Die Einrichtung eines RAG-Systems ist nicht Kursinhalt, und die Kurse ersetzen keine technische Betreuung.

Häufige Fragen

Heisst «mit Quelle» auch «richtig»?

Nein. Die Quelle zeigt, woher der Text stammt, nicht ob er die Frage richtig beantwortet. Wichtige Antworten prüfen Sie am Original.

Warum antwortet der Chatbot manchmal trotz fehlender Quelle?

Manche Systeme nutzen das Allgemeinwissen der KI, wenn nichts gefunden wird. Sie können das über Regeln einschränken. Testen Sie mit Fragen, zu denen es keine Dokumente gibt.

Kann ich sehen, welche Abschnitte gesucht wurden?

Gute Systeme zeigen die Treffer an oder protokollieren sie. Das hilft bei der Fehlersuche sehr. Fragen Sie den Anbieter, ob das möglich ist.