Wie baut man einen Chatbot mit eigenen Firmendokumenten auf?

Das Problem

Ein Sprachmodell kennt vieles aus dem Internet, aber nichts aus Ihrer Firma. Es weiss nicht, was in Ihrem Handbuch steht, wie Ihre Rückgabebedingungen lauten oder welche Norm für Ihr Produkt gilt. Sie können Texte in einen Chat kopieren, aber bei Hunderten von Seiten ist das keine Lösung.

Hier kommt RAG ins Spiel. Die Abkürzung steht für «Retrieval-Augmented Generation», also «durch Suche ergänzte Textgenerierung». Gemeint ist: Zuerst werden passende Stellen aus Ihren Dokumenten gesucht, dann schreibt das Sprachmodell die Antwort anhand dieser Stellen. So bleibt die Antwort an Ihre Unterlagen gebunden, und man kann zeigen, woher sie stammt.

Frau Müller, die in einer Maschinenbaufirma die technische Dokumentation verwaltet, möchte verstehen, wie so etwas aufgebaut wird, auch wenn sie es nicht selbst programmiert. Diese Seite beschreibt die Schritte und was man in jedem Schritt entscheiden muss.

So lösen Sie es mit KI – Schritt für Schritt

1. Einsatz und Grenzen festlegen. Wer fragt, was soll beantwortet werden, was ausdrücklich nicht? Zum Beispiel: Mitarbeitende fragen nach Prozessen, nicht nach Personalfällen.
2. Dokumente auswählen und bereinigen. Sammeln Sie die massgeblichen Dokumente, entfernen Sie Duplikate, Entwürfe und veraltete Versionen und klären Sie Vertraulichkeit und Rechte. Siehe Firmendokumente vorbereiten.
3. Text auslesen und in Abschnitte teilen. Der Inhalt wird als Text gelesen und in sinnvolle Abschnitte («Chunks») zerlegt, am besten entlang der Überschriften. Zu grosse oder zu kleine Abschnitte verschlechtern die Suche, siehe Chunking einfach erklärt.
4. Durchsuchbar machen. Aus jedem Abschnitt wird eine Zahlenrepräsentation («Embedding») erzeugt, die Bedeutung abbildet, und in einer Suchdatenbank gespeichert. So findet das System auch Stellen, die andere Wörter benutzen als die Frage.
5. Suche und Antwort verbinden. Bei jeder Frage sucht das System die besten Abschnitte und gibt sie mit der Frage an das Sprachmodell. Eine Anweisung legt fest: nur aus diesen Abschnitten antworten, Quellen nennen, bei Unsicherheit zugeben, dass die Antwort fehlt.
6. Mit Testfragen prüfen. Stellen Sie zwanzig bis fünfzig echte Fragen mit bekannten Antworten und bewerten Sie: richtig, teilweise, falsch, keine Antwort. Eine Vorlage bietet Antworttest für RAG-Chatbots.
7. Pilot, Pflege und Betrieb. Starten Sie mit einer kleinen Gruppe, sammeln Sie Rückmeldungen, pflegen Sie Dokumente und messen Sie regelmässig die Qualität.

Vorlage zum Kopieren

Mit diesem Prompt erstellen Sie ein Anforderungsblatt für den Aufbau, das Sie mit Ihrer IT oder einem Dienstleister besprechen:

Du hilfst mir, einen RAG-Chatbot für [Firmenname] ([Branche], Schweiz) zu planen.
Zweck: [z. B. Mitarbeitende finden Antworten im Prozesshandbuch]
Dokumente: [Arten und ungefähre Anzahl, z. B. 40 PDFs, 15 Word-Dateien]
Aufgabe:
1. Erstelle ein Anforderungsblatt mit den Abschnitten: Zweck und Grenzen, Dokumente, Berechtigungen, Quellenangaben, Datenschutz, Test, Betrieb und Pflege.
2. Liste [10] offene Fragen, die wir klären müssen.
3. Schlage ein Testverfahren mit [30] Fragen vor (inklusive Fragen ohne Antwort in den Dokumenten).
Nenne keine Anbieter und keine Preise. Markiere Annahmen deutlich.

Passen Sie die Angaben an. Das Blatt ersetzt keine Fachplanung, hilft aber, im Gespräch mit Anbietern präzise zu sein.

Die Bausteine im Überblick

Die Abläufe im Detail zeigt RAG: von der Frage bis zur Antwort. Eine einfache Einführung bietet «RAG einfach erklärt».

Worauf Sie achten müssen

• Falsche Antworten trotz Quelle. Das Sprachmodell kann die gefundenen Abschnitte falsch deuten oder die falschen Abschnitte erhalten. Prüfen Sie die Qualität regelmässig, nicht nur einmal.
• Datenschutz und Berechtigungen. Alle Dokumente in der Wissensbasis sind für alle Nutzenden potenziell abrufbar. Trennen Sie nach Zugriffsrechten und prüfen Sie, wohin Daten bei Suche und Sprachmodell gelangen.
• Aktualität. Dokumente ändern sich. Ohne Plan für Aktualisierung veraltet der Chatbot. Legen Sie Verantwortliche und Rhythmus fest.
• Prompt-Injection in Dokumenten. Texte in Dokumenten können versteckte Anweisungen enthalten, die das Verhalten beeinflussen. Nehmen Sie nur geprüfte Dokumente auf.
• Kosten und Betrieb. Suche, Speicher, Sprachmodell-Nutzung und Pflege verursachen laufende Kosten. Klären Sie sie vorab.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Maschinenbaufirma in Schaffhausen hat Bedienungsanleitungen, Wartungspläne und interne Prozessbeschreibungen in mehreren Ordnern. Der Service fragt oft: «Wie lautet der Wartungsintervall für Modell X?»

Vorher suchten Mitarbeitende mehrere Minuten in Ordnern. Nachher definiert Frau Müller gemeinsam mit der IT einen Pilot: 25 Dokumente, 40 Testfragen, Quellenangabe Pflicht. Bei der Auswertung zeigt sich, dass Wartungsintervalle in Tabellen oft falsch gelesen werden und der Chatbot bei Fragen zu Abkürzungen versagt. Das Team ergänzt ein Glossar als Dokument, stellt die wichtigsten Tabellen als Text bereit und wiederholt den Test. Danach startet der Pilot im Service.

So hilft Ihnen Alpasana

Wenn Sie ein solches Vorhaben nicht allein planen wollen, unterstützt Sie die KI-Beratung und digitale Transformation von Alpasana: Prozesse aufnehmen, KI-Potenziale analysieren, Vorhaben priorisieren und einen Umsetzungsplan erstellen. Die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung gehört dazu, ebenso das Konzipieren von Schnittstellen und das Verbinden von Systemen.

Welche technische Lösung zu Ihnen passt, entscheidet sich im individuellen Projekt. Alpasana nennt hier keine Zusicherungen zu einzelnen Produkten.

Häufige Fragen

Muss man dafür ein Sprachmodell trainieren?

Nein. RAG nutzt ein bestehendes Sprachmodell und ergänzt es zur Laufzeit mit Ihren Dokumenten. Training oder Fine-Tuning ist ein anderer Weg, siehe «Fine-Tuning einfach erklärt».

Wie viele Dokumente braucht ein erster Test?

Ein kleiner, gepflegter Satz genügt, um Funktionsweise und Qualität zu prüfen. Wichtig ist, dass er die Testfragen abdeckt.

Können wir das ohne IT-Abteilung bauen?

Einfache Varianten sind über Baukästen möglich, grössere Vorhaben brauchen technisches Wissen, vor allem für Datenschutz, Berechtigungen und Betrieb. Holen Sie sich dafür Unterstützung.