RAG oder Fine-Tuning für Firmenwissen wählen

Das Problem

Frau Müller hat in einer Besprechung zwei Begriffe gehört: «Wir können Ihre Dokumente anbinden» und «Wir können das Modell auf Ihre Firma trainieren». Beides klingt nach dem Gleichen. Der Preisunterschied ist aber gross, und niemand erklärt, was genau passiert.

Die Entscheidung ist wichtig, denn sie bestimmt Kosten, Aufwand und Risiko. Wer ein Modell nachtrainiert, obwohl eine Dokumentenanbindung gereicht hätte, zahlt unnötig. Wer das Gegenteil tut, bekommt einen Chatbot, der zwar Dokumente findet, aber nicht im richtigen Ton schreibt.

Dieser Beitrag erklärt den Unterschied so, dass Sie mit Ihrem IT-Anbieter auf Augenhöhe sprechen können.

So lösen Sie es mit KI – Schritt für Schritt

1. Ziel in einem Satz formulieren. Zum Beispiel: «Der Chatbot soll Fragen zu unseren Garantiebedingungen beantworten.» Ein solches Ziel verlangt Fakten, die sich ändern können.

1. Art des Wissens bestimmen. Handelt es sich um Fakten (Preise, Regeln, Handbücher) oder um Stil und Verhalten (Tonfall, feste Formate)? Fakten gehören zu RAG, Stil kann zu Fine-Tuning passen.

1. Änderungshäufigkeit prüfen. Ändern sich Ihre Unterlagen mehrmals pro Jahr? Dann ist RAG im Vorteil, weil neue Dokumente sofort gelten. Ein nachtrainiertes Modell müsste erneut trainiert werden.

1. Quellenangabe verlangen. Brauchen Sie Antworten mit Verweis auf das Dokument? Das gelingt mit RAG gut. Ein nachtrainiertes Modell kann seine Quelle nicht zeigen.

1. Mit RAG starten. Ordnen Sie Ihre wichtigsten zehn bis zwanzig Dokumente und testen Sie mit echten Fragen. Anleitung: Firmendokumente für den Chatbot vorbereiten.

1. Lücken benennen. Prüfen Sie, was RAG nicht löst, etwa ein bestimmter Schreibstil oder ein festes Ausgabeformat. Oft lässt sich das schon mit einer guten Anweisung (einem Prompt) erreichen.

1. Fine-Tuning nur bei Bedarf. Lassen Sie sich von Ihrem Anbieter schriftlich begründen, warum es nötig ist, wie viele Beispiele es braucht und was die Aktualisierung kostet.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich von einer KI helfen, Ihre Situation einzuordnen. Geben Sie keine vertraulichen Dokumente ein, nur Beschreibungen.

Ich leite [Funktion] in einem [Branche]-Betrieb mit [Anzahl] Mitarbeitenden in der Schweiz.
Unser Chatbot soll [Aufgabe, z. B. Fragen zu Garantiebedingungen beantworten].
Das Wissen steckt in [Art der Unterlagen, z. B. 40 PDF-Dokumenten] und ändert sich [wie oft].
Erkläre mir in einfacher Sprache, ob eher RAG (Dokumente anbinden) oder Fine-Tuning
(Modell nachtrainieren) passt. Nenne je zwei Vor- und Nachteile und stelle mir
drei Rückfragen, die ich meinem IT-Anbieter stellen sollte.

Passen Sie die Platzhalter an Ihren Betrieb an; je genauer die Angaben, desto brauchbarer die Einordnung.

Worauf Sie achten müssen

• Fakten gehören nicht ins Modell. Was nachtrainiert wurde, lässt sich nur schwer korrigieren oder löschen. Falsche Preise «stecken» dann im Modell.
• Datenschutz: Wer Kundendaten zum Training verwendet, verarbeitet sie in einem neuen Zweck. Klären Sie das vorher, siehe Chatbot und Daten für Modelltraining.
• Kein Wundermittel: Auch RAG kann falsche Antworten liefern, wenn die Unterlagen veraltet oder widersprüchlich sind.
• Aufwand ehrlich schätzen: Fine-Tuning braucht saubere Beispieldaten und Fachwissen. Das ist für kleine Betriebe selten verhältnismässig.
• Beides ist kombinierbar, aber nicht als Einstieg.

Ein häufiges Missverständnis: «Wenn wir dem Modell unsere Dokumente zeigen, hat es sie gelernt.» Das stimmt nicht. Beim blossen Hochladen oder Anbinden lernt das Modell nichts dazu, es liest die Stellen nur während der Antwort. Das ist ein Vorteil, denn Sie behalten die Kontrolle: Was Sie entfernen, kann nicht mehr zitiert werden.

Sinnvoll kann Fine-Tuning sein, wenn Sie sehr viele gleichartige Aufgaben haben, etwa tausende Kundenmails in einem festen Format zu beantworten, und ein Standardmodell den Ton nicht trifft. Selbst dann sollten Sie zuerst messen, ob eine gute Anweisung mit zwei, drei Beispielen genügt.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Küchenbauer im Kanton Luzern möchte, dass ein Chatbot Fragen zu Pflege und Garantie seiner Küchen beantwortet. Der Anbieter schlägt zuerst ein nachtrainiertes Modell vor, für mehrere tausend Franken Einrichtung. Frau Müller verlangt einen Test mit RAG. Die zwölf Merkblätter werden eingelesen, zwanzig echte Kundenfragen durchgespielt.

Vorher: Antworten aus dem Gedächtnis eines Allzweckmodells, teils falsch. Nachher: Antworten mit Verweis auf das Merkblatt. Als im Herbst die Garantiebedingungen angepasst werden, genügt es, das neue Merkblatt auszutauschen. Ein Nachtrainieren wurde nie nötig.

So hilft Ihnen Alpasana

Wenn Sie nicht wissen, ob Ihr Vorhaben Dokumentenanbindung oder mehr braucht, hilft eine saubere Klärung. Die KI-Beratung und digitale Transformation von Alpasana umfasst die Analyse von KI-Potenzialen, die Priorisierung von Vorhaben und einen Umsetzungsplan. Auch die Integration von KI-Agenten mit Anwendungsfall, Pilot und Einsatzregeln gehört dazu.

Projekte werden individuell offeriert; ein Erstgespräch hilft, den Umfang zu klären.

Häufige Fragen

Kann RAG auch mit Excel-Tabellen umgehen?

Teilweise. Einfache Tabellen lassen sich lesen, komplexe Berechnungen oder verbundene Blätter bereiten Mühe. Lesen Sie dazu Excel-Tabellen im Chatbot.

Wird die KI mit RAG schlauer?

Nein, das Modell selbst bleibt gleich. Es bekommt nur zu jeder Frage die passenden Textstellen mitgeliefert. Bessere Unterlagen führen zu besseren Antworten.

Was kostet Fine-Tuning ungefähr?

Das hängt stark von Modell, Datenmenge und Anbieter ab, eine allgemeine Zahl wäre unseriös. Lassen Sie sich Einrichtung, Test und spätere Aktualisierung getrennt offerieren.

Kann ich später von RAG auf Fine-Tuning wechseln?

Ja. Die geprüften Dokumente und Testfragen aus dem RAG-Projekt sind eine gute Grundlage für jeden weiteren Schritt.