Wie viele Beispiele brauche ich für ein Fine-Tuning?

Das Problem

Ihre IT schlägt vor, ein Sprachmodell mit eigenen Beispielen nachzutrainieren, damit es Ihren Ton und Ihr Vokabular besser trifft. Das nennt man Fine-Tuning: Ein vorhandenes Modell wird mit zusätzlichen Beispielen angepasst. Nun fragt sich: Wie viele Beispiele brauchen wir? Reichen die 200 Mails, die wir haben?

Sie wissen nicht, ob Ihre vorhandenen Beispiele für eine sinnvolle Modellanpassung ausreichen. Eine einfache Zahl gibt es nicht, und wer eine nennt, ohne Ihr Ziel zu kennen, rät. Die Menge hängt davon ab, was das Modell lernen soll und wie gut die Beispiele sind.

Wichtig ist auch eine ehrliche Einordnung: Fine-Tuning ist oft nicht der richtige Weg. Für Wissen aus Ihren Dokumenten ist eine Dokumentensuche meist besser geeignet. Siehe Fine-Tuning oder Prompting und Fine-Tuning und RAG.

Einfach erklärt

Beim Fine-Tuning zeigt man dem Modell viele Beispiele nach dem Muster «Auf diese Eingabe soll diese Ausgabe folgen». Das Modell passt sich an. Wie viel dafür nötig ist, hängt vom Lernziel ab.

Drei Faustregeln, ohne Gewähr und stets im Einzelfall zu prüfen:

• Ton und Stil, feste Formate: Hier genügen oft wenige Dutzend bis einige hundert sehr gute Beispiele. Mehrere Anbieter empfehlen, mit einer kleinen Zahl sorgfältiger Beispiele zu beginnen und zu messen.
• Aufgaben mit klaren Mustern (zum Beispiel Mails nach einem Schema klassifizieren): Brauchen oft mehr Beispiele, vor allem mit Vielfalt.
• Faktenwissen: Eignet sich schlecht fürs Fine-Tuning. Fakten ändern sich, und das Modell kann Falsches «auswendig lernen». Eine Dokumentensuche ist hier meist sinnvoller.

Entscheidend ist Qualität vor Menge. Hundert fehlerfreie, vielfältige Beispiele sind besser als tausend widersprüchliche. Fehler in den Beispielen lernt das Modell mit.

So lösen Sie es mit KI – Schritt für Schritt

1. Formulieren Sie das Ziel. Was soll das Modell nach dem Training besser können? Ein Satz genügt, zum Beispiel «Antworten im Ton unseres Kundendienstes».

1. Prüfen Sie Alternativen. Reicht eine gute Anweisung mit Beispielen im Auftrag? Das ist günstiger und schneller, siehe Fine-Tuning oder Prompting.

1. Zählen Sie Ihre vorhandenen Beispiele. Wie viele Paare aus Eingabe und gewünschter Ausgabe haben Sie? Sind sie richtig, vollständig und einheitlich?

1. Beurteilen Sie die Qualität. Lesen Sie zwanzig zufällige Beispiele. Wie viele würden Sie auch heute so freigeben?

1. Beurteilen Sie die Vielfalt. Decken die Beispiele die Bandbreite der Aufgaben ab, oder sind sie sehr ähnlich?

1. Sammeln Sie gezielt nach. Mit einer Vorlage für Trainingsbeispiele. Lassen Sie Fachleute Beispiele schreiben oder prüfen.

1. Starten Sie mit einem kleinen Versuch. Ihre IT trainiert mit einer kleinen Menge und prüft an getrennten Testbeispielen. Siehe Trainings- und Testdaten trennen.

1. Entscheiden Sie nach den Messungen. Wird es besser, lohnt sich mehr. Bleibt es gleich, überdenken Sie das Vorhaben.

Vorlage zum Kopieren

Mit dieser Vorlage beurteilen Sie Ihre Beispiele:

Du bist Berater für den Einsatz von Sprachmodellen. Du hilfst mir einzuschätzen, ob meine vorhandenen Beispiele für ein Fine-Tuning ausreichen könnten. Du erfindest keine feste Zahl und keine Studien. Du sagst ehrlich, wenn Fine-Tuning nicht der richtige Weg ist.

Ziel: [z. B. Antworten im Ton unseres Kundendienstes]
Vorhandene Beispiele: [Anzahl, Art, z. B. 200 Mailantworten]
Qualität (eigene Einschätzung): [gut / gemischt / unklar]
Vielfalt: [z. B. viele Themen / fast nur Retouren]
Enthält Personendaten: [ja/nein]

Beurteile:
1. Ob das Ziel für Fine-Tuning geeignet ist oder ob Prompting oder Dokumentensuche besser passt, mit Begründung.
2. Welche Fragen ich zur Qualität und Vielfalt meiner Beispiele klären sollte.
3. Einen Plan für einen kleinen Versuch mit Erfolgskriterien.
4. Datenschutz- und Rechtepunkte, die vor dem Training zu klären sind.

Ergänzen Sie Ihre Angaben. Die Einschätzung dient als Grundlage für das Gespräch mit Ihrer IT.

Worauf Sie achten müssen

• Keine Zauberzahl: Aussagen wie «Sie brauchen genau 1000 Beispiele» sind unseriös. Testen Sie.
• Fehler werden mitgelernt: Falsche oder widersprüchliche Beispiele verschlechtern das Modell.
• Datenschutz: Trainingsbeispiele mit Personendaten sind heikel. Siehe Personendaten entfernen.
• Rechte klären: Nicht jeder Text darf zum Training verwendet werden. Siehe Rechte prüfen.
• Testdaten trennen: Ohne getrennte Testbeispiele wissen Sie nicht, ob das Modell wirklich besser ist.
• Wissensänderungen: Was ein Modell gelernt hat, lässt sich schlecht korrigieren. Für veränderliches Wissen ist Dokumentensuche sicherer.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Reiseunternehmen in Luzern möchte, dass ein Modell Kundenantworten im firmeneigenen, freundlich-knappen Stil entwirft. Es hat etwa 300 frühere Mailantworten.

Vorher: Die IT möchte alle 300 ohne Prüfung ins Training schicken. Nachher: Die Teamleiterin liest zwanzig Mails und streicht die Hälfte, weil sie veraltete Preise oder unfreundliche Formulierungen enthalten. Sie lässt 80 sorgfältige Beispiele überarbeiten und anonymisieren. Ein erster Versuch mit diesen Beispielen verbessert den Ton deutlich. Zusätzlich verwendet das Unternehmen eine Dokumentensuche für Preise und Reiseinformationen, statt sie ins Modell zu trainieren.

So hilft Ihnen Alpasana

Wenn Sie klären möchten, ob Fine-Tuning, Anweisungen oder Dokumentensuche für Ihr Ziel besser passt, unterstützt die KI-Beratung und digitale Transformation der Alpasana GmbH. Nach Leistungsbeschreibung gehören dazu das Analysieren von KI-Potenzialen, das Priorisieren von Vorhaben und die Integration von KI-Agenten mit Anwendungsfall, Pilot und Einsatzregeln. Projekte werden individuell offeriert.

Häufige Fragen

Reichen 50 Beispiele?

Für einfache Stil- oder Formatziele kann das für einen ersten Versuch genügen, wenn sie sehr gut sind. Ob es für Ihr Ziel reicht, zeigt nur ein Test mit getrennten Beispielen.

Hilft es, einfach mehr Beispiele zu sammeln?

Nicht immer. Mehr schlechte Beispiele schaden. Nützlicher sind vielfältige, richtige und einheitlich formulierte Beispiele, die Ihr Ziel genau abbilden.

Kann KI Trainingsbeispiele für mich erzeugen?

Das ist möglich, aber riskant. Von KI erzeugte Beispiele müssen Fachleute prüfen, sonst lernt das Modell dessen Fehler und Eigenheiten. Echte, geprüfte Beispiele sind meist besser.