Fine-Tuning lokal vorbereiten: Welche Schritte sind nötig?

Das Problem

Jemand im Betrieb hat gelesen, man könne ein Sprachmodell auf eigene Daten «trainieren», und möchte es lokal ausprobieren. Doch das Vorhaben ist schnell verfahren: Die Daten sind nicht aufbereitet, die Hardware reicht nicht, die Lizenz ist unklar, und niemand weiss, woran man ein gutes Ergebnis erkennt.

Fine-Tuning heisst, ein bereits trainiertes Modell mit eigenen Beispielen weiter anzupassen. Es ist hilfreich für festen Stil, Format oder Verhalten. Es ist selten die richtige Lösung, wenn das Modell Fakten aus Ihren Dokumenten kennen soll. Dafür gibt es bessere Wege, zum Beispiel eine Dokumentensuche.

Eine gute Vorbereitung entscheidet, ob ein Versuch nützliche Erkenntnisse bringt oder Wochen verschlingt. Eine KI hilft, die Checkliste zu ordnen. Das Training selbst und die Beurteilung des Ergebnisses verantworten Menschen.

So lösen Sie es mit KI – Schritt für Schritt

1. Ziel präzisieren: Was soll das Modell nach dem Training besser können? Zum Beispiel Berichte in Hausstil schreiben oder Anfragen in ein festes Format bringen. Schreiben Sie das Ziel in einem Satz.
2. Einfachere Wege prüfen: Lässt sich das Ziel mit besseren Prompts, Beispielen im Prompt oder einer Dokumentensuche erreichen? Siehe Fine-Tuning oder Prompting.
3. Ausgangsleistung messen: Stellen Sie 30 bis 50 Testaufgaben zusammen und bewerten Sie, wie das unveränderte Modell abschneidet. Das ist Ihre Vergleichsbasis.
4. Trainingsdaten sammeln: Brauchbar sind Beispielpaare aus Eingabe und gewünschter Ausgabe. Prüfen Sie Qualität, Rechte und Personendaten.
5. Testdaten abtrennen: Halten Sie einen Teil der Beispiele zurück, den das Modell nie im Training sieht.
6. Basismodell und Lizenz wählen: Wählen Sie ein Modell, dessen Lizenz die geplante Nutzung erlaubt, und halten Sie Version und Herkunft fest.
7. Hardware und Methode abstimmen: Prüfen Sie Grafikspeicher und Software. Sparmethoden wie LoRA oder QLoRA machen lokales Training oft erst möglich.
8. Kleinen Probelauf starten: Trainieren Sie kurz mit wenigen Beispielen, um Fehler im Aufbau früh zu entdecken.
9. Ergebnis prüfen und abnehmen: Vergleichen Sie vorher und nachher am Testset, und legen Sie Kriterien fest, ab wann das Ergebnis genügt.

Vorlage zum Kopieren

Du hilfst mir, ein lokales Fine-Tuning vorzubereiten. Deutsch (Schweiz), einfache Sprache.
Ziel in einem Satz: [Was soll das Modell besser können?]
Vorhandene Daten: [Art, ungefähre Anzahl Beispiele, enthalten sie Personendaten? ja/nein/unklar]
Hardware: [Grafikkarte, VRAM, Arbeitsspeicher]
Basismodell (falls gewählt): [Name, Lizenz falls bekannt]
Aufgabe: 1. Erstelle eine Vorbereitungs-Checkliste mit den Abschnitten Ziel, Alternativen, Daten, Rechte und Datenschutz, Hardware, Modell und Lizenz, Testset, Probelauf, Abnahme. 2. Nenne bei jedem Abschnitt die wichtigste Frage, die ich beantworten muss. 3. Nenne fünf häufige Gründe, warum solche Versuche scheitern.
Erfinde keine technischen Werte oder Lizenzaussagen und markiere Unsicheres mit «prüfen».

Tragen Sie Ihre Angaben ein. Die Checkliste dient als Arbeitsgrundlage, die Sie im Team besprechen.

Worauf Sie achten müssen

• Falsche Erwartung: Training macht ein Modell nicht zuverlässig faktenfest. Für aktuelle oder prüfbare Inhalte ist eine Dokumentensuche besser.
• Datenschutz und Rechte: Trainingsdaten mit Personendaten oder fremden Urheberrechten brauchen vorher Prüfung. Siehe Rechte der Fine-Tuning-Daten prüfen.
• Testdaten trennen: Wenn Testbeispiele im Training vorkommen, wirkt das Ergebnis besser, als es ist.
• Lizenz: Nicht jedes Modell darf geschäftlich angepasst oder in eigenen Produkten verwendet werden. Lesen Sie die Bedingungen.
• Aufwand und Pflege: Ein trainiertes Modell muss bei neuen Modellversionen oder veränderten Anforderungen erneut angepasst werden.
• Dokumentation: Halten Sie Daten, Einstellungen und Ergebnisse fest, damit Sie den Versuch wiederholen können.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Anwaltskanzlei in Zug möchte, dass ihr lokales Sprachmodell Zusammenfassungen von Gerichtsentscheiden immer in einem festen Schema ausgibt. Die IT-Leiterin schlägt ein Fine-Tuning vor.

Vorher: Sie beginnt sofort, Beispiele zu sammeln, ohne zu prüfen, ob ein besserer Prompt reicht.

Nachher: Sie misst zuerst 40 Testaufgaben. Mit einem Prompt, der das Schema und zwei Beispiele vorgibt, erreicht das Modell das Format in den meisten Fällen. Für die verbleibenden Fehler entscheidet sich das Team für einen kleinen Trainingsversuch mit anonymisierten Beispielen und LoRA. Das Testset bleibt getrennt, und eine zweite Person bewertet die Ergebnisse.

Das Beispiel zeigt, dass die Vorbereitung oft schon zeigt, ob ein Training nötig ist.

So hilft Ihnen Alpasana

Wenn Sie klären möchten, ob Training oder eine einfachere Lösung für Ihr Vorhaben richtig ist, hilft die KI-Beratung und digitale Transformation von Alpasana: KI-Potenziale analysieren, Vorhaben priorisieren und einen Umsetzungsplan erstellen. Bei KI-Agenten sind Anwendungsfall, Pilot und Einsatzregeln Teil der beschriebenen Leistung.

Projekte werden individuell offeriert. Eine Vorlage für den Abschluss finden Sie in Abnahmevorlage für ein Fine-Tuning.

Häufige Fragen

Wie viele Trainingsbeispiele brauche ich?

Das hängt vom Ziel. Für Stil und Format reichen oft einige hundert gute Beispiele, für komplexe Aufgaben mehr. Qualität zählt mehr als Menge. Mehr dazu in Wie viele Daten braucht Fine-Tuning?.

Kann ich das mit einem normalen Büro-PC machen?

Kleine Modelle mit Sparmethoden sind teils möglich, grosse Modelle meist nicht. Prüfen Sie zuerst Ihren Grafikspeicher und starten Sie mit einem kleinen Probelauf.

Muss ich programmieren können?

Es gibt Werkzeuge mit Oberflächen, aber Grundkenntnisse in Technik und Daten sind nötig. Wenn die Fachkenntnis im Betrieb fehlt, planen Sie Unterstützung ein.

Wie lange dauert ein Versuch?

Vorbereitung und Daten benötigen meist mehr Zeit als das eigentliche Training. Rechnen Sie mit Wochen für einen ersten sauberen Versuch und prüfen Sie früh, ob er sich lohnt.