Eigene LLMs & KI-Systeme · Begriff · KI und IT für konkrete Arbeitsaufgaben
Was ist LoRA und wie verändert es ein KI-Modell?
Kurz gesagt
LoRA ist ein Verfahren, bei dem das grosse Modell unverändert bleibt und nur ein kleiner Zusatz, ein sogenannter Adapter, trainiert wird. Das spart Rechenaufwand und Speicher, weil nur wenige zusätzliche Werte gelernt werden. Der Adapter lenkt Stil oder Verhalten, fügt aber nicht zuverlässig neues Faktenwissen hinzu.
Definition
LoRA steht für «Low-Rank Adaptation». Gemeint ist ein Weg, ein bestehendes Sprachmodell anzupassen, ohne alle seine Milliarden Werte neu zu trainieren. Das Modell wird eingefroren. Trainiert wird nur ein kleiner Zusatz, der Adapter, der über das Modell gelegt wird.
Das Verfahren stammt aus einer wissenschaftlichen Arbeit von 2021 und ist heute eine der gängigsten Methoden, um Modelle mit überschaubarem Aufwand anzupassen.
Einfach erklärt
Stellen Sie sich ein dickes Kochbuch vor, das Sie nicht umschreiben wollen. Statt jede Seite neu zu drucken, legen Sie eine durchsichtige Folie mit kleinen Anmerkungen darüber: «Hier immer weniger Salz.» Das Buch bleibt gleich, die Folie ändert, wie Sie es lesen. LoRA ist diese Folie, der Adapter.
| Begriff | Bedeutung |
|---|---|
| Basismodell | Das ursprüngliche, eingefrorene Modell |
| Adapter | Kleine Zusatzdatei mit den gelernten Änderungen |
| QLoRA | Variante, bei der das Basismodell zusätzlich verkleinert geladen wird, um Speicher zu sparen |
| Zusammenführen | Adapter und Basismodell lassen sich zu einem Modell verbinden |
Beispiel
Ein Beispiel: Ein Übersetzungsbüro in Winterthur möchte, dass ein Modell Kundentexte in einem festen Stil und mit gleichbleibendem Fachwortschatz verfasst. Die IT trainiert mit mehreren hundert freigegebenen Textpaaren einen Adapter. Die Datei ist deutlich kleiner als das Basismodell und lässt sich leicht austauschen. Für wechselndes Faktenwissen nutzt das Büro weiterhin eine Dokumentensuche.
Worauf Sie achten müssen
Ein Adapter gehört zu genau einem Basismodell. Wechselt das Basismodell, muss er neu trainiert werden. Die Qualität hängt von den Trainingsbeispielen ab, und Lizenzen von Modell und Daten müssen den Einsatz erlauben. Ob Training nötig ist, klärt Fine-Tuning oder bessere Prompts. Wer technisch tiefer einsteigen will, liest QLoRA und LoRA im Vergleich.
So hilft Ihnen Alpasana
Wenn Sie lernen möchten, wie lokale Modelle mit Open-Source-Werkzeugen eingesetzt werden, bietet Alpasana die Kurse KI und IT für konkrete Arbeitsaufgaben an. Beschrieben sind unter anderem lokale KI mit Ollama und Open-Source-Modellen, jeweils mit Praxisaufgaben und verifizierbarem Abschluss. Das Training eigener Adapter wird dort nicht ausdrücklich beschrieben.
Erstellt mit KI-Unterstützung, redaktionell verantwortet von der Alpasana GmbH · 10.10.2026. Fehler entdeckt? Melden Sie es uns.
Quellen
Weiterlesen in der Galaxie
- LoRA oder QLoRA: Was bedeutet das für den Speicherbedarf?LoRA oder QLoRA: Der Unterschied einfach erklärt, was beide Methoden beim Grafikspeicher sparen und wie Sie prüfen, ob eine davon zu Ihrer Hardware passt.
- Was ist Fine-Tuning bei KI und wofür hilft es?Fine-Tuning einfach erklärt: Wie ein Sprachmodell mit eigenen Beispielen angepasst wird, wofür es sich eignet und wann Prompting oder RAG genügen.
- Warum braucht Training mehr Grafikspeicher als der KI-Chat?Fine-Tuning Grafikspeicher: Warum ein Modell im Chat läuft, sich aber nicht trainieren lässt, und welche Posten beim Training zusätzlich Speicher brauchen.
- Fine-Tuning oder bessere Prompts: Was löst unser Problem?Fine-Tuning vs Prompting: Entscheiden Sie in fünf Schritten, ob bessere Anweisungen genügen oder ob sich ein Training des Modells für Ihre Aufgabe lohnt.
- Wie trainiert man ein Modell auf den eigenen deutschen Stil?Fine-Tuning deutscher Schreibstil: So bereiten Sie Beispieltexte in Schweizer Schreibweise vor, trainieren ein Modell auf Ihren Ton und prüfen es.