Was ist eine GGUF-Datei und wie nutze ich sie?

Das Problem

Sie haben auf einer Download-Seite eine Datei mit der Endung «.gguf» gefunden, vielleicht hundert Megabyte, vielleicht mehrere Gigabyte. Ein Doppelklick bringt nichts: Windows fragt, mit welchem Programm Sie sie öffnen möchten, der Mac schlägt den Texteditor vor. Sie wissen nicht, was Sie damit anfangen sollen.

GGUF ist kein Dokument, sondern ein Container für ein KI-Modell. Darin steckt das, was ein Sprachmodell «gelernt» hat, in Form sehr vieler Zahlen, dazu Zusatzangaben wie Name und Einstellungen. Man öffnet die Datei nicht zum Lesen, sondern lädt sie in ein Programm, das das Modell ausführt.

Diese Seite erklärt, was GGUF ist, wofür es gut ist und wie Sie eine solche Datei benutzen. Dabei geht es auch um Vorsicht: Dateien aus dem Internet sollten Sie nur aus vertrauenswürdigen Quellen beziehen. Stand: Oktober 2026.

Einfach erklärt

Ein Sprachmodell ist nach dem Training eine riesige Sammlung von Zahlen, die sogenannten Gewichte. Diese müssen irgendwie gespeichert werden. Es gibt dafür verschiedene Dateiformate. GGUF ist eines davon und für lokale KI auf normalen Computern besonders verbreitet. Der Name steht, nach Angaben der Entwickler-Community, in der Tradition der Programme «llama.cpp» und «GGML», die solche Modelle auf Alltagsrechnern lauffähig gemacht haben.

Zwei Eigenschaften machen GGUF praktisch:

• Alles in einer Datei. Modell, Einstellungen und Angaben zum Aufbau liegen zusammen. Sie müssen nicht mehrere Dateien zusammensuchen.
• Oft verkleinert (quantisiert). Die Zahlen sind weniger genau gespeichert. Das spart Platz und Arbeitsspeicher, kostet aber ein wenig Qualität. Siehe Quantisierung erklärt.

Ein Beispiel: Stellen Sie sich eine Enzyklopädie vor. Das Originalmodell ist die vollständige, schwere Ausgabe in zwanzig Bänden. Eine GGUF-Datei in verkleinerter Form ist die handliche Taschenausgabe: Sie passt in die Handtasche, enthält aber etwas weniger Details. Zum Lesen brauchen Sie weiterhin einen «Leser», nämlich ein Programm wie LM Studio oder Ollama.

So lösen Sie es mit KI – Schritt für Schritt

1. Herkunft prüfen. Woher stammt die Datei? Vertrauenswürdig sind Modellbibliotheken der Programme selbst und bekannte Plattformen mit Angabe der Herausgeber. Laden Sie keine Dateien aus E-Mails, Chats oder unbekannten Seiten.

1. Beschreibung lesen. Auf der Seite stehen meist Name des Modells, Lizenz, Grösse und Quantisierungsstufe, zum Beispiel «Q4». Prüfen Sie, ob Dateigrösse und Stufe zu Ihrem Arbeitsspeicher passen. Siehe GGUF-Quantisierung auswählen.

1. Lizenz klären. Dürfen Sie das Modell so nutzen, wie Sie es vorhaben, etwa im Geschäft? Siehe Modelllizenz prüfen.

1. Programm wählen. Mit LM Studio können Sie GGUF-Modelle meist direkt über die Modellsuche laden oder eine heruntergeladene Datei in den Modellordner legen. Die Oberfläche kann sich ändern; die Dokumentation zeigt den aktuellen Weg. Siehe LM Studio installieren.

1. Mit Ollama nutzen. Ollama kann GGUF-Dateien importieren: Sie legen eine kleine Beschreibungsdatei an, die auf die GGUF-Datei verweist, und erstellen daraus ein Modell. Das Verfahren steht in der Import-Dokumentation. Für Einsteigende ist die Bibliothek mit fertigen Modellen einfacher, siehe Modell herunterladen.

1. Erst testen. Starten Sie das Modell mit erfundenen Beispielen. Achten Sie auf Tempo, Sprache und Qualität.

1. Aufräumen. Löschen Sie Dateien, die Sie nicht mehr brauchen. GGUF-Dateien können mehrere Gigabyte belegen.

Vorlage zum Kopieren

Mit dieser Checkliste prüfen Sie eine GGUF-Datei, bevor Sie sie nutzen (Klammern ersetzen):

Dateiname: [Name.gguf]
Herkunft (Seite/Herausgeber): [z. B. Modellbibliothek des Programms]
Modellname und Version: [Name]
Lizenz: [Name der Lizenz] – erlaubt meine Nutzung (privat/Firma): [ja/nein/unklar]
Dateigrösse: [GB]  Quantisierungsstufe: [z. B. Q4]
Mein freier Arbeitsspeicher: [GB]
Programm zum Öffnen: [LM Studio / Ollama]
Test mit erfundenem Text gemacht: [ja/nein]
Entscheid: [verwenden / nicht verwenden]

Füllen Sie die Angaben aus. Bei «unklar» bei der Lizenz klären Sie zuerst, bevor Sie das Modell im Betrieb nutzen.

Worauf Sie achten müssen

• Nur vertrauenswürdige Quellen. Eine Modelldatei enthält Zahlen, ist aber eine Datei aus dem Internet. Prüfen Sie Herkunft und Herausgeber. Zusatzdateien wie Installer oder ausführbare Programme laden Sie nicht.
• Lizenz beachten. Manche Modelle dürfen nur eingeschränkt oder nicht kommerziell genutzt werden. Rechtliche Fragen klären Sie im Einzelfall mit einer Fachperson.
• Qualität und Fehler. Verkleinerte Modelle erfinden häufiger Inhalte. Prüfen Sie Ergebnisse, siehe KI-Halluzinationen.
• Passt zur Hardware? Eine zu grosse Datei bremst oder bricht ab. Siehe Hardware für lokale KI.
• Datenschutz bleibt Ihre Aufgabe. Dass ein Modell lokal läuft, heisst nicht, dass Sie jede Information eingeben dürfen.
• Format-Unterschiede. Es gibt weitere Formate, etwa «safetensors». Der Unterschied steht in Safetensors und GGUF.

Ein Beispiel aus der Praxis

Ein Beispiel: Herr A., IT-interessierter Sachbearbeiter in einer Gemeinde im Seetal, findet in einem Forum den Hinweis auf ein «tolles Modell» mit Link zu einer GGUF-Datei auf einer unbekannten Webseite. Er möchte sie in LM Studio öffnen.

Er erinnert sich an die Checkliste und sucht stattdessen das Modell in der Modellsuche von LM Studio, die den Herausgeber und die Lizenz anzeigt. Die Lizenz schränkt die kommerzielle Nutzung ein, was für die Gemeinde relevant ist. Er nutzt das Modell nur privat zum Ausprobieren und wählt für die Arbeit ein Modell mit passender Lizenz, nachdem er das mit der IT abgesprochen hat. Die Datei vom unbekannten Link bleibt ungeöffnet.

So hilft Ihnen Alpasana

Wer lokale KI mit Open-Source-Modellen kennenlernen möchte, findet im Kurs KI und IT für konkrete Arbeitsaufgaben bei absofort unter anderem lokale KI mit Ollama und Open-Source-Modellen. Praxisaufgaben, KI-Lerncoach und ein verifizierbarer Abschluss gehören dazu. Das Dateiformat GGUF wird in der Kursbeschreibung nicht ausdrücklich genannt.

Ob eine bestimmte Modelldatei für Ihr Unternehmen zulässig ist, prüfen Sie mit Ihrer IT und gegebenenfalls einer Rechtsberatung.

Häufige Fragen

Kann ich eine GGUF-Datei mit einem Doppelklick öffnen?

Nein, dafür ist sie nicht gedacht. Sie laden sie in ein Programm wie LM Studio oder importieren sie in Ollama.

Ist eine GGUF-Datei gefährlich?

Die Datei enthält Modelldaten und kein Programm im üblichen Sinn. Trotzdem gilt: Laden Sie nur aus vertrauenswürdigen Quellen und halten Sie Ihre Software aktuell, weil auch Programme, die Dateien lesen, Fehler haben können.

Was bedeutet Q4 oder Q8 im Dateinamen?

Es ist die Stufe der Verkleinerung. Kleinere Zahlen heissen kleinere Datei und etwas geringere Genauigkeit. Eine mittlere Stufe ist für den Einstieg oft ein guter Kompromiss.

Kann ich ein Modell selbst in GGUF umwandeln?

Technisch ja, aber das ist Aufgabe für Fachpersonen und nicht für den Einstieg. Für Einsteigende genügen fertige Modelle aus der Bibliothek.