Safetensors oder GGUF: Welche Modelldatei brauche ich?

Das Problem

Frau Müller möchte eine KI lokal auf dem Firmencomputer ausprobieren. Auf der Modellseite von Hugging Face, der grossen Sammelstelle für KI-Modelle, sieht sie lange Dateilisten: «model-00001-of-00004.safetensors», daneben «modell-Q4_K_M.gguf». Beides heisst fast gleich viel, aber welche Datei soll sie laden?

Wer die falsche herunterlädt, verliert Zeit und Speicherplatz. Modelle sind oft viele Gigabyte gross. Und das Programm, das sie öffnen soll, meldet dann einen unverständlichen Fehler.

Die Faustregel ist einfach: Das Format muss zum Programm passen. Wer weiss, wofür die beiden Formate gedacht sind, trifft die Wahl in wenigen Minuten.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie, womit Sie arbeiten. Nutzen Sie ein fertiges Programm wie Ollama oder LM Studio, oder arbeiten Sie mit eigener Software, zum Beispiel einer Python-Umgebung für Fachleute?
2. Schauen Sie in die Anleitung Ihres Programms. Ollama und LM Studio arbeiten mit GGUF. Ollama kann bei manchen Modellen auch Safetensors importieren, das ist aber ein zusätzlicher Schritt und nicht für alle Modelle möglich.
3. Öffnen Sie die Modellseite. Suchen Sie den Reiter «Files and versions» und lesen Sie die Dateinamen. Endet die Datei auf «.gguf», ist sie direkt für Programme wie Ollama gedacht.
4. Suchen Sie die passende Variante. Von vielen Modellen gibt es GGUF-Versionen, die andere Personen oder Organisationen erstellt haben. Prüfen Sie, wer sie veröffentlicht hat, und ob sie dem Original zuzuordnen sind. Mehr zur Prüfung unter Hugging-Face-Modelle herunterladen.
5. Wählen Sie die Grösse. GGUF-Dateien gibt es in verschiedenen Stufen der Komprimierung, siehe GGUF-Quantisierung auswählen.
6. Prüfen Sie den Speicherplatz. Planen Sie die Dateigrösse plus Reserve ein.
7. Laden Sie nur eine Datei, nicht alle. Auf einer Modellseite liegen oft mehrere Varianten. Sie brauchen meist nur eine.
8. Testen Sie. Laden Sie das Modell im Programm und stellen Sie eine einfache Frage. Antwortet es sinnvoll, ist das Format richtig.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich die Dateiliste einer Modellseite erklären. Kopieren Sie nur Dateinamen und Grössen, keine vertraulichen Angaben.

Ich möchte eine KI lokal betreiben und bin unsicher, welche Datei ich herunterladen soll.

Mein Programm: [Ollama / LM Studio / anderes]
Mein Betriebssystem: [Windows / macOS / Linux]
Mein Arbeitsspeicher (RAM): [Gigabyte]
Grafikkarte und deren Speicher (VRAM), falls vorhanden: [Angabe oder «keine»]

Dateiliste der Modellseite (Name und Grösse):
[Dateinamen einfügen]

Aufgabe:
1. Erkläre mir in einfachen Worten, welche Dateien Safetensors, welche GGUF sind und wofür sie gedacht sind.
2. Empfiehl mir eine Datei für mein Programm und begründe die Wahl.
3. Sage, wenn du etwas aus den Dateinamen nicht sicher beurteilen kannst, und erfinde keine Eigenschaften des Modells.

Prüfen Sie die Empfehlung in der Dokumentation Ihres Programms. Die KI kennt neue Programmversionen unter Umständen nicht.

Worauf Sie achten müssen

• Passendes Programm: Ein Format, das Ihr Programm nicht versteht, lässt sich nicht einfach «umbenennen». Die Umwandlung ist ein eigener Schritt.
• Herkunft der Datei: Laden Sie Modelle von vertrauenswürdigen Quellen. Prüfen Sie, wer sie veröffentlicht hat. Das Format Safetensors wurde unter anderem entwickelt, um Risiken älterer Formate zu vermeiden, die beim Öffnen Programmcode ausführen konnten.
• Lizenz: Die Lizenz des Modells gilt auch für eine umgewandelte GGUF-Version. Siehe Modelllizenz prüfen.
• Qualität: Komprimierte GGUF-Dateien sind nicht ganz so genau wie das Original. Wie stark, steht unter Qualität bei Quantisierung.
• Speicherplatz und Zeit: Grosse Downloads brauchen Geduld und eine stabile Verbindung.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Treuhandbüro in Aarau möchte eine lokale KI für interne Textentwürfe testen. Die IT-Verantwortliche lädt auf Hugging Face die Safetensors-Dateien eines Modells herunter, vier Teile mit zusammen mehreren Dutzend Gigabyte.

Vorher: LM Studio erkennt die Dateien nicht, und der Download war umsonst. Nachher liest sie in der Dokumentation, dass das Programm GGUF verlangt, und lädt eine einzelne GGUF-Datei einer mittleren Komprimierungsstufe. Das Modell läuft auf dem Testrechner. Die Safetensors-Dateien löscht sie wieder und notiert Quelle, Lizenz und Dateiname in einer kurzen Tabelle.

So hilft Ihnen Alpasana

Wer lokale KI im Betrieb ausprobieren möchte, muss vieles gleichzeitig verstehen: Formate, Hardware, Programme und Regeln. Die Kurse von absofort zu KI und IT für konkrete Arbeitsaufgaben behandeln unter anderem lokale KI mit Ollama und Open-Source-Modellen und üben den verantwortungsvollen Einsatz an Arbeitsaufgaben.

Sie lernen im eigenen Tempo und mit KI-Lerncoach, praxisnah und ohne Hektik.

Häufige Fragen

Kann ich Safetensors in GGUF umwandeln?

Ja, mit Werkzeugen aus dem Umfeld von llama.cpp. Das ist ein technischer Schritt für Fortgeschrittene, der nicht für jedes Modell funktioniert. Für den Einstieg lohnt es sich, eine fertige GGUF-Datei zu suchen.

Ist GGUF schlechter als Safetensors?

Nicht per se. GGUF ist ein Dateiformat, die Qualität hängt von der Komprimierung ab. Eine wenig komprimierte GGUF-Datei kommt dem Original sehr nahe.

Sind Safetensors-Dateien sicherer?

Safetensors wurde entwickelt, um beim Laden keinen Programmcode auszuführen. Das ist ein Vorteil. Trotzdem sollten Sie Modelle nur aus bekannten Quellen laden.

Welche Datei nehme ich, wenn es mehrere GGUF-Varianten gibt?

Wählen Sie eine mittlere Stufe, die in Ihren Speicher passt, und testen Sie damit. Ein kleinerer oder grösserer Schritt ist später jederzeit möglich.