Wie lade ich ein Modell von Hugging Face herunter?

Das Problem

Hugging Face ist eine Internetplattform, auf der Firmen, Hochschulen und Einzelpersonen KI-Modelle zum Herunterladen anbieten. Man kann sie sich wie eine riesige Bibliothek vorstellen, in der jedes Modell ein eigenes «Repository» hat, also einen Ordner mit Dateien und einer Beschreibung.

Wenn Sie dort ein spannendes Modell finden, sehen Sie oft Dutzende Dateien mit Namen wie «model-00001-of-00004.safetensors», «config.json» oder «Q4_K_M.gguf». Wenn Sie alles herunterladen, sind schnell 30 oder mehr Gigabyte (GB) auf der Festplatte, und Ihr Programm kann trotzdem nichts damit anfangen.

Die Lösung: Zuerst klären, welche Datei Ihr Programm überhaupt lesen kann, und nur diese holen.

So lösen Sie es mit KI – Schritt für Schritt

1. Programm festlegen. Ollama, LM Studio und andere Programme für den Heimgebrauch lesen in der Regel Dateien im GGUF-Format. Programme für Entwicklerinnen nutzen eher «safetensors»-Dateien samt Zusatzdateien. Notieren Sie, womit Sie arbeiten.

1. Modellseite öffnen. Auf huggingface.co sehen Sie Titel, Herausgeber und die «Model Card», die Beschreibung des Modells. Achten Sie darauf, wer das Modell veröffentlicht hat: die Entwicklerfirma selbst oder eine private Kopie.

1. Model Card lesen. Wichtig sind Lizenz (Darf ich es geschäftlich nutzen?), Sprachen (Ist Deutsch dabei?), Grösse und Einsatzzweck. Siehe Model Card verstehen.

1. Reiter «Files and versions» öffnen. Dort sehen Sie alle Dateien mit Grösse. Suchen Sie nach .gguf-Dateien, wenn Sie Ollama oder LM Studio nutzen. Oft stehen mehrere Varianten desselben Modells nebeneinander, jeweils in einer anderen «Quantisierung» (verkleinerte Fassung).

1. Eine Variante wählen. Nehmen Sie die Datei, die in Ihren Arbeitsspeicher passt. Eine 4-Bit-Fassung wie «Q4_K_M» gilt vielen als guter Kompromiss zwischen Grösse und Qualität. Mehr unter GGUF-Quantisierung auswählen.

1. Herunterladen. Es gibt drei übliche Wege: Erstens im Browser auf das Download-Symbol neben der Datei klicken. Zweitens direkt in Ollama mit dem Befehl «ollama run hf.co/[Konto]/[Repository]», wenn das Repository GGUF-Dateien enthält. Drittens mit dem Kommandozeilenwerkzeug der Bibliothek «huggingface_hub», das Ihre IT-Stelle kennt.

1. Kontrollieren. Vergleichen Sie die Dateigrösse mit der Anzeige auf der Seite. Wenn der Anbieter eine Prüfsumme angibt, vergleichen Sie diese. Siehe Prüfsumme prüfen.

1. Kurz testen. Laden Sie das Modell in Ihr Programm und stellen Sie drei Testfragen aus Ihrem Alltag, auf Deutsch. Notieren Sie den Namen und die Version des Modells.

Vorlage zum Kopieren

Du bist ein geduldiger IT-Berater für Nicht-Techniker. Ich möchte ein Modell von Hugging Face lokal nutzen und brauche Hilfe, die richtige Datei zu wählen.

Mein Programm: [Ollama / LM Studio / anderes]
Betriebssystem: [Windows / macOS / Linux]
Arbeitsspeicher: [z. B. 16 GB], Grafikkartenspeicher: [z. B. 8 GB oder keine]
Modell: [Name und Link]
Dateiliste aus «Files and versions» (Namen und Grössen): [hier einfügen]

Aufgabe:
1. Sage mir, welche Dateien ich für mein Programm brauche und welche ich nicht herunterladen muss.
2. Nenne, welche Variante in meinen Speicher passt, und begründe es in zwei Sätzen.
3. Erkläre Fachwörter in einem Halbsatz.
4. Gib mir eine Checkliste mit fünf Punkten für nach dem Download.
Regeln: Rate nicht. Wenn die Angaben nicht reichen, stelle Rückfragen. Weise darauf hin, was ich auf der Modellseite selbst prüfen muss.

Setzen Sie die Dateiliste ein, die Sie auf der Modellseite sehen, damit die KI nicht raten muss.

Welche Datei ist die richtige?

Worauf Sie achten müssen

• Lizenz prüfen: Nicht jedes Modell darf geschäftlich genutzt werden. Die Lizenz steht in der Model Card. Bei Unklarheit lassen Sie sich beraten.
• Herkunft beachten: Laden Sie Modelle bevorzugt von den Entwicklern selbst oder von bekannten Anbietern. Kopien unbekannter Konten können verändert sein.
• Dateiformat beachten: Ältere Dateien im Format «.bin» oder «.pkl» können ausführbaren Code enthalten. Das Format «safetensors» ist dafür gebaut, nur Daten zu enthalten.
• Zugangsdaten schützen: Für manche Modelle brauchen Sie ein Konto und müssen Bedingungen akzeptieren. Geben Sie Ihr Zugangstoken (eine Art Schlüssel) niemals weiter und tragen Sie es nicht in KI-Chats ein.
• Speicherplatz planen: Grosse Modelle füllen die Festplatte rasch. Löschen Sie Testmodelle, die Sie nicht brauchen.
• Qualität selbst testen: Ob ein Modell gutes Deutsch schreibt, sehen Sie erst im eigenen Test, nicht auf der Modellseite.

Ein Beispiel aus der Praxis

Ein Beispiel: Frau Bachmann, 52, leitet das Sekretariat einer Treuhandfirma in Zug. Ihr IT-Dienstleister empfiehlt, ein Modell lokal zu testen, damit Kundentexte den Rechner nicht verlassen. Vorher: Sie findet auf Hugging Face ein Modell mit 40 Dateien und lädt versehentlich ein ganzes Repository mit über 100 GB herunter, mit dem Ollama nichts anfangen kann.

Mit der Vorlage klärt sie, dass sie nur eine GGUF-Datei in 4-Bit-Fassung braucht. Nachher: Sie lädt eine Datei von rund 5 GB, prüft die Lizenz und testet das Modell mit drei anonymisierten Beispieltexten. Der Test ist nach einer Stunde erledigt, der Rest des Speichers bleibt frei.

So hilft Ihnen Alpasana

Wer lokale KI mit Open-Source-Modellen selbst ausprobieren möchte, findet bei Alpasana die Kurse KI und IT für konkrete Arbeitsaufgaben. Beschrieben sind unter anderem lokale KI mit Ollama und Open-Source-Modellen sowie Praxisaufgaben mit KI-Lerncoach und verifizierbarem Abschluss.

Die Kurse ersetzen keine technische Beratung für Ihren Betrieb und entscheiden nicht, welches Modell für Sie lizenziert ist. Das klären Sie anhand der Lizenz des jeweiligen Modells.

Häufige Fragen

Brauche ich ein Konto bei Hugging Face?

Für viele frei zugängliche Modelle nicht. Für einzelne Modelle verlangt der Herausgeber, dass Sie angemeldet sind und Bedingungen akzeptieren. Lesen Sie diese Bedingungen sorgfältig, bevor Sie zustimmen.

Was bedeutet «Q4» oder «Q8» im Dateinamen?

Das ist die Stärke der Verkleinerung. Q4 steht für etwa 4 Bit pro Gewicht, Q8 für etwa 8 Bit. Je kleiner die Zahl, desto kleiner die Datei, aber desto eher leidet die Qualität. Eine Erklärung gibt Quantisierung erklärt.

Darf ich das Modell in der Firma einsetzen?

Das hängt von der Lizenz ab. Manche Modelle sind für kommerzielle Nutzung offen, andere beschränken sie. Die Lizenz steht auf der Modellseite. Bei Zweifeln holen Sie rechtliche Beratung ein.