Wie lade ich mein erstes Modell in Ollama herunter?

Das Problem

Sie haben Ollama installiert, aber es passiert nichts Sichtbares. Ein Programm ohne Modell ist wie ein Plattenspieler ohne Schallplatte: Es ist bereit, hat aber nichts, was es abspielen kann. Das Sprachmodell, also das eigentliche «KI-Gehirn», müssen Sie separat herunterladen.

Dabei tauchen neue Fragen auf: Wo finde ich Modelle? Welches ist richtig für mich? Was bedeuten Angaben wie «3B» oder «8B»? Und wie viel Platz brauche ich? Die Modellbibliothek enthält viele Einträge mit englischen Beschreibungen, was Einsteigende schnell überfordert.

Die gute Nachricht: Das Herunterladen selbst ist einfach. Die Auswahl lässt sich mit zwei Faustregeln eingrenzen, und ein falsches Modell lässt sich jederzeit wieder löschen. Die Namen in der Bibliothek ändern sich schnell, deshalb zeigt diese Anleitung das Vorgehen und keine festen Empfehlungen.

So lösen Sie es mit KI – Schritt für Schritt

1. Eigenen Computer einschätzen. Notieren Sie Arbeitsspeicher (RAM) und freien Speicherplatz. Ob Sie eine Grafikkarte haben, sehen Sie im Windows-Task-Manager oder unter «Über diesen Mac». Hilfe: Hardware für lokale KI.

1. Modellbibliothek öffnen. Gehen Sie auf ollama.com und wählen Sie «Models». Dort sehen Sie Namen, kurze Beschreibungen und Varianten.

1. Grösse verstehen. Bei vielen Modellen steht eine Zahl mit «B», etwa «3B» oder «8B». B steht für Milliarden Parameter, also die «Einstellungen» im Modell. Mehr Parameter heissen meist bessere Antworten, aber auch mehr Speicherbedarf. Erklärung: Modellgrösse und Parameter.

1. Passende Variante wählen. Auf der Seite des Modells stehen die Varianten mit der Dateigrösse in GB. Faustregel: Die Datei sollte deutlich kleiner sein als Ihr freier Arbeitsspeicher, damit auch das Betriebssystem noch Platz hat. Wählen Sie lieber eine kleine Variante.

1. Auf Deutsch achten. Nicht jedes Modell antwortet gleich gut auf Deutsch. Lesen Sie in der Beschreibung nach, ob mehrere Sprachen genannt werden, und testen Sie selbst.

1. Modell herunterladen. Öffnen Sie das Eingabefenster (Terminal, Eingabeaufforderung) und verwenden Sie den Befehl aus der Vorlage. Der Download zeigt einen Fortschrittsbalken. Lassen Sie das Fenster offen, bis er fertig ist.

1. Kontrollieren. Mit «ollama list» sehen Sie alle installierten Modelle samt Grösse. Dann starten Sie das Modell und stellen eine Testfrage.

1. Aufräumen. Gefällt Ihnen ein Modell nicht, löschen Sie es mit dem Befehl «ollama rm» und dem Namen, um Platz zu schaffen. Siehe Modell löschen.

Vorlage zum Kopieren

Befehle im Eingabefenster (Klammern durch Ihre Angabe ersetzen):

ollama pull [modellname]
ollama list
ollama run [modellname]

Der erste Befehl lädt das Modell nur herunter, der dritte startet es (und lädt es bei Bedarf herunter). «ollama list» zeigt, was bereits vorhanden ist. Der Modellname besteht oft aus Name und Variante, getrennt durch einen Doppelpunkt, zum Beispiel in der Form «name:3b».

Zum Testen der Deutschkenntnisse eignet sich:

Schreibe in [4] Sätzen eine freundliche Antwort auf eine Kundenanfrage zu einem Termin. Verwende Deutsch (Schweiz), Sie-Form.

Ersetzen Sie die Zahl der Sätze nach Bedarf. Die Antwort zeigt, ob das Modell für Ihre Zwecke sprachlich genügt.

Worauf Sie achten müssen

• Nur aus der offiziellen Bibliothek laden. Modelle von unbekannten Seiten können unsicher oder rechtlich problematisch sein.
• Lizenz beachten. Jedes Modell hat eigene Nutzungsbedingungen. Für den Einsatz im Betrieb müssen Sie diese prüfen. Mehr: Modelllizenz prüfen.
• Speicherplatz im Blick behalten. Mehrere Modelle füllen die Festplatte schnell. Löschen Sie, was Sie nicht brauchen.
• Internet nötig beim Download. Planen Sie bei grossen Dateien Zeit ein und nutzen Sie eine stabile Verbindung. Bei Abbrüchen hilft Download bricht ab.
• Qualitätsgrenzen. Kleine Modelle sind schwächer und erfinden häufiger Dinge. Prüfen Sie wichtige Aussagen.
• Datenschutz. Der Download selbst enthält keine Ihrer Daten. Aber auch bei lokalen Modellen gilt: Vertrauliche Inhalte erst nach interner Freigabe.

Ein Beispiel aus der Praxis

Ein Beispiel: Frau H., Büroleiterin eines Handwerksbetriebs in Reinach, hat Ollama installiert. Sie sieht die Bibliothek mit Dutzenden Modellen und weiss nicht, wo sie anfangen soll. Ihr PC hat 16 GB RAM und keine Grafikkarte.

Sie wählt eine kleine Variante mit wenigen Milliarden Parametern, deren Datei weniger als die Hälfte ihres Arbeitsspeichers beansprucht. Der Download dauert eine Viertelstunde. Beim Test mit einer erfundenen Kundenanfrage antwortet das Modell auf Deutsch verständlich, aber etwas steif. Sie probiert eine zweite kleine Variante und entscheidet sich für die bessere. Das erste Modell löscht sie wieder.

So hilft Ihnen Alpasana

Wer lokale KI strukturiert kennenlernen möchte, findet im Kurs KI und IT für konkrete Arbeitsaufgaben bei absofort unter anderem lokale KI mit Ollama und Open-Source-Modellen als Kursthema. Praxisaufgaben, KI-Lerncoach und ein verifizierbarer Abschluss gehören zum Kursaufbau.

Welches Modell für Ihren Betrieb geeignet ist, hängt von Hardware, Lizenz und Aufgabe ab und lässt sich nicht allgemein beantworten.

Häufige Fragen

Wie lange dauert der Download?

Das hängt von Modellgrösse und Internetverbindung ab. Kleine Modelle laden oft in wenigen Minuten, grössere brauchen deutlich länger. Der Fortschrittsbalken zeigt den Stand.

Kann ich mehrere Modelle gleichzeitig installieren?

Ja, solange Platz auf der Festplatte ist. Im Betrieb ist meist nur ein Modell gleichzeitig im Arbeitsspeicher geladen. Mit «ollama list» sehen Sie, was installiert ist.

Was bedeutet «quantisiert»?

Ein quantisiertes Modell ist verkleinert, indem die Zahlen im Modell weniger genau gespeichert werden. Es braucht weniger Platz und ist schneller, kann aber etwas an Qualität verlieren. Siehe Quantisierung erklärt.

Kann ich ein Modell wechseln?

Jederzeit. Starten Sie einfach ein anderes Modell mit «ollama run» und dem neuen Namen. Siehe auch Modell wechseln.