Ollama installieren: Wie starte ich mit lokaler KI?

Das Problem

Sie haben gehört, dass man KI auch auf dem eigenen Computer betreiben kann, ohne dass Texte zu einem Cloud-Dienst gesendet werden. Das klingt gut für vertrauliche Unterlagen oder für Menschen, die keine Abos wollen. Aber wie fängt man an, wenn man kein Informatiker ist?

Ollama ist eines der bekanntesten Programme dafür. Es ist eine freie Software (Open Source), die auf Windows, macOS und Linux läuft und Sprachmodelle herunterlädt und ausführt. Es hat zunächst keine bunte Oberfläche, sondern arbeitet mit einem einfachen Textfenster oder im Hintergrund als Dienst, den andere Programme nutzen können.

Frau Müller, die im Sekretariat eines Ingenieurbüros arbeitet und gerne ausprobieren möchte, will wissen: Was brauche ich, wie installiere ich es, und was kann ich erwarten? Diese Anleitung führt durch den Einstieg. Stand der Beschreibung ist Oktober 2026; Oberfläche und Funktionen können sich ändern, deshalb gilt im Zweifel die Anleitung auf der Herstellerseite.

So lösen Sie es mit KI – Schritt für Schritt

1. Computer prüfen. Notieren Sie Betriebssystem, Arbeitsspeicher (RAM) und freien Speicherplatz auf der Festplatte. Modelle sind grosse Dateien und brauchen Platz und Arbeitsspeicher. Siehe Hardware für lokale KI.
2. Offizielle Quelle verwenden. Laden Sie Ollama nur von der Herstellerseite herunter (ollama.com), nicht von Drittseiten. Prüfen Sie die Adresse in der Adresszeile genau.
3. Installation durchführen. Folgen Sie der Anleitung für Ihr System: Unter Windows und macOS führt ein Installationsprogramm durch die Schritte, unter Linux gibt es einen Installationsbefehl. Details siehe Windows, Mac, Linux.
4. Ein kleines Modell wählen. Öffnen Sie die Modellliste auf der Herstellerseite. Wählen Sie für den Start ein kleines Modell, das zu Ihrem Arbeitsspeicher passt. Die Seite nennt die Dateigrösse; sie darf nicht grösser als Ihr verfügbarer Speicher sein.
5. Modell herunterladen und starten. Öffnen Sie ein Eingabefenster (Terminal oder Eingabeaufforderung) und geben Sie den Startbefehl mit dem Modellnamen ein (siehe Vorlage). Beim ersten Mal wird das Modell heruntergeladen, das kann dauern.
6. Ersten Test machen. Stellen Sie eine einfache Frage und beobachten Sie Tempo und Qualität. Nutzen Sie dafür zunächst unkritische, erfundene Beispiele.
7. Entscheiden, wie es weitergeht. Wenn Sie eine Oberfläche mit Fenstern und Knöpfen bevorzugen, prüfen Sie «Ollama oder LM Studio» oder eine Browser-Oberfläche. Ändern Sie nichts an Systemeinstellungen, die Sie nicht verstehen.

Vorlage zum Kopieren

Befehle im Eingabefenster (die eckigen Klammern ersetzen Sie durch Ihre Angaben):

ollama run [modellname]

Mit diesem Befehl startet Ollama das genannte Modell und lädt es, falls nötig, herunter. Der Modellname steht in der Modellliste auf ollama.com. Weitere hilfreiche Befehle:

ollama list
ollama rm [modellname]

Der erste zeigt die installierten Modelle, der zweite löscht ein Modell wieder, um Platz zu schaffen.

Danach können Sie im Chatfenster einen Testauftrag eingeben:

Du bist ein hilfreicher Assistent. Erkläre in höchstens [100] Wörtern und in einfachem Deutsch (Schweiz), was ein Sprachmodell ist. Verwende ein Beispiel aus dem Büroalltag.

Passen Sie die Länge an und beurteilen Sie die Antwort kritisch; kleine lokale Modelle machen häufiger Fehler als grosse Cloud-Dienste.

Was Sie erwarten dürfen

Wenn der Download abbricht oder das Programm nicht startet, helfen «Download abgebrochen» und «Ollama startet nicht». Eine Checkliste für den Einstieg bietet «Lokale KI: Einstiegs-Checkliste».

Worauf Sie achten müssen

• Nur offizielle Downloads. Programme und Modelle von unbekannten Seiten können Schadsoftware enthalten. Verwenden Sie die Herstellerseite und die dort verlinkten Modelle. Fragen Sie bei Firmen-PCs vorher die IT.
• Lizenz der Modelle. Nicht jedes Modell darf für alle Zwecke genutzt werden, etwa kommerziell. Prüfen Sie die Lizenzangaben, bevor Sie Modelle im Betrieb einsetzen.
• Cloud-Funktionen. Manche Programme bieten zusätzlich Cloud-Optionen an. Wenn Sie echtes «lokal» wollen, nutzen Sie ausdrücklich nur lokale Modelle und prüfen Sie, was Ihre Einstellung tut.
• Qualität. Kleine Modelle formulieren oft schwächer, machen mehr Fehler und können Deutsch schlechter. Überprüfen Sie Ergebnisse wie bei jeder KI.
• Speicherplatz und Hitze. Grosse Modelle füllen die Festplatte und beanspruchen den Computer stark. Notebooks können laut und heiss werden.

Ein Beispiel aus der Praxis

Ein Beispiel: Frau Müller arbeitet im Sekretariat eines Ingenieurbüros in Zürich und möchte ausprobieren, ob eine lokale KI für interne Entwürfe taugt. Ihr Notebook hat durchschnittliche Leistung.

Vorher wusste sie nicht, wo sie anfangen sollte. Nachher notiert sie Arbeitsspeicher und freien Platz, lädt Ollama von der Herstellerseite, installiert es mit Absprache der IT und wählt ein kleines Modell. Beim ersten Test antwortet es verständlich, aber langsam, und es macht bei einer Frage zu Schweizer Rechtschreibung Fehler. Sie beschliesst, es für interne Stichwortlisten zu nutzen und für Aussentexte weiter ihr freigegebenes Werkzeug. Das Wichtigste lernt sie so: lokale KI ist nützlich, aber kein Ersatz für alles.

So hilft Ihnen Alpasana

Wenn Sie Ollama für lokale Aufgaben einsetzen möchten, vermittelt KI und IT für konkrete Arbeitsaufgaben unter anderem lokale KI mit Ollama und Open-Source-Modellen. Praxisaufgaben und KI-Lerncoach begleiten das Lernen; der Kurs ersetzt keine IT-Betreuung und garantiert nicht, dass ein Modell auf Ihrer Hardware läuft.

Häufige Fragen

Braucht man eine Grafikkarte?

Nicht zwingend. Kleine Modelle laufen auch auf normalen Prozessoren, allerdings langsamer. Mit einer geeigneten Grafikkarte oder viel Arbeitsspeicher geht es schneller. Siehe «Hardware für lokale KI».

Sind meine Daten dann sicher?

Bei lokaler Nutzung verlassen Ihre Eingaben den Computer nicht, sofern Sie ein lokales Modell verwenden und keine Cloud-Funktion aktivieren. Sicher ist trotzdem nur, was auch sonst auf Ihrem Computer gut geschützt ist: Updates, Zugriffsschutz und Verschlüsselung.

Wie wechsle ich zu einer Oberfläche mit Knöpfen?

Es gibt Zusatzprogramme mit grafischer Oberfläche, die mit Ollama zusammenarbeiten, oder eigenständige Programme wie LM Studio. Einen Überblick bietet «Ollama oder LM Studio».