Ollama unter Windows einrichten: Was brauche ich?

Das Problem

Auf Ihrem Windows-PC im Büro möchten Sie eine KI ausprobieren, die ohne Cloud-Dienst läuft. Vielleicht, weil Sie mit Texten arbeiten, die nicht ins Internet gehören, oder weil Sie kein weiteres Abo wollen. Ollama ist ein bekanntes Gratis-Programm dafür. Es führt Sprachmodelle direkt auf Ihrem Computer aus.

Die Frage ist: Was braucht mein PC dafür, und wo klicke ich? Auf Anleitungen im Netz stehen oft Fachbegriffe wie «CUDA», «Quantisierung» oder «Docker». Die brauchen Sie für den Einstieg nicht. Wichtig sind nur drei Dinge: ein einigermassen aktueller PC, genug Arbeitsspeicher (RAM, das Kurzzeitgedächtnis des Computers) und Platz auf der Festplatte.

Diese Seite zeigt den Weg Schritt für Schritt. Die Angaben stammen aus dem Stand Oktober 2026. Programme verändern sich; im Zweifel gilt die Anleitung auf ollama.com.

So lösen Sie es mit KI – Schritt für Schritt

1. PC prüfen. Öffnen Sie «Einstellungen», dann «System», dann «Info». Notieren Sie die Windows-Version, den Arbeitsspeicher («Installierter RAM») und den Prozessor. Unter «Speicher» sehen Sie, wie viel Platz frei ist. Faustregel: Planen Sie mindestens 10 GB freien Speicherplatz ein, mehr ist besser.

1. Voraussetzungen mit der Checkliste abgleichen. Eine Übersicht bietet Lokale KI: Ist mein Arbeitsplatz bereit?. Mit 8 GB RAM kommen Sie nur mit sehr kleinen Modellen weit, bei 16 GB oder mehr ist der Start angenehmer.

1. Installationsprogramm laden. Öffnen Sie im Browser die Seite ollama.com, wählen Sie den Bereich «Download» und dort Windows. Prüfen Sie die Adresse in der Adresszeile. Laden Sie nur von der Herstellerseite.

1. Installieren. Starten Sie die heruntergeladene Datei und folgen Sie den Schritten. Nach der Installation läuft Ollama im Hintergrund, erkennbar am Symbol im Infobereich neben der Uhr. Je nach Version öffnet sich auch ein einfaches Chatfenster.

1. Eingabefenster öffnen. Drücken Sie die Windows-Taste, tippen Sie «Eingabeaufforderung» oder «PowerShell» und öffnen Sie das Programm. Das ist ein Textfenster, in das Sie Befehle tippen.

1. Ein kleines Modell starten. Geben Sie den Befehl aus der Vorlage unten ein, mit einem kleinen Modell aus der Bibliothek auf ollama.com. Beim ersten Mal lädt Ollama das Modell herunter. Das können mehrere Gigabyte sein, planen Sie Zeit ein. Mehr dazu: Modell herunterladen.

1. Testen. Stellen Sie eine einfache Frage mit erfundenen Beispieldaten. Beobachten Sie Tempo und Antwortqualität. Beenden Sie den Chat mit «/bye».

1. Bei Problemen gezielt prüfen. Startet das Programm nicht oder meldet es Fehler, hilft Ollama startet nicht.

Vorlage zum Kopieren

Befehle im Eingabefenster (die Klammern ersetzen Sie durch Ihre Angabe):

ollama --version
ollama run [modellname]
ollama list

Der erste Befehl zeigt, ob Ollama installiert ist und welche Version läuft. Der zweite startet ein Modell und lädt es bei Bedarf herunter. Der dritte listet installierte Modelle.

Zum Testen können Sie im Chat zum Beispiel eingeben:

Erkläre in höchstens [80] Wörtern und einfachem Deutsch, was ein Sprachmodell ist. Verwende ein Beispiel aus dem Büro.

Wählen Sie für [modellname] ein kleines Modell aus der Bibliothek und passen Sie die Wortzahl an. Fragen Sie am Anfang nichts Vertrauliches ab.

Worauf Sie achten müssen

• Nur offizielle Quelle. Laden Sie Ollama und Modelle nur von der Herstellerseite. Fremde «Installer» können Schadsoftware enthalten.
• Speicherplatz. Modelle liegen im Benutzerordner und können viele Gigabyte belegen. Nicht mehr benötigte Modelle löschen Sie mit dem Befehl «ollama rm».
• Lokal heisst nicht automatisch alles offline. Je nach Version bietet Ollama auch Modelle an, die in der Cloud laufen. Wählen Sie für vertrauliche Inhalte ausdrücklich lokale Modelle und lesen Sie die Hinweise der Software.
• Qualität. Kleine lokale Modelle machen mehr Fehler als grosse Cloud-Dienste und erfinden manchmal Inhalte. Prüfen Sie Antworten. Siehe KI-Halluzinationen.
• Firmen-PC. Fragen Sie vor der Installation Ihre IT, ob Sie Software installieren dürfen. Nicht jede Firma erlaubt das.
• Sicherheit. Der Dienst soll nur auf Ihrem PC erreichbar sein. Ändern Sie keine Netzwerkeinstellungen, die Sie nicht verstehen.

Ein Beispiel aus der Praxis

Ein Beispiel: Frau T. leitet das Sekretariat einer Anwaltskanzlei in Baden. Sie möchte Textentwürfe von einer KI überarbeiten lassen, will aber keine Inhalte an Cloud-Dienste senden. Ihr Büro-PC hat 16 GB RAM und keine eigene Grafikkarte.

Nach Rücksprache mit der IT installiert sie Ollama, startet ein kleines Modell und testet mit erfundenen Beispieltexten. Die Antworten kommen mit kurzer Wartezeit, sind aber für einfache Formulierungshilfen brauchbar. Vertrauliche Dokumente gibt sie weiterhin nicht ein, bis die Kanzlei die Nutzung geregelt hat. So lernt sie das Werkzeug kennen, ohne ein Risiko einzugehen.

So hilft Ihnen Alpasana

Wenn Sie lokale KI nicht allein ausprobieren möchten, behandelt der Kurs KI und IT für konkrete Arbeitsaufgaben bei absofort unter anderem lokale KI mit Ollama und Open-Source-Modellen. Der Kurs verbindet Praxisaufgaben mit dem KI-Lerncoach und führt zu einem verifizierbaren Abschluss. Sie wählen ein Thema, das zu Ihrer Arbeitsaufgabe passt.

Die Installation auf Ihrem Firmen-PC und die Freigabe durch Ihre IT bleiben Ihre Aufgabe.

Häufige Fragen

Brauche ich eine Grafikkarte?

Nein, für den Einstieg nicht. Ollama läuft auch ohne eigene Grafikkarte auf dem Prozessor, dann aber langsamer. Eine passende Grafikkarte beschleunigt die Antworten spürbar.

Kostet Ollama etwas?

Das Programm selbst ist kostenlos. Es entstehen aber Kosten für Hardware und Strom, und Modelle haben eigene Nutzungsbedingungen. Siehe Lokale KI kostenlos nutzen.

Kann ich Ollama mit einer Chatoberfläche nutzen?

Ja. Es gibt Programme mit Fenstern und Knöpfen, die auf Ollama aufbauen, oder Sie nutzen LM Studio als Alternative. Einen Vergleich finden Sie unter Ollama oder LM Studio.

Ist das Programm sicher?

Wenn Sie es von der Herstellerseite laden und aktuell halten, gilt es als weit verbreitet. Eine Garantie gibt es nicht. Bei Firmen-PCs entscheidet Ihre IT.