Ollama unter Linux installieren und starten

Das Problem

Sie möchten eine KI auf Ihrem eigenen Linux-Rechner betreiben, damit Ihre Texte und Fragen den Rechner nicht verlassen. Ollama ist ein beliebtes Programm dafür: Es lädt freie KI-Modelle herunter und stellt sie lokal zur Verfügung. Die Webseite sagt «einfach installieren». Doch wenn Sie kaum Erfahrung mit dem Terminal haben, ist schon der erste Befehl eine Hürde.

Typische Fragen: Welchen Befehl tippe ich wo ein? Läuft das Programm schon? Wo landen die heruntergeladenen Modelle? Wie weiss ich, dass alles funktioniert? Und ist das Ganze sicher?

Diese Anleitung führt Sie in kleinen Schritten durch Installation und ersten Test. Sie brauchen einen Linux-Rechner mit genügend Arbeitsspeicher und freiem Speicherplatz sowie Administratorrechte. Befehle für das Terminal stehen in eigenen Blöcken. Wenn Sie unsicher sind, lassen Sie die IT oder eine erfahrene Kollegin mitlesen.

So lösen Sie es mit KI – Schritt für Schritt

1. Voraussetzungen prüfen. Sie brauchen eine aktuelle Linux-Distribution, Administratorrechte (sudo), eine Internetverbindung für den Download und genügend Platz: Modelle belegen je nach Grösse einige bis mehrere Dutzend Gigabyte. Prüfen Sie den freien Speicher mit df -h. Hilfe zur Hardware: Voraussetzungen für lokale KI.

1. Terminal öffnen. Starten Sie das Terminal Ihrer Distribution. Die folgenden Befehle tippen Sie dort ein und bestätigen mit der Eingabetaste.

1. Installationsskript lesen. Der offizielle Weg ist ein Skript von ollama.com. Wer vorsichtig ist, öffnet es vorher im Browser und liest es, oder folgt der manuellen Anleitung in der Dokumentation.

1. Installieren. Der Standardbefehl lautet curl -fsSL https://ollama.com/install.sh | sh. Das Skript lädt das Programm herunter und richtet einen Systemdienst ein. Es verlangt Administratorrechte; geben Sie das Passwort selbst ein, niemals in einem Chat oder einer Nachricht.

1. Dienst prüfen. Mit systemctl status ollama sehen Sie, ob der Dienst läuft. Er sollte als «active (running)» erscheinen. Läuft er nicht, starten Sie ihn mit sudo systemctl start ollama. Zum automatischen Start beim Hochfahren dient sudo systemctl enable ollama.

1. Version prüfen. ollama -v zeigt die installierte Version. So wissen Sie, dass das Programm gefunden wird.

1. Erstes Modell laden und testen. Mit ollama pull [modellname] laden Sie ein Modell herunter, mit ollama run [modellname] starten Sie einen Chat. Wählen Sie für den Anfang ein kleines Modell. Tipps zur Auswahl: Modellgrösse bei lokaler KI. Mit /bye verlassen Sie den Chat.

1. Installierte Modelle ansehen. ollama list zeigt alle geladenen Modelle mit ihrer Grösse, ollama ps die gerade laufenden.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie sich eine persönliche Checkliste für Ihre Einrichtung erstellen. Geben Sie keine Passwörter und keine vertraulichen Angaben ein.

Ich möchte Ollama auf einem Linux-Rechner einrichten und bin kein Technikprofi. Erstelle mir eine kurze Checkliste für meine Situation.

Distribution und Version: [z. B. Ubuntu 24.04 / Debian / Fedora]
Arbeitsspeicher: [GB]
Grafikkarte: [Hersteller und Modell oder «keine»]
Freier Speicherplatz: [GB]
Wofür ich die KI nutze: [z. B. Texte zusammenfassen, Fragen zu eigenen Notizen]

Erstelle eine Liste mit: 1. Was ich vor der Installation prüfen muss, 2. Welche Befehle ich in welcher Reihenfolge eingebe (jeweils mit einem Satz Erklärung), 3. Woran ich erkenne, dass alles funktioniert, 4. Was ich bei Problemen als Erstes prüfe.
Verwende nur Befehle, die in der offiziellen Dokumentation von Ollama stehen. Wenn du dir bei einem Befehl nicht sicher bist, schreibe «in der Dokumentation prüfen».

Prüfen Sie jeden Befehl der KI in der offiziellen Dokumentation von Ollama, bevor Sie ihn ausführen.

Worauf Sie achten müssen

• Skripte aus dem Internet: Ein Befehl wie curl … | sh führt fremden Code mit Administratorrechten aus. Nutzen Sie ihn nur von der offiziellen Seite und prüfen Sie die Adresse genau. Wer es sicherer möchte, installiert manuell nach der Dokumentation.
• Nur lokal erreichbar halten: Ollama lauscht standardmässig nur auf dem eigenen Rechner. Öffnen Sie den Dienst nicht für das Netzwerk, ohne ihn zu schützen, denn die Schnittstelle hat keine eigene Anmeldung. Siehe Ollama im Firmennetz.
• Speicherplatz: Modelle sind gross. Ist die Systemplatte knapp, ändern Sie den Speicherort, siehe Speicherort der Modelle ändern.
• Lizenz der Modelle: Nicht jedes Modell darf kommerziell genutzt werden. Prüfen Sie die Lizenz, siehe Modelllizenz prüfen.
• Qualität und Fehler: Lokale Modelle sind oft kleiner als Cloud-Angebote und machen mehr Fehler. Prüfen Sie wichtige Antworten.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Treuhänder in Olten möchte Notizen und Entwürfe mit einer lokalen KI bearbeiten, ohne dass Mandantendaten den Rechner verlassen. Er nutzt einen älteren Linux-Desktop mit 16 Gigabyte Arbeitsspeicher und ohne spezielle Grafikkarte.

Vorher scheut er das Terminal. Nachher lässt er sich von seinem IT-Dienstleister die Schritte zeigen, installiert Ollama mit dem offiziellen Skript und prüft den Dienst. Er lädt ein kleines Modell, stellt ein paar Testfragen und stellt fest, dass es ohne Grafikkarte langsam, aber nutzbar läuft. Er notiert die fünf wichtigsten Befehle auf einem Zettel und achtet darauf, dass der Dienst nur lokal erreichbar bleibt. Vertrauliche Mandantendaten gibt er trotzdem erst ein, nachdem er mit der IT die Regeln geklärt hat.

So hilft Ihnen Alpasana

Lokale KI mit Ollama und Open-Source-Modellen gehört zur Kursauswahl KI und IT für konkrete Arbeitsaufgaben von absofort. Sie umfasst ausserdem No-Code-Automatisierung, KI-Agenten und Claude mit Projektstruktur, Prompt-Bibliothek und Qualitätsprüfung, jeweils mit KI-Lerncoach, Praxisaufgaben und verifizierbarem Abschluss.

Der Kurs ist eine Weiterbildung und ersetzt keine Systemadministration. Für die Einrichtung in einer Firma ziehen Sie Ihre IT bei.

Häufige Fragen

Brauche ich eine Grafikkarte?

Nicht zwingend. Ohne Grafikkarte laufen kleinere Modelle auf dem Prozessor, dafür langsamer. Eine passende Grafikkarte beschleunigt deutlich. Siehe Lokale KI ohne Grafikkarte.

Ist meine Eingabe wirklich privat?

Bei einem lokal laufenden Modell verlassen Ihre Eingaben den Rechner nicht, solange Sie den Dienst nicht freigeben und keine Online-Funktionen nutzen. Der Download der Modelle benötigt eine Internetverbindung.

Wie entferne ich Ollama wieder?

Die Dokumentation beschreibt das Entfernen von Dienst, Programm und Modellen. Löschen Sie erst Modelle mit ollama rm, wenn Sie nur Speicher freigeben möchten. Eine vollständige Deinstallation führen Sie nach der offiziellen Anleitung durch.