Ollama mit Docker betreiben: Wie funktioniert das?

Das Problem

Ihre IT-Stelle schlägt vor, Ollama «in einem Container» zu betreiben. Ollama ist ein Programm, mit dem man Sprachmodelle auf dem eigenen Rechner oder Server laufen lässt. Ein Container ist eine Art abgeschlossene Box, in der ein Programm samt allem, was es braucht, läuft. Das Werkzeug dafür heisst Docker.

Für Sie als Verantwortliche ist die Frage: Was bringt das? Was kostet es an Aufwand? Und was müssen Sie wissen, um sinnvoll mitzureden, ohne selbst Befehle einzutippen?

Hier erhalten Sie ein Grundverständnis. Die technische Umsetzung übernimmt die IT. Sie wissen danach, welche Fragen Sie stellen und worauf Sie achten sollten.

So lösen Sie es mit KI – Schritt für Schritt

1. Ziel klären. Soll Ollama nur für Tests auf einem einzelnen Rechner laufen oder als gemeinsamer Dienst im Betrieb? Der Container lohnt sich vor allem bei Servern, wo mehrere Dienste sauber getrennt laufen sollen.

1. Voraussetzungen prüfen. Es braucht einen Rechner oder Server mit installiertem Docker. Für Grafikkarten ist zusätzliche Software des Kartenherstellers nötig. Bei NVIDIA ist das das «NVIDIA Container Toolkit».

1. Container starten (IT-Aufgabe). Die Ollama-Dokumentation zeigt einen Befehl der Form «docker run» mit dem Image «ollama/ollama», einem Port und einem Speicherbereich. Für CPU-Betrieb entfällt die GPU-Option. Der genaue Befehl steht in der offiziellen Anleitung.

1. Speicherbereich festlegen. Modelle sind gross. Legen Sie fest, wo sie liegen. Ein sogenanntes «Volume» sorgt dafür, dass Modelle nach einem Neustart oder einer Aktualisierung des Containers erhalten bleiben. Siehe Daten im Container speichern.

1. Modell laden und testen. Im laufenden Container lässt sich ein Modell herunterladen und starten. Die IT stellt eine einfache Testfrage und prüft die Antwortzeit.

1. Erreichbarkeit regeln. Der Dienst hört auf dem Port 11434. Wer darf zugreifen? Standardmässig nur der Rechner selbst. Für den Zugriff im Netz siehe Ollama im Firmennetz.

1. Automatisch starten und überwachen. Der Container soll nach einem Neustart wieder anlaufen und seine Meldungen aufzeichnen. Siehe Autostart.

1. Aktualisierung planen. Neue Versionen erscheinen regelmässig. Legen Sie fest, wer wann aktualisiert, und testen Sie zuerst in einer Testumgebung.

Vorlage zum Kopieren

Du bist ein erfahrener Systemadministrator, der Nicht-Technikern Dinge erklärt. Ich möchte Ollama in einem Docker-Container betreiben lassen und brauche ein Gespräch mit meiner IT vorzubereiten.

Umgebung: [Betriebssystem, physischer Server oder virtuell, Grafikkarte ja/nein und welche]
Zweck: [Test / Dauerbetrieb im Büro / für Anwendung X]
Nutzende: [Anzahl]
Vertrauliche Daten: [ja / nein, welche Art]

Aufgabe:
1. Erkläre in einfachen Worten, was Docker und ein Container sind, und welche Vor- und Nachteile das für meinen Fall hat.
2. Erstelle eine Checkliste mit zehn Fragen an die IT (Speicherort der Modelle, Zugriff, Updates, Sicherung, Überwachung, Grafikkarte).
3. Nenne Risiken, die ich kennen sollte.
Regeln: Schreibe keine Befehle, die ich ausführen soll. Verweise für Befehle auf die offizielle Ollama-Dokumentation. Erkläre Fachwörter in einem Halbsatz.

Die Antwort dient dem Gespräch mit Ihrer IT. Installieren Sie nichts auf Basis von KI-Antworten ohne Prüfung gegen die offizielle Anleitung.

Was gehört zum Betrieb?

Worauf Sie achten müssen

• Zugriff begrenzen: Ollama hat von sich aus keine Anmeldung. Wer den Port erreicht, kann den Dienst nutzen. Öffnen Sie ihn nie direkt ins Internet.
• Modelle sichern: Heruntergeladene Modelle lassen sich neu laden, Ihre Einstellungen und Daten nicht. Planen Sie Sicherungen der wichtigen Teile. Siehe Backup und Wiederherstellung.
• Vertrauenswürdige Quellen: Verwenden Sie das offizielle Image und laden Sie Modelle nur von bekannten Herausgebern.
• Lizenz der Modelle: Jedes Modell hat eigene Nutzungsbedingungen. Prüfen Sie sie vor dem geschäftlichen Einsatz.
• Aufwand realistisch einschätzen: Betrieb, Updates und Fehlersuche brauchen Zeit. Rechnen Sie sie ein.
• Keine Befehle aus KI-Chats blind ausführen: Lassen Sie Anleitungen von Ihrer IT gegen die offizielle Dokumentation prüfen.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Gemeindeverwaltung eines Dorfes im Thurgau möchte Protokolle lokal zusammenfassen. Die Verwaltungsleiterin, Frau Graf, 53, soll mit dem externen IT-Partner den Aufbau besprechen. Vorher: Sie versteht die Begriffe nicht und kann weder Aufwand noch Risiken beurteilen.

Mit der Vorlage bereitet sie zehn Fragen vor. Nachher: Das Gespräch zeigt, dass ein Container auf dem vorhandenen Server genügt, die Modelle auf einem gesicherten Speicher liegen und der Zugriff nur aus dem Gemeindenetz erlaubt wird. Der Partner dokumentiert den Aufbau, und Frau Graf weiss, wer für Updates zuständig ist.

So hilft Ihnen Alpasana

Wenn Sie selbst verstehen möchten, wie lokale KI mit Ollama aufgebaut wird, bietet Alpasana die Kurse KI und IT für konkrete Arbeitsaufgaben an. Beschrieben sind unter anderem lokale KI mit Ollama und Open-Source-Modellen sowie No-Code-Automatisierung und KI-Agenten, jeweils mit Praxisaufgaben und verifizierbarem Abschluss.

Der Betrieb eines Servers in Ihrem Unternehmen ist damit nicht abgedeckt. Dafür brauchen Sie eine eigene IT oder einen Dienstleister.

Häufige Fragen

Brauche ich Docker unbedingt?

Nein. Ollama lässt sich auch direkt auf dem Rechner installieren, was für Tests einfacher ist. Docker lohnt sich vor allem, wenn mehrere Dienste sauber getrennt auf einem Server laufen sollen.

Läuft Ollama im Container auch mit Grafikkarte?

Ja, mit zusätzlicher Software des Kartenherstellers und passender Einstellung. Treten Fehler auf, hilft Docker-GPU-Zugriff: Fehler beheben.

Gehen Modelle verloren, wenn ich den Container lösche?

Nur, wenn sie im Container selbst liegen. Mit einem eingerichteten Speicherbereich (Volume) bleiben sie erhalten. Fragen Sie Ihre IT, wie das bei Ihnen eingerichtet ist. Eine Vorlage zeigt Docker Compose für lokale LLMs.