Vorlage: Lokale KI-Dienste mit Docker Compose starten

Das Problem

Ein kleines Team probiert lokale KI aus. Ein Kollege hat Ollama installiert, ein anderer eine Weboberfläche, ein dritter hat alles nochmals anders eingerichtet. Niemand weiss mehr, welche Version, welche Einstellungen und welche Ordner im Einsatz sind. Nach einem Neustart oder einem Rechnerwechsel beginnt das Rätselraten.

Mit Docker, einer Software, die Programme samt Umgebung in «Container» verpackt, und mit Docker Compose, einer Datei, die mehrere Container zusammen beschreibt, lässt sich das festhalten. Die Datei ist eine Art Bauanleitung: Sie nennt, welche Dienste laufen, wie sie verbunden sind und wo die Daten liegen.

Für Frau Müller als Auftraggeberin heisst das: Die Konfiguration ist nachvollziehbar, wiederholbar und lässt sich prüfen. Die technische Einrichtung übernimmt eine IT-Fachperson.

So lösen Sie es mit KI – Schritt für Schritt

1. Legen Sie den Zweck fest. Dieser Prototyp dient dem Ausprobieren im eigenen Netz. Er ist kein Internetdienst.
2. Bereiten Sie den Rechner vor. Docker und Docker Compose müssen installiert sein. Für die Nutzung einer Grafikkarte braucht es zusätzliche Treiber und Komponenten, siehe Docker und GPU-Zugriff.
3. Legen Sie einen Projektordner an. Dort liegen die Compose-Datei und, falls nötig, eine Datei für Einstellungen. Zugangsdaten gehören nicht in die Compose-Datei, sondern in eine eigene, geschützte Einstellungsdatei.
4. Übernehmen Sie die Vorlage unten. Ersetzen Sie die Platzhalter durch geprüfte Versionsnummern. Verwenden Sie feste Versionen statt «latest», damit Updates bewusst erfolgen.
5. Starten Sie die Dienste. Ihre IT startet sie im Projektordner mit dem Befehl «docker compose up -d» und prüft mit «docker compose ps», ob alles läuft.
6. Laden Sie ein Modell. Über die Weboberfläche oder den Ollama-Container laden Sie ein kleines Modell zum Testen herunter, siehe Ollama im Container betreiben.
7. Prüfen Sie, wohin die Daten gehen. Modelle und Chatverläufe liegen in den definierten Ordnern (Volumes). Siehe Daten im Container speichern.
8. Dokumentieren Sie. Datum, Versionen, Verantwortliche, Sicherung. Änderungen an der Datei halten Sie mit Datum fest.

Vorlage zum Kopieren

Dies ist eine Startvorlage für Ollama und die Weboberfläche Open WebUI. Sie ist als Ausgangspunkt gedacht und muss von einer Fachperson geprüft und an Ihre Umgebung angepasst werden.

# compose.yaml – Prototyp für lokale KI im eigenen Netz
services:
  ollama:
    image: ollama/ollama:[Version eintragen]
    container_name: ollama
    restart: unless-stopped
    volumes:
      - ./daten/ollama:/root/.ollama
    ports:
      - "127.0.0.1:11434:11434"   # nur vom Rechner selbst erreichbar
    # Für Nvidia-Grafikkarten (setzt installierte Treiber und Container-Toolkit voraus):
    # deploy:
    #   resources:
    #     reservations:
    #       devices:
    #         - driver: nvidia
    #           count: all
    #           capabilities: [gpu]

  weboberflaeche:
    image: ghcr.io/open-webui/open-webui:[Version eintragen]
    container_name: weboberflaeche
    restart: unless-stopped
    depends_on:
      - ollama
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - ./daten/weboberflaeche:/app/backend/data
    ports:
      - "127.0.0.1:3000:8080"   # nur vom Rechner selbst erreichbar

Passen Sie Versionen, Ordner und Ports an. Mit den gezeigten Port-Angaben sind die Dienste nur vom Rechner selbst erreichbar. Für den Zugriff aus dem Firmennetz braucht es zusätzlich einen abgesicherten Zugang, siehe Reverse-Proxy mit HTTPS.

Worauf Sie achten müssen

• Nur Prototyp: Die Vorlage ist nicht für den Betrieb im offenen Internet gedacht. Öffnen Sie die Ports nicht nach aussen. Für Betrieb braucht es Zugriffsschutz, Updates und Überwachung.
• Anmeldung: Weboberflächen verlangen in der Regel ein Konto. Wer sich zuerst registriert, kann bei manchen Werkzeugen Administrator werden. Richten Sie das Konto selbst ein und schränken Sie weitere Registrierungen gemäss Dokumentation ein.
• Zugangsdaten: Schreiben Sie Passwörter und Schlüssel nie in die Datei und nie in Chats oder KI-Werkzeuge. Verwenden Sie dafür eine geschützte Einstellungsdatei, die nicht weitergegeben wird.
• Daten sichern: Die Ordner mit Modellen und Verläufen gehören in Ihre Sicherung, siehe Server sichern.
• Updates: Containerbilder veralten. Prüfen Sie Sicherheitsmeldungen und ändern Sie Versionen kontrolliert.
• Datenschutz: Chatverläufe können Personendaten enthalten. Legen Sie Zugriff und Aufbewahrung fest.
• Selbst prüfen lassen: Setzen Sie die Vorlage nicht ungeprüft ein. Eine Fachperson kontrolliert Version, Ports, Rechte und Speicherorte.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Planungsbüro in Olten testet lokale KI für interne Textarbeit. Zwei Mitarbeitende haben unabhängig voneinander Ollama und Weboberfläche eingerichtet, mit unterschiedlichen Versionen und Ordnern.

Vorher ist unklar, wo Modelle und Verläufe liegen, und der Rechnerwechsel bedeutet Neuaufbau. Nachher überträgt die IT-Lernende die Einrichtung in eine Compose-Datei mit festen Versionen, lokalen Ports und definierten Ordnern. Die Dienste starten mit einem Befehl, Daten bleiben erhalten, und die Datei wird von der IT-Verantwortlichen geprüft. Für den Zugriff aus dem Büro richtet sie später einen abgesicherten Zugang ein. Sämtliche Tests laufen mit erfundenen Beispieldaten.

So hilft Ihnen Alpasana

Wenn aus einem Experiment ein Werkzeug für den Betrieb werden soll, ist Umsetzungskompetenz gefragt. Bei ready4future ICT setzen begleitete Informatiklernende digitale Aufgaben für Ihren Betrieb um, darunter Skripte, Automatisierungen, Schnittstellen, Datenaufbereitung und KI-Workflows. Fachliche Begleitung, Vier-Augen-Prüfung, Dokumentation und Kundenabnahme gehören zum beschriebenen Vorgehen. Testdaten sowie anonymisierte oder synthetische Daten sind der Standard.

So kommen Sie zu einem dokumentierten Prototyp, ohne die interne IT zu überlasten.

Häufige Fragen

Brauche ich dafür Linux?

Docker läuft auch unter Windows und macOS, die Details und die Nutzung von Grafikkarten unterscheiden sich aber. Klären Sie das mit Ihrer IT, bevor Sie beginnen.

Warum nicht einfach alles direkt installieren?

Direkt geht auch. Container machen die Einrichtung aber wiederholbar und trennen die Programme voneinander. Das lohnt sich bei Tests, die mehrere Personen betreffen.

Kann ich die Datei im Internet veröffentlichen?

Als Vorlage ja, aber ohne Passwörter, interne Adressen und Firmenangaben. Prüfen Sie den Inhalt vorher.

Wie gehe ich vom Prototyp in den Betrieb?

Mit Anmeldung über das Firmenkonto, abgesichertem Zugang, Sicherung, Überwachung und einem Betriebshandbuch. Siehe Betriebshandbuch.