Ollama offline nutzen: Was muss ich vorbereiten?

Das Problem

Das Internet fällt aus, im Zug ist der Empfang schlecht, oder Sie sind in einem Gebäude ohne WLAN. Ein Cloud-Dienst wie ein Online-Chatbot funktioniert dann nicht mehr. Eine lokale KI auf dem eigenen Computer kann das Problem lösen, aber nur, wenn alles Nötige vorher vorhanden ist.

Viele merken das erst im Ernstfall: Das Programm startet, doch das Modell fehlt, oder der Start versucht etwas aus dem Netz zu laden. Dann bleibt das Fenster leer und der Termin ist vorbei.

Ein Offlinebetrieb ist gut planbar. Sie brauchen drei Dinge: das Programm, mindestens ein vollständig heruntergeladenes Modell und einen Test, der zeigt, dass es ohne Verbindung funktioniert. Diese Checkliste führt durch die Vorbereitung. Beachten Sie, dass sich Programme verändern. Prüfen Sie die Hinweise auf ollama.com, falls etwas nicht wie beschrieben funktioniert.

So lösen Sie es mit KI – Schritt für Schritt

1. Ollama installieren, solange Sie online sind. Folgen Sie der Anleitung für Ihr System: Ollama installieren. Das Installationsprogramm braucht die Verbindung nur für den Download.

1. Modell vollständig herunterladen. Laden Sie das gewünschte Modell mit dem Download-Befehl herunter und warten Sie, bis er abgeschlossen ist. Prüfen Sie mit «ollama list», ob das Modell aufgeführt ist. Siehe Modell herunterladen.

1. Modell einmal starten. Starten Sie es und stellen Sie eine Frage. So stellen Sie sicher, dass alles korrekt geladen wird.

1. Lokale Modelle wählen. Je nach Version kann Ollama auch Cloud-Modelle anbieten. Diese laufen nicht auf Ihrem Gerät und brauchen Internet. Verwenden Sie für den Offlinebetrieb ausdrücklich ein heruntergeladenes lokales Modell.

1. Verbindung trennen und testen. Schalten Sie WLAN aus oder ziehen Sie das Netzwerkkabel. Starten Sie Ollama und das Modell erneut und stellen Sie eine Testfrage. Funktioniert es, ist die Vorbereitung gelungen.

1. Zusatzprogramme prüfen. Nutzen Sie eine Chatoberfläche (zum Beispiel im Browser)? Testen Sie auch diese offline. Manche Oberflächen laden Elemente aus dem Netz nach. Siehe Open WebUI mit Ollama verbinden.

1. Notizzettel anlegen. Halten Sie auf Papier oder in einer Datei fest: Befehl zum Starten, Name des Modells, Ort der Modelldateien. Im Ernstfall suchen Sie nicht im Netz.

1. Sicherungskopie überlegen. Wenn Sie mehrere Computer ausstatten möchten, können Modelldateien auf einen Datenträger kopiert werden. Vorgehen: Lokale KI auf USB übertragen.

Vorlage zum Kopieren

Mit dieser Checkliste können Sie Ihren Offline-Test dokumentieren (Klammern ersetzen):

Offline-Test lokale KI
Datum: [Datum]
Computer: [Name/Standort]
Ollama-Version: [Ergebnis von «ollama --version»]
Installierte Modelle: [Ergebnis von «ollama list»]
WLAN/Netzwerk ausgeschaltet: [ja/nein]
Modell gestartet: [ja/nein]
Testfrage: [z. B. «Fasse in zwei Sätzen zusammen, was ein Sprachmodell ist.»]
Antwort erhalten: [ja/nein, Dauer ca. ... Sekunden]
Auffälligkeiten: [z. B. Fehlermeldungen]
Nächste Überprüfung: [Datum]

Füllen Sie das Blatt nach jedem Test aus und legen Sie es zu Ihren Unterlagen.

Worauf Sie achten müssen

• Nicht automatisch geschützt. Läuft die KI offline, sind Ihre Eingaben nicht im Netz. Das ersetzt aber keine Datenschutzregeln, etwa wer auf den Computer Zugriff hat. Siehe Lokale KI und Datenschutz.
• Gespeicherte Verläufe. Chatverläufe können lokal gespeichert bleiben. Löschen Sie vertrauliche Gespräche, wenn mehrere Personen den Computer nutzen.
• Veraltetes Wissen. Ein lokales Modell kennt aktuelle Ereignisse nicht und hat keinen Zugriff auf das Internet. Es kann also keine tagesaktuellen Auskünfte geben.
• Qualität. Kleine Modelle machen häufiger Fehler. Prüfen Sie Ergebnisse, gerade wenn Sie unterwegs keine zweite Quelle haben.
• Akku. Lokale KI beansprucht das Gerät stark. Auf dem Laptop frisst sie Akku, planen Sie Strom ein.
• Sicherheitsupdates. Ein dauerhaft offline betriebener Computer erhält keine Updates. Spielen Sie diese regelmässig ein, wenn Sie wieder verbunden sind.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Bauleiter aus dem Fricktal arbeitet oft auf Baustellen ohne Empfang. Er nutzt auf seinem Laptop eine lokale KI, um Notizen zu Baubesprechungen zu gliedern. Beim ersten Versuch auf der Baustelle klappt es nicht: Das Modell fehlte auf dem Laptop, weil er es nur auf dem Bürocomputer geladen hatte.

Danach geht er sorgfältiger vor. Er lädt das Modell im Büro auf den Laptop, startet es zur Probe und schaltet das WLAN aus. Er notiert Startbefehl und Modellname auf einem Zettel im Laptop-Deckel. Auf der nächsten Baustelle klappt alles. Vertrauliche Informationen gibt er nur nach interner Freigabe ein.

So hilft Ihnen Alpasana

Wenn Sie lokale KI im Betrieb sinnvoll nutzen möchten, vermittelt der Kurs KI und IT für konkrete Arbeitsaufgaben bei absofort unter anderem lokale KI mit Ollama und Open-Source-Modellen. Dazu gehören Praxisaufgaben, ein KI-Lerncoach und ein verifizierbarer Abschluss.

Ob ein Offlinebetrieb für Ihre Arbeit sinnvoll ist, hängt von Hardware, Aufgabe und internen Vorgaben ab.

Häufige Fragen

Funktioniert Ollama nach der Installation ohne Verbindung?

Ja, wenn das Modell bereits vollständig heruntergeladen ist. Das Programm selbst muss nichts aus dem Netz holen, um ein lokales Modell auszuführen. Testen Sie es einmal ohne Verbindung.

Kann ich die KI auf einem Computer ohne Internetanschluss einrichten?

Ja, mit Vorbereitung: Programm und Modell lassen sich auf einem anderen Computer herunterladen und per Datenträger übertragen. Die Details unterscheiden sich je nach System, siehe die verlinkten Anleitungen und die Herstellerdokumentation.

Warum antwortet die lokale KI auf aktuelle Fragen falsch?

Weil sie nur auf ihren Trainingsdaten beruht und nicht im Internet nachschlägt. Für aktuelle Fakten brauchen Sie andere Quellen.

Brauche ich für Offlinebetrieb ein besonderes Modell?

Nein. Jedes vollständig heruntergeladene lokale Modell läuft ohne Verbindung. Cloud-Modelle sind die Ausnahme.