Wie nutzt man ein LLM ohne Internetverbindung?

Das Problem

Sie sind oft unterwegs, im Zug, auf der Baustelle oder in einem Gebäude mit schlechtem Empfang. Oder Ihr Betrieb will aus Datenschutzgründen, dass bestimmte Rechner nicht mit dem Internet verbunden sind. Trotzdem möchten Sie Texte zusammenfassen, Notizen glätten oder Formulierungen überprüfen lassen.

Die gängigen KI-Dienste funktionieren nur online: Jede Frage geht an ein Rechenzentrum, die Antwort kommt zurück. Ohne Verbindung geht nichts.

Eine lokale KI löst das: Das Sprachmodell liegt als Datei auf Ihrem Gerät und rechnet dort. Sie brauchen das Internet nur einmal, um alles herunterzuladen. Danach können Sie mit der KI arbeiten wie mit einem Textprogramm.

So lösen Sie es mit KI – Schritt für Schritt

1. Gerät prüfen. Reichen Arbeitsspeicher und Speicherplatz? Siehe Voraussetzungen auf dem PC.

1. Programm wählen und installieren. Für Einsteiger eignen sich Werkzeuge wie Ollama oder LM Studio. Laden Sie sie nur von der offiziellen Herstellerseite herunter. Fragen Sie bei Firmengeräten zuerst die IT.

1. Modell mit Internet herunterladen. Solange Sie online sind, laden Sie das gewünschte Modell herunter. Das kann bei grossen Dateien einige Minuten dauern. Siehe Ollama für Einsteiger.

1. Online testen. Stellen Sie zwei, drei Fragen, um zu prüfen, dass alles funktioniert und das Modell vollständig geladen ist.

1. Verbindung trennen. Schalten Sie das WLAN aus oder nutzen Sie den Flugzeugmodus. Starten Sie das Programm neu und stellen Sie dieselben Fragen.

1. Grenzen kennen. Prüfen Sie, welche Funktionen offline wegfallen, zum Beispiel Websuche, Modell-Downloads, Updates oder Cloud-Funktionen. Das Modell selbst arbeitet weiter.

1. Wichtige Modelle vorab laden. Wenn Sie unterwegs mehrere Modelle brauchen, laden Sie diese vorher. Notieren Sie sich die Namen. Siehe Ollama ohne Internet nutzen.

1. Updates planen. Verbinden Sie das Gerät in regelmässigen Abständen, um Programm und Sicherheitskorrekturen zu aktualisieren. Offline-Geräte, die nie Updates erhalten, veralten.

Vorlage zum Kopieren

Mit einer lokalen KI funktionieren Aufträge am besten, wenn Sie Text und Anweisung klar trennen. Das folgende Muster ist für den Offline-Betrieb geeignet:

Du bist ein sorgfältiger Schreibassistent. Du hast keinen Zugriff auf das Internet und kennst keine aktuellen Ereignisse.

Aufgabe: [z. B. Fasse den folgenden Text in fünf Stichpunkten zusammen]
Zielgruppe: [z. B. Geschäftsleitung, Kundschaft]
Ton: [z. B. sachlich, freundlich]
Länge: [z. B. maximal 100 Wörter]

Text:
[Text hier einfügen]

Regeln: Verwende nur Informationen aus dem Text. Wenn etwas fehlt oder unklar ist, schreibe «Angabe fehlt», statt etwas zu erfinden. Schreibe auf Deutsch mit Schweizer Rechtschreibung («ss» statt «ß»).

Ersetzen Sie die Platzhalter. Die Regel «nur Informationen aus dem Text» ist offline besonders wichtig, weil das Modell nichts nachschlagen kann.

Worauf Sie achten müssen

• Veraltetes Wissen: Ein Modell kennt nur, was bis zu seinem Trainingsende bekannt war. Fragen nach Preisen, Gesetzen oder Ereignissen der letzten Zeit beantwortet es nicht verlässlich.
• Fehler und Erfindungen: Offline-Modelle sind oft klein und irren sich häufiger. Prüfen Sie Zahlen, Namen und Zitate.
• Datenschutz: Prüfen Sie in den Einstellungen, dass keine Cloud-Funktionen oder Datenübermittlung aktiv sind. Einige Programme bieten optionale Online-Dienste, die Sie nicht nutzen müssen.
• Gerät sichern: Auf Ihrem Gerät liegen nun Eingaben und womöglich Verläufe. Schützen Sie es mit Passwort und Verschlüsselung, besonders bei Laptops auf Reisen.
• Lizenzen: Prüfen Sie, ob das Modell kommerziell genutzt werden darf. Siehe Modelllizenz prüfen.
• Vertrauliche Daten: Auch lokal gilt eine klare Regel, was verarbeitet werden darf. Siehe vertrauliche Daten.
• Strom: Auf Laptops zieht die Berechnung viel Akku. Planen Sie bei längeren Fahrten ein Ladegerät ein.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Bauleiter eines Tiefbaubetriebs im Wallis arbeitet oft in Gegenden ohne Mobilfunk. Abends schreibt er Tagesberichte und möchte sie sprachlich glätten lassen. Bisher schrieb er sie von Hand und tippte sie später im Büro ab.

Vorher: Berichte entstanden doppelt und mit Zeitverlust. Nachher: Auf seinem Laptop läuft ein kleines Modell, das er im Büro heruntergeladen hat. In der Unterkunft ohne Netz fügt er seine Stichworte ein und erhält einen sauberen Entwurf, den er prüft und anpasst. Namen von Mitarbeitenden und Kundschaft lässt er vorher weg.

So hilft Ihnen Alpasana

Wer lokale KI sicher ausprobieren und einordnen möchte, kann das in einem Kurs üben. Das Angebot KI und IT für konkrete Arbeitsaufgaben von absofort umfasst nach Angebotsbeschreibung unter anderem lokale KI mit Ollama und Open-Source-Modellen sowie Praxisaufgaben, einen KI-Lerncoach und einen verifizierbaren Abschluss.

Häufige Fragen

Kann ich ein lokales Modell auch im Zug nutzen?

Ja, wenn es vorher heruntergeladen wurde und Ihr Laptop genug Leistung und Akku hat. Achten Sie im Zug darauf, dass Mitreisende Ihren Bildschirm nicht mitlesen können, wenn Sie vertrauliche Texte verarbeiten.

Wie kann ich prüfen, dass nichts ins Internet geht?

Am einfachsten testen Sie mit ausgeschaltetem WLAN, ob alles funktioniert. Wer es genauer wissen will, lässt die IT die Netzwerkverbindungen des Programms prüfen. Das Programm sollte Ihre Eingaben nicht versenden, aber verlassen Sie sich nicht allein auf die Beschreibung.

Und wenn ich ein Modell auf einem Rechner ohne jede Verbindung brauche?

Dann laden Sie es auf einem anderen Gerät herunter und übertragen es mit einem Datenträger. Das geht je nach Programm unterschiedlich. Die Anleitung zum Programm erklärt, wo die Modelldateien liegen, und die IT sollte vorher prüfen, dass der Datenträger sicher ist. Siehe Ollama ohne Internet nutzen.