Lokales LLM per Chatoberfläche bedienen

Das Problem

Wer über lokale KI liest, stösst schnell auf schwarze Fenster mit weisser Schrift und Befehlen wie «ollama run». Für Menschen, die täglich mit Word und E-Mail arbeiten, ist das abschreckend. Sie möchten lokale KI über ein normales Chatfenster bedienen können, so wie Sie es von bekannten KI-Websites kennen.

Die gute Nachricht: Das geht. Die Befehlszeile (englisch «Terminal» oder «Konsole») ist nur eine Möglichkeit, ein Programm zu steuern. Für die meisten Programme zum lokalen Betrieb von Sprachmodellen gibt es Oberflächen, die wie ein Chat aussehen.

Es gibt dabei zwei Grundtypen. Die eine ist eine Anwendung, die Sie auf dem Rechner installieren. Die andere ist eine Seite, die Sie im Webbrowser öffnen, auch wenn das Modell auf einem anderen Gerät im Büro läuft.

Einfach erklärt

Stellen Sie sich das Sprachmodell als Motor vor und die Oberfläche als Armaturenbrett. Ohne Armaturenbrett müssten Sie mit Werkzeug am Motor hantieren. Mit Armaturenbrett lenken Sie bequem.

Drei Wege sind verbreitet. Namen und Funktionen ändern sich mit der Zeit, deshalb gilt «Stand Oktober 2026» und immer die Angaben der Hersteller:

• Programm mit eigener Oberfläche für den Computer: Sie installieren es wie jedes Programm, laden ein Modell herunter und chatten im Fenster. Beispiele sind LM Studio oder die Oberfläche, die manche Werkzeuge selbst mitbringen. Gut für Einzelpersonen.
• Weboberfläche im Browser: Ein Programm auf dem Rechner oder Server zeigt Ihnen eine Seite im Browser, die einem Chatfenster gleicht. Ein Beispiel ist Open WebUI. Gut für Teams, weil mehrere Personen über denselben Server arbeiten. Mehr unter Browser-Oberfläche für lokale KI.
• Anbindung an bestehende Programme: Manche Werkzeuge verbinden ein lokales Modell mit Ihrer Textverarbeitung oder Ihrem Wissen. Das ist anspruchsvoller und eher etwas für die IT.

Ein Beispiel: Eine Sekretärin in einer Gemeinde in Küsnacht installiert ein Programm mit grafischer Oberfläche, wählt ein kleines Modell aus einer Liste und stellt ihre erste Frage im Chatfenster. Die Befehlszeile hat sie nie gesehen.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie, wer arbeiten soll. Eine Person oder das ganze Team? Das bestimmt den Typ.

1. Wählen Sie ein Programm. Für den Anfang genügt eine Anwendung mit Oberfläche. Siehe Ollama oder LM Studio.

1. Laden Sie das Programm nur von der Seite des Herstellers. Prüfen Sie die Adresse sorgfältig. Fälschungen sind bei beliebter Software verbreitet.

1. Wählen Sie ein kleines Modell. Für erste Tests reicht ein kleineres Modell, das auf einem normalen Rechner läuft.

1. Stellen Sie testweise Fragen. Geben Sie keine vertraulichen Daten ein, bis Sie wissen, wo die Daten bleiben.

1. Richten Sie für Teams eine Browser-Oberfläche ein. Das macht Ihre IT. Siehe Open WebUI mit Ollama verbinden.

Vorlage zum Kopieren

Mit dieser Vorlage lassen Sie sich die Auswahl für Ihren Fall vorbereiten:

Du bist Berater für den Einstieg in lokale KI und sprichst mit einer Person ohne IT-Kenntnisse. Hilf mir, eine Bedienoberfläche für ein lokales Sprachmodell zu wählen. Nenne keine Versionsnummern, die du nicht sicher kennst.

Wer nutzt es: [eine Person / Team von X Personen]
Computer: [Windows / Mac / Linux, ungefähr Arbeitsspeicher, falls bekannt]
Aufgaben: [z. B. Texte entwerfen, Fragen zu Dokumenten]
Vertraulichkeit der Daten: [normal / hoch]
IT-Unterstützung vorhanden: [ja/nein]

Erstelle:
1. Eine Empfehlung, ob eine Anwendung für den Computer oder eine Browser-Oberfläche besser passt, mit Begründung in einfachen Worten.
2. Eine Anleitung in sechs Schritten für den Einstieg.
3. Fünf Punkte zur Sicherheit.
4. Drei Fragen, die ich vor der Installation klären muss.

Prüfen Sie die Angaben mit der Dokumentation des gewählten Programms, weil sich Menüs und Namen ändern.

Worauf Sie achten müssen

• Quelle der Software: Laden Sie Programme ausschliesslich von der Herstellerseite herunter.
• Datenschutz: Lokal heisst nicht automatisch geschützt. Prüfen Sie, ob die Software Daten an den Hersteller sendet, etwa für Nutzungsstatistiken oder Aktualisierungen.
• Leistung: Auf einem normalen Büro-PC antworten kleine Modelle oft langsam und weniger genau. Setzen Sie Erwartungen realistisch.
• Browser-Oberfläche absichern: Wer sie im Netz anbietet, braucht Anmeldung und Schutz. Siehe KI auf dem Firmenserver.
• Antworten prüfen: Auch lokale Modelle erfinden Dinge. Kontrollieren Sie Zahlen und Fakten.
• Aktualisieren: Software und Modelle brauchen Pflege. Planen Sie dafür eine Person ein.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Architekturbüro in Chur möchte Protokolle und Mails mit lokaler KI entwerfen. Der Büroleiter befürchtet, dass er dafür Befehle lernen muss.

Vorher: Er hat zwei Anleitungen ausgedruckt und gibt auf. Nachher: Ein Informatiker installiert ein Programm mit Chatfenster auf dem Rechner der Assistentin, lädt ein kleines Modell herunter und erklärt ihr in zehn Minuten die Bedienung. Sie nutzt es für Entwürfe und hat nie ein Terminal geöffnet. Später richtet das Büro für alle eine Browser-Oberfläche auf einem Server ein.

So hilft Ihnen Alpasana

Den sicheren Einstieg in lokale KI üben Sie in den Kursen von absofort. Die Angebote KI und IT für konkrete Arbeitsaufgaben umfassen nach Beschreibung lokale KI mit Ollama und Open-Source-Modellen sowie betriebliche KI-Richtlinien, mit Praxisaufgaben, KI-Lerncoach und verifizierbarem Abschluss.

Häufige Fragen

Muss ich je die Befehlszeile benutzen?

Für den normalen Gebrauch nicht. Bei der Einrichtung oder Fehlersuche kann sie nötig sein. Dafür genügt oft die Hilfe Ihrer IT-Betreuung.

Welche Oberfläche ist die beste?

Das hängt von Ihrem Einsatz ab. Einzelpersonen kommen mit einer Anwendung am schnellsten voran, Teams profitieren von einer Browser-Oberfläche mit Anmeldung. Testen Sie zwei Varianten mit einer Aufgabe aus Ihrem Alltag.

Sind lokale Oberflächen kostenlos?

Viele sind kostenlos nutzbar, andere haben Bezahlfunktionen. Prüfen Sie Lizenz und Bedingungen auf der Herstellerseite, besonders bei geschäftlicher Nutzung.