Wie lässt sich llama.cpp als lokaler Modellserver nutzen?

Das Problem

Ihre IT hat ein Sprachmodell als Datei heruntergeladen und möchte, dass eine Anwendung im Betrieb damit arbeitet, etwa ein Chatfenster oder ein Programm, das Texte zusammenfasst. Sie hören den Namen «llama.cpp» und wissen nicht, was das ist und was es leistet.

Sie möchten verstehen, wie ein vorhandenes Modell mit llama.cpp für Anwendungen erreichbar wird. Die Grundidee ist einfach: Ein Modell ist zunächst nur eine grosse Datei. Damit eine Anwendung es nutzen kann, braucht es ein Programm, das die Datei lädt und Anfragen beantwortet. Das ist der Modellserver.

llama.cpp ist ein solches Programm. Es ist bekannt dafür, dass es effizient arbeitet und auch auf normalen Rechnern ohne grosse Grafikkarte läuft. Viele andere Werkzeuge nutzen es im Hintergrund.

Einfach erklärt

llama.cpp ist eine Sammlung von Programmen. Eines davon ist ein Server, den man oft «llama-server» nennt. Er lädt ein Modell, meist im Dateiformat GGUF, und stellt eine Schnittstelle bereit, die Anwendungen über das Netz ansprechen können. Die Schnittstelle ist in der Regel an eine verbreitete Form angelehnt, sodass viele Anwendungen ohne grosse Anpassung damit sprechen können. Siehe Kompatibilität der Schnittstelle prüfen.

Was bedeutet das praktisch? Ihre IT startet das Programm mit einer Angabe, welches Modell geladen werden soll und über welche Adresse und welchen Port es erreichbar ist. Die genaue Syntax ändert sich mit den Versionen, deshalb gilt immer die aktuelle Dokumentation des Projekts. Eine Anwendung schickt dann Fragen an diese Adresse und erhält die Antworten.

Ein Vergleich: Das Modell ist ein Buch, der Server ist die Bibliothekarin, die Fragen an das Buch beantwortet. Die Anwendung ist die Person am Schalter.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie das Ziel. Welche Anwendung soll das Modell nutzen? Ein Chatfenster, eine Automatisierung, ein Programm der Firma?

1. Wählen Sie das Modell. Ein Modell im GGUF-Format, passend zu Hardware und Aufgaben. Siehe Modellgrösse und GGUF-Dateien öffnen.

1. Prüfen Sie die Lizenz. Darf das Modell geschäftlich genutzt werden? Siehe Lizenz prüfen.

1. Starten Sie den Server in einer Testumgebung. Ihre IT folgt der aktuellen Anleitung des Projekts und prüft, ob eine Testfrage beantwortet wird.

1. Binden Sie die Anwendung an. Die Anwendung erhält die Adresse des Servers. Prüfen Sie mit Beispielfragen, ob Formate und Sprache stimmen. Siehe Lokales Modell anbinden.

1. Sichern Sie den Zugang. Der Server darf nur von der Anwendung erreichbar sein, mit Anmeldung davor, wenn mehrere Personen zugreifen. Siehe API-Anmeldung schützen.

1. Richten Sie den automatischen Start ein. Der Server sollte nach einem Neustart von selbst laufen, und Fehler müssen gemeldet werden.

1. Dokumentieren Sie. Welches Modell in welcher Version, welche Einstellungen, welche Adresse, wer ist zuständig.

Vorlage zum Kopieren

Mit dieser Vorlage erstellen Sie ein Einrichtungsblatt für die IT:

Du hilfst mir, einen technischen Auftrag zum Einrichten eines lokalen Modellservers mit llama.cpp zu formulieren. Ich bin keine Technikerin. Du erfindest keine Befehle, Optionen oder Versionsnummern und verweist auf die aktuelle Dokumentation des Projekts.

Betrieb: [Branche, Zweck]
Anwendung, die das Modell nutzen soll: [Beschreibung]
Modell: [Name und Quelle, soweit bekannt]
Hardware: [Server, Arbeitsspeicher, Grafikkarte falls vorhanden]
Nutzende: [Anzahl, gleichzeitig]

Erstelle:
1. Eine Aufgabenbeschreibung mit Ziel, Voraussetzungen und Erfolgskriterien.
2. Eine Checkliste für die Einrichtung (Modell prüfen, Server starten, Testfrage, Anwendung verbinden, Zugriff schützen, Autostart, Überwachung, Dokumentation).
3. Eine Tabelle «Angaben, die die IT aus der Dokumentation ergänzt» (Startparameter, Adresse, Port, Speicherbedarf).
4. Fünf Sicherheitsfragen.
5. Drei Risiken bei ungeschütztem Betrieb.

Ergänzen Sie Ihre Angaben. Die konkreten Parameter wählt Ihre IT anhand der aktuellen Dokumentation.

Worauf Sie achten müssen

• Keine eingebaute Sicherheit annehmen: Ein Modellserver ist oft ohne Anmeldung nutzbar. Setzen Sie Schutz davor.
• Lizenz der Modelle: Nicht jedes Modell darf geschäftlich genutzt werden.
• Herkunft der Dateien: Laden Sie Modelle nur von vertrauenswürdigen Quellen und prüfen Sie die Prüfsumme. Siehe Download-Prüfsumme.
• Leistung: Auf Rechnern ohne passende Grafikkarte kann es langsam sein. Testen Sie mit Ihren Aufgaben.
• Pflege: Das Projekt entwickelt sich schnell. Planen Sie Updates mit Tests ein. Siehe Updates im Betrieb.
• Datenschutz: Auch lokale Server verarbeiten Personendaten, wenn Sie solche eingeben. Regeln Sie Zugriff und Protokolle.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Softwarehaus in Zug möchte eine interne Anwendung zum Zusammenfassen von Supportanfragen mit einem lokalen Modell betreiben. Es soll auf einem vorhandenen Server ohne grosse Grafikkarte laufen.

Vorher: Das Team probiert verschiedene Werkzeuge ohne Plan. Nachher: Die IT entscheidet sich für einen llama.cpp-Server mit einem kleinen GGUF-Modell, testet es mit zwanzig anonymisierten Anfragen und bindet die Anwendung an. Der Server ist nur aus dem Anwendungsnetz erreichbar und startet automatisch. Modell, Version und Einstellungen sind dokumentiert. Nach einem Monat prüft das Team die Qualität der Zusammenfassungen und die Antwortzeiten.

So hilft Ihnen Alpasana

Den sicheren Umgang mit lokaler KI und Open-Source-Modellen üben Sie in den Kursen von absofort. Die Angebote KI und IT für konkrete Arbeitsaufgaben umfassen nach Beschreibung lokale KI mit Ollama und Open-Source-Modellen, No-Code-Automatisierung und KI-Agenten, mit Praxisaufgaben, KI-Lerncoach und verifizierbarem Abschluss.

Häufige Fragen

Ist llama.cpp für Laien geeignet?

Eher nicht. Es richtet sich an IT-Fachleute, die ein Modell als Dienst bereitstellen wollen. Für den Einstieg sind Programme mit grafischer Oberfläche einfacher, siehe Lokales LLM ohne Befehlszeile bedienen.

Braucht llama.cpp eine Grafikkarte?

Nein, es kann auf dem Prozessor laufen, und es kann Grafikkarten nutzen, wenn vorhanden. Die Geschwindigkeit hängt stark von Modell und Hardware ab.

Wie unterscheidet es sich von Ollama?

Ollama bringt viel Komfort mit, etwa einfache Modellverwaltung. llama.cpp ist die zugrundeliegende, flexiblere Technik mit mehr Einstellungen, aber auch mehr Aufwand. Siehe vLLM oder Ollama für einen Vergleich der Betriebsarten.