Wie binden wir ein lokales LLM in unsere Software ein?

Das Problem

Ein Bauunternehmen in Frauenfeld hat eine eigene Branchensoftware für Offerten und Bauprojekte. Frau Müller möchte, dass die Software Texte, etwa Leistungsbeschreibungen oder Projektzusammenfassungen, mit einer KI verbessern kann, und zwar ohne Cloud-Dienst, weil die Projektdaten vertraulich sind. Auf einem Rechner im Büro läuft bereits ein lokales Sprachmodell. Aber wie kommt die Software dort hinein?

Viele denken, man müsse die KI «in die Software einbauen». Das ist nicht nötig. Lokale Modelle laufen als eigener kleiner Dienst und bieten eine Schnittstelle an. Ihre Software schickt einen Auftrag hin, das Modell schickt die Antwort zurück, ähnlich wie bei einem Bestellformular.

Hier sehen Sie die Schritte so, dass Sie sie mit Ihrem IT-Partner planen und überprüfen können.

So lösen Sie es mit KI – Schritt für Schritt

1. Den Modelldienst bereitstellen. Tools wie Ollama oder LM Studio starten einen lokalen Dienst. Bei Ollama lauscht er standardmässig auf dem Port 11434 des eigenen Rechners, bei LM Studio auf Port 1234, sobald der Server gestartet ist. Siehe Ollama oder LM Studio.

1. Prüfen, ob der Dienst antwortet. Rufen Sie die Adresse im Browser oder mit einem Testwerkzeug auf. Kommt eine Antwort, läuft der Dienst. Bei Fehlern: Ollama: Verbindung abgelehnt.

1. Schnittstellentyp klären. Viele lokale Dienste sprechen eine Schnittstelle, die der von OpenAI ähnelt. Damit funktionieren viele fertige Programmteile. Eigenheiten prüfen Sie unter API-Kompatibilität prüfen.

1. Erste Anfrage von Hand senden. Schicken Sie einen kurzen Auftrag, zum Beispiel «Formuliere diesen Satz höflicher», und lesen Sie die Antwort. So wissen Sie, dass das Modell grundsätzlich funktioniert.

1. Die Software anbinden. Ihre Entwicklerin oder Ihr IT-Partner baut in der Software einen Aufruf ein: Adresse des Dienstes, Modellname, Auftrag. Die Antwort wird angezeigt oder weiterverarbeitet.

1. Antworten prüfen lassen. Zeigen Sie die Antwort als Vorschlag, den die Person übernimmt oder verwirft. Wenn die Software die Antwort automatisch weiterverarbeitet, braucht es eine Prüfung der Struktur, siehe KI-Ausgaben prüfen.

1. Fehler und Wartezeiten einplanen. Der Dienst kann ausgelastet, abgestürzt oder langsam sein. Die Software braucht eine Zeitgrenze und eine verständliche Meldung. Siehe Zeitüberschreitung behandeln.

1. Zugang absichern. Der Dienst darf nicht ungeschützt im Netz stehen. Siehe API-Anmeldung schützen.

Vorlage zum Kopieren

Mit diesem Prompt lassen Sie sich eine Anforderungsliste für Ihren IT-Partner erstellen. Schreiben Sie keine Zugangsdaten hinein.

Wir möchten in unsere Software [Name oder Art der Software, z. B. Branchenlösung für Offerten]
ein lokal betriebenes Sprachmodell einbinden. Das Modell läuft mit [Ollama / LM Studio] auf einem
Rechner im Firmennetz. Anwendungsfall: [Anwendungsfall in einem Satz].
Erstelle eine Anforderungsliste für unseren IT-Partner mit: 1. Ablauf einer Anfrage (Schritte),
2. benötigten Angaben (Adresse, Modellname, Zeitgrenze, Textlänge), 3. Fehlerfällen und gewünschtem Verhalten,
4. Sicherheitsanforderungen (Zugang, Netz, Protokollierung ohne unnötige Personendaten),
5. Testfällen (fünf normale, fünf Fehlerfälle), 6. Abnahmekriterien.
Markiere offene Fragen mit [klären]. Schreibe in einfacher Sprache.

Ergänzen Sie Software, Dienst und Anwendungsfall, und besprechen Sie die Liste mit Ihrem IT-Partner.

Worauf Sie achten müssen

• Der Dienst ist nicht automatisch geschützt: Ein lokaler Dienst hat oft keine Anmeldung. Er sollte nur vom Rechner selbst oder aus einem geschützten Netz erreichbar sein und nie direkt aus dem Internet.
• Leistung: Ein Rechner schafft nur wenige gleichzeitige Anfragen. Mehrere Nutzer können Wartezeiten erzeugen. Siehe Gleichzeitige Nutzer und Hardware.
• Datenschutz: Auch lokal verarbeitete Texte können Personendaten enthalten. Klären Sie Zugriffe, Protokolle und Löschfristen.
• Qualität prüfen: Das Modell kann sich irren. Zeigen Sie Ergebnisse als Vorschlag und lassen Sie wichtige Aussagen prüfen.
• Versionen und Updates: Neue Modell- oder Dienstversionen können das Verhalten ändern. Testen Sie vor jedem Update, siehe Updates beim Modellbetrieb.
• Abhängigkeit vom Rechner: Fällt der Rechner aus, steht die Funktion still. Definieren Sie, was die Software dann anzeigt.

Ein Beispiel aus der Praxis

Ein Beispiel: Das Bauunternehmen in Frauenfeld lässt seinen IT-Partner einen Knopf «Text verbessern» in der Offertsoftware einbauen. Er schickt die markierte Leistungsbeschreibung an das lokale Modell im Büro und zeigt den Vorschlag neben dem Originaltext an. Die Sachbearbeiterin übernimmt oder verwirft ihn.

Vorher: Frau Müller formuliert Leistungsbeschreibungen von Hand oder kopiert Texte in ein Cloud-Programm, was wegen der Vertraulichkeit nicht erwünscht ist. Nachher: Der Text bleibt im Firmennetz, der Vorschlag erscheint in einigen Sekunden. Beim Test fällt auf, dass bei langen Texten das Modell abbricht. Der IT-Partner begrenzt die Länge und zeigt in diesem Fall einen Hinweis an.

So hilft Ihnen Alpasana

Wenn Ihre Software ein Sprachmodell anbinden soll, aber die Kapazität fehlt, kann Alpasana unterstützen. Die KI-Beratung und digitale Transformation umfasst das Konzipieren von Schnittstellen, das Verbinden von Systemen, die Entwicklung digitaler Workflows und Automatisierungen sowie die Dokumentation der Umsetzung.

Projekte werden individuell offeriert; der Umfang wird zuerst geklärt.

Häufige Fragen

Muss meine Software dafür umgebaut werden?

Nur an einer Stelle: Sie braucht einen Aufruf des Modelldienstes und eine Anzeige der Antwort. Das übrige System bleibt unverändert. Der Aufwand hängt von der Software ab.

Kann ich auch ein Cloud-Modell mit derselben Schnittstelle nutzen?

Oft ja, wenn beide eine ähnliche Schnittstelle bieten. Datenschutz und Kosten unterscheiden sich aber stark. Vergleich: Lokal oder Cloud.

Wie testen wir, ob die Anbindung zuverlässig ist?

Mit Testfällen für normale Anfragen, lange Texte, leere Eingaben und einen ausgeschalteten Dienst. Ihr IT-Partner sollte die Ergebnisse protokollieren.