Was braucht ein gemeinsames LLM auf dem Firmenserver?

Das Problem

Eine Kollegin hat KI auf ihrem Laptop ausprobiert, und es hat gut funktioniert. Jetzt möchten alle im Team dasselbe nutzen, aber nicht jeder soll Programme installieren und Modelle herunterladen. Die Idee: Ein gemeinsames Sprachmodell auf einem Server im Büro.

Sie möchten wissen, was nötig ist, damit Ihr ganzes Team dieselbe lokale KI verwenden kann. Das ist ein Schritt von einem Experiment zu einem Betrieb. Die Technik ist machbar, aber sie bringt Fragen mit, die auf einem einzelnen Laptop nicht auftauchen: Wer darf was, wer pflegt es, was passiert bei Ausfall?

Wer das vorab klärt, vermeidet Fehlkäufe und Frust.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie die Aufgaben. Wofür soll das Team die KI nutzen: Texte, Zusammenfassungen, Fragen zu Dokumenten? Je einfacher, desto kleiner darf das Modell sein.

1. Schätzen Sie die Nutzung. Wie viele Personen arbeiten gleichzeitig? Der Server muss auch zu Stosszeiten antworten. Siehe Hardware für gleichzeitige Nutzer.

1. Wählen Sie Modell und Hardware passend. Das Modell bestimmt, wie viel Speicher, vor allem Grafikkartenspeicher, nötig ist. Lassen Sie sich von einem Fachmann beraten und testen Sie vorab mit Ihren Aufgaben.

1. Bieten Sie eine Bedienoberfläche. Mitarbeitende brauchen ein normales Chatfenster im Browser, keine Befehlszeile. Siehe Lokales LLM ohne Befehlszeile bedienen.

1. Regeln Sie Zugriffe. Jede Person meldet sich an, bestenfalls mit dem bestehenden Firmenkonto. Legen Sie fest, wer was darf und wie Austritte behandelt werden.

1. Planen Sie Sicherheit. Server im geschützten Netz, aktuelle Updates, Verschlüsselung, kein offener Zugang aus dem Internet ohne Schutz.

1. Planen Sie Betrieb und Pflege. Wer überwacht, wer macht Updates, wer behebt Störungen? Siehe Betrieb überwachen. Planen Sie auch Backups und eine Ersatzlösung.

1. Starten Sie mit einer Pilotgruppe. Beginnen Sie mit wenigen Personen, sammeln Sie Erfahrungen und passen Sie an, bevor alle dazukommen.

Vorlage zum Kopieren

Mit dieser Vorlage erstellen Sie ein Anforderungsblatt für Ihren IT-Partner:

Du bist Berater für den Betrieb lokaler KI in Schweizer KMU. Erstelle ein einfaches Anforderungsblatt für ein gemeinsames Sprachmodell auf einem Firmenserver. Du erfindest keine Preise und Produktnamen.

Betrieb: [Branche, Anzahl Mitarbeitende]
Geplante Aufgaben: [z. B. Texte entwerfen, Protokolle zusammenfassen]
Erwartete gleichzeitige Nutzer: [Schätzung]
Daten: [z. B. interne Dokumente, Personendaten ja/nein]
Vorhandene IT: [z. B. Windows-Netz, Microsoft 365, externer IT-Partner]

Erstelle:
1. Eine Checkliste der Anforderungen (Hardware, Software, Zugriff, Sicherheit, Betrieb, Backups).
2. Zehn Fragen, die wir unserem IT-Partner stellen sollten.
3. Eine Liste möglicher Risiken und Gegenmassnahmen.
4. Einen Vorschlag für einen Pilot mit drei bis fünf Personen und Kriterien, wann wir erweitern.

Schreibe in einfacher Sprache, ohne unnötige Fachwörter.

Passen Sie die Angaben an und besprechen Sie das Blatt mit Ihrem IT-Partner. Zahlen und Produkte sollen dort aus Fachwissen stammen, nicht aus der KI.

Worauf Sie achten müssen

• Qualität realistisch beurteilen: Auf eigener Hardware laufen oft kleinere Modelle. Testen Sie, ob sie Ihre Aufgaben genügend gut lösen.
• Gleichzeitige Nutzung: Mehrere Personen gleichzeitig verlangen mehr Leistung. Der Server kann sonst spürbar langsamer werden.
• Datenschutz: Auch intern gelten Regeln. Legen Sie fest, welche Daten eingegeben werden dürfen, und informieren Sie Mitarbeitende. Siehe Vertrauliche Daten.
• Sicherheit: Ein ungeschützter Server im Netz ist ein Risiko. Zugriff nur für Berechtigte.
• Abhängigkeit von einer Person: Wenn nur ein Mitarbeiter den Server versteht, entsteht ein Klumpenrisiko. Dokumentieren Sie.
• Strom und Platz: Server mit Grafikkarten brauchen Strom, Kühlung und einen geeigneten Ort. Siehe Strombedarf einordnen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Ingenieurbüro in Aarau mit 15 Mitarbeitenden möchte, dass alle Berichte und E-Mails mit einer lokalen KI entwerfen lassen, ohne Daten in die Cloud zu geben. Ein Mitarbeiter hat das Modell auf seinem Laptop getestet.

Vorher: Drei Kollegen installieren eigene Programme, niemand weiss, welche Daten wo liegen. Nachher: Das Büro beschafft mit seinem IT-Partner einen Server, bietet im Browser ein gemeinsames Chatfenster an, bindet die Anmeldung an das Firmenkonto und startet mit fünf Personen. Die Geschäftsleitung erlässt eine Regel, dass keine Personaldaten eingegeben werden. Nach drei Monaten entscheidet sie über die Ausweitung, gestützt auf Rückmeldungen und Messungen der Antwortzeiten.

So hilft Ihnen Alpasana

Wenn Sie ein gemeinsames Sprachmodell für Ihr Team planen und in Ihre Abläufe einbinden möchten, unterstützt die KI-Beratung und digitale Transformation der Alpasana GmbH. Nach Leistungsbeschreibung gehören dazu die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung, das Konzipieren von Schnittstellen sowie das Dokumentieren der Umsetzung. Projekte werden individuell offeriert.

Häufige Fragen

Reicht ein normaler Büro-PC als Server?

Für kleine Modelle und einzelne Personen kann ein leistungsfähiger PC genügen. Für ein Team mit mehreren gleichzeitigen Nutzern braucht es meist mehr, vor allem Grafikkartenspeicher. Testen Sie mit Ihren Aufgaben und lassen Sie sich beraten.

Kann ich ein lokales Modell auch von zu Hause nutzen?

Technisch ja, über einen geschützten Zugang wie ein VPN. Das erhöht aber den Sicherheitsaufwand. Klären Sie das mit Ihrem IT-Partner, bevor Sie den Zugang öffnen.

Wie viele Personen kann ein Server bedienen?

Das hängt von Modell, Hardware und Einstellungen ab, und lässt sich nicht pauschal beantworten. Messen Sie mit einem Pilot, wie sich die Antwortzeit bei mehreren Nutzern verändert.