vLLM oder Ollama: Was zählt beim Betrieb für ein Team?

Das Problem

Ihre IT nennt verschiedene Programme für den Betrieb von Sprachmodellen: Ollama, vLLM, llama.cpp und andere. Jedes hat Fans, und im Internet widersprechen sich die Empfehlungen. Sie brauchen verständliche Entscheidungskriterien, damit Sie bei der Auswahl mitreden und Rückfragen stellen können.

Solche Programme heissen Modellserver oder Inferenzserver. Sie laden ein Sprachmodell und beantworten Anfragen von Chatfenstern und anderen Anwendungen. Sie unterscheiden sich vor allem darin, wie einfach sie sind und wie gut sie viele gleichzeitige Anfragen bewältigen.

Beachten Sie: Dieser Bereich entwickelt sich schnell. Aussagen hier gelten allgemein, Stand Oktober 2026. Lesen Sie vor der Entscheidung die aktuelle Dokumentation der Programme und testen Sie.

Einfach erklärt

Ollama ist bekannt für einfache Installation und Bedienung. Man lädt Modelle mit wenigen Befehlen und kann sie über eine Schnittstelle ansprechen. Es läuft auf verschiedenen Betriebssystemen und eignet sich gut zum Ausprobieren, für Einzelpersonen und kleine Teams.

vLLM ist auf Servern mit Grafikkarten für hohen Durchsatz gedacht, also darauf, möglichst viele Anfragen gleichzeitig effizient zu bearbeiten. Es setzt Verfahren ein, die Anfragen zusammenfassen und den Speicher der Grafikkarte besser nutzen. Dafür ist die Einrichtung anspruchsvoller und es richtet sich an IT-Fachleute.

Ein Vergleich: Ollama ist ein Kombi für den Alltag, schnell gestartet und vielseitig. vLLM ist ein Lastwagen für den Dauereinsatz, leistungsfähig bei grossen Mengen, aber nicht für jede Fahrt der richtige Wagen. Dazu kommt llama.cpp, die Grundlage vieler lokaler Lösungen, siehe llama.cpp als Server.

So lösen Sie es mit KI – Schritt für Schritt

1. Beschreiben Sie Ihren Bedarf. Wie viele Personen, wie viele gleichzeitig, welche Aufgaben, welche Hardware? Siehe Hardware für gleichzeitige Nutzer.

1. Klären Sie die Betreuung. Wer richtet es ein, wer pflegt es? Ein komplexes System ohne Fachperson wird zur Last.

1. Prüfen Sie die Modelle. Nicht jedes Programm unterstützt jedes Modell und jedes Dateiformat. Lassen Sie prüfen, ob Ihr gewähltes Modell läuft.

1. Testen Sie beide mit Ihren Aufgaben. Dieselben zehn Fragen, mehrere Personen gleichzeitig, Zeiten messen. So sehen Sie reale Unterschiede.

1. Beachten Sie Sicherheit. Ein Modellserver hat oft keine eigene Anmeldung. Planen Sie Schutz davor. Siehe API-Anmeldung schützen.

1. Prüfen Sie Updates und Gemeinschaft. Wie oft erscheinen neue Versionen? Wie gut ist die Dokumentation? Wer hilft bei Problemen?

1. Entscheiden Sie schrittweise. Beginnen Sie mit dem einfacheren Werkzeug. Wenn die Last wächst und messbare Engpässe auftreten, prüfen Sie den Wechsel.

Vorlage zum Kopieren

Mit dieser Vorlage bereiten Sie das Gespräch mit Ihrer IT vor:

Du hilfst mir, Entscheidungskriterien für die Wahl eines Modellservers (zum Beispiel Ollama oder vLLM) für ein Team zu ordnen. Ich bin keine Technikerin. Du erfindest keine Messwerte und Funktionen. Bei Unsicherheit schreibst du, dass die aktuelle Dokumentation geprüft werden muss.

Betrieb: [Branche]
Anzahl Nutzende: [gesamt] und gleichzeitig: [Schätzung]
Aufgaben: [z. B. Fragen zu Dokumenten, Texte entwerfen]
Hardware: [z. B. ein Server mit einer Grafikkarte mit X GB Speicher / noch offen]
IT-Betreuung: [intern / extern / keine]

Erstelle:
1. Eine Entscheidungstabelle mit Kriterien (Nutzerzahl, Betreuung, Hardware, Modelle, Sicherheit, Wachstum) und einer Empfehlung für unseren Fall.
2. Zehn Fragen an unsere IT, die wir vor der Entscheidung klären sollten.
3. Einen Testplan für zwei Programme mit identischen Aufgaben.
4. Eine Liste von Annahmen, die wir in der aktuellen Dokumentation prüfen müssen.

Setzen Sie Ihre Angaben ein. Die Empfehlung ist eine Diskussionsgrundlage, die Ihre IT mit aktuellen Unterlagen prüft.

Worauf Sie achten müssen

• Rasante Entwicklung: Funktionen und Empfehlungen ändern sich häufig. Vergleichen Sie mit der aktuellen Dokumentation.
• Nicht nach Schlagworten wählen: «Schneller» heisst nicht automatisch «besser für uns». Entscheidend ist Ihr Einsatz.
• Fachwissen berücksichtigen: Ein leistungsfähiges, aber komplexes System braucht Pflege, Überwachung und Wissen.
• Sicherheit: Beide Werkzeuge brauchen Schutz im Netz. Siehe Netzwerkzugriffe begrenzen.
• Lizenz: Prüfen Sie die Lizenzen der Programme und Modelle für den geschäftlichen Einsatz.
• Umstieg einplanen: Wenn Anwendungen die Schnittstelle gemeinsam nutzen, ist ein späterer Wechsel einfacher. Fragen Sie nach Kompatibilität.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Rechtsschutz-Beratungsstelle in Bern plant einen internen KI-Dienst für zwölf Personen. Der IT-Berater schwankt zwischen Ollama und vLLM.

Vorher: Er hat gelesen, vLLM sei «viel schneller», und will es einsetzen. Nachher: Die Stelle klärt mit den Kriterien, dass höchstens drei Personen gleichzeitig fragen und niemand Zeit für aufwendige Pflege hat. Der Berater testet beide Programme mit zwanzig echten, nicht vertraulichen Fragen und sieht bei dieser Last kaum Unterschiede. Die Wahl fällt auf das einfachere Werkzeug. Für den Fall wachsender Nutzung vereinbart die Stelle, nach einem Jahr neu zu prüfen.

So hilft Ihnen Alpasana

Wenn Sie die Wahl und den Betrieb eines Modellservers planen und in Ihre Systeme einbinden möchten, unterstützt die KI-Beratung und digitale Transformation der Alpasana GmbH. Nach Leistungsbeschreibung gehören dazu das Analysieren von KI-Potenzialen, die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie das Dokumentieren der Umsetzung. Projekte werden individuell offeriert.

Häufige Fragen

Kann ich mit Ollama anfangen und später zu vLLM wechseln?

Oft ja, besonders wenn Ihre Anwendungen eine gängige Schnittstelle nutzen. Lassen Sie das vorab prüfen und halten Sie Konfiguration und Tests dokumentiert, damit ein Wechsel planbar bleibt.

Läuft vLLM auch ohne Grafikkarte?

Es ist in erster Linie für Grafikkarten gedacht. Ob und wie es ohne läuft, steht in der aktuellen Dokumentation. Für Umgebungen ohne Grafikkarte sind andere Lösungen meist besser geeignet.

Was ist mit LM Studio?

Es ist eher eine Anwendung für einzelne Personen mit grafischer Oberfläche. Siehe Ollama oder LM Studio. Für Teams mit Server-Betrieb sind andere Lösungen gängiger.