Wie viel Grafikspeicher braucht mein KI-Modell?

Das Problem

Grafikkarten sind der teuerste Einzelposten, wenn Sie KI im Haus betreiben möchten. Preise und Speichergrössen unterscheiden sich stark, und die Verkaufsseiten sprechen von «Gigabyte VRAM», «Bandbreite» und «Tensor-Kernen». Gleichzeitig verlangt die IT eine Entscheidung vor dem Kauf.

VRAM heisst «Video-Arbeitsspeicher», der Speicher direkt auf der Grafikkarte. Dort muss das Modell liegen, damit die Grafikkarte schnell damit rechnen kann. Zu wenig VRAM ist der häufigste Grund für Enttäuschungen: Das Modell läuft, aber zäh.

Hier lernen Sie, den Bedarf zu schätzen, bevor Sie Geld ausgeben.

So lösen Sie es mit KI – Schritt für Schritt

1. Anwendung beschreiben. Notieren Sie, wofür die KI gebraucht wird: kurze Fragen, Zusammenfassungen langer Dokumente, mehrere Nutzende gleichzeitig. Das bestimmt Modellgrösse und Kontext.

1. Modell und Variante festlegen. Wählen Sie ein Modell, das Ihre Aufgabe gut löst, und die Variante (Quantisierung), die Sie einsetzen möchten. Die Dateigrösse steht auf der Modellseite.

1. Dateigrösse als Basis. Die Modelldatei muss in der Regel ganz in den VRAM passen, wenn Sie volle Geschwindigkeit möchten. Beispiel mit angenommenen Zahlen: Eine 4-Bit-Datei von rund 5 GB passt auf eine Karte mit 8 GB, aber nur mit wenig Reserve.

1. Kontextspeicher addieren. Der Kontextspeicher wächst mit der Länge von Text und Gespräch und mit der Zahl gleichzeitiger Anfragen. Planen Sie dafür mehrere GB ein, wenn Sie lange Dokumente verarbeiten. Siehe Kontextlänge und Speicher.

1. Reserve einrechnen. Treiber, Anzeige und Rechenhilfen brauchen ebenfalls Speicher. Planen Sie rund ein bis zwei GB Puffer oder etwa 10 bis 20 Prozent ein.

1. Gesamtbedarf mit KI berechnen. Nutzen Sie die Vorlage unten. Lassen Sie drei Szenarien rechnen: knapp, komfortabel, grosszügig.

1. Vor dem Kauf testen. Mieten Sie stundenweise eine Cloud-Karte mit gleichem Speicher oder fragen Sie in Ihrem Netzwerk nach einem Testrechner. Messen Sie den Speicherbedarf Ihres Modells im Betrieb, zum Beispiel mit dem Befehl «nvidia-smi» bei NVIDIA-Karten. Hinweis zu Mietserver und Datenschutz bei GPU-Server mieten oder kaufen.

1. Entscheiden und festhalten. Notieren Sie Modell, Variante, Kontext, Messwert und gewählte Karte. So lässt sich später nachvollziehen, warum Sie sich so entschieden haben.

Vorlage zum Kopieren

Du bist ein erfahrener IT-Berater für lokale KI. Ich plane den Kauf einer Grafikkarte und möchte den Grafikspeicher (VRAM) abschätzen. Zeige die Rechnung und kennzeichne Annahmen.

Modell und Variante: [z. B. 14B-Modell, 4-Bit]
Dateigrösse laut Download-Seite: [GB]
Typische Eingabelänge: [z. B. 6000 Wörter]
Gleichzeitige Nutzende: [Anzahl]
Karten in der engeren Wahl: [Name und VRAM, z. B. 16 GB und 24 GB]

Aufgabe:
1. Rechne Grundlast, Kontextspeicher und Reserve getrennt und nenne eine Bandbreite für den Gesamtbedarf.
2. Beurteile jede Karte: passt ganz / passt knapp / passt nicht.
3. Sage, was passiert, wenn das Modell nicht ganz in den VRAM passt.
4. Nenne drei Fragen, die ich vor dem Kauf klären sollte (Software-Unterstützung, Netzteil, Gehäuse).
Regeln: Erfinde keine Preise und keine Messwerte. Sage klar, wo ich selbst messen oder nachlesen muss.

Tragen Sie die Karten ein, die Sie vergleichen. Bitten Sie die KI ausdrücklich, ihre Rechnung offenzulegen, damit Sie sie nachprüfen können.

Passt es oder passt es nicht?

Worauf Sie achten müssen

• Schätzung, keine Garantie: Ihre Zahlen sind Richtwerte. Prüfen Sie beim Hersteller der Software, was empfohlen wird, und messen Sie selbst.
• Software-Unterstützung prüfen: Nicht jede Karte wird von jedem Programm gleich gut genutzt. Siehe NVIDIA oder AMD.
• Gebrauchte Karten: Sie können günstig sein, tragen aber ein Risiko bei Garantie und Zustand. Siehe Gebrauchte GPU prüfen.
• Nebenkosten bedenken: Starke Karten brauchen ein kräftiges Netzteil, Platz im Gehäuse und Kühlung. Das kann den Gesamtpreis erhöhen.
• Vertrauliche Daten: Bei Tests mit Mietkarten in der Cloud gelten Datenschutzregeln. Nutzen Sie Testdaten ohne Personenbezug.
• Mehr VRAM ist nicht immer besser: Für kleine Aufgaben reicht oft ein kleineres Modell auf einer günstigeren Karte.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Geschäftsleiterin eines Ingenieurbüros in Baden, Frau Weber, 56, möchte Berichte lokal prüfen lassen. Die IT schlägt zwei Karten vor, eine mit 12 und eine mit 24 GB. Vorher: Sie weiss nicht, wofür der Preisunterschied steht, und hat Angst, die falsche Karte zu bestellen.

Mit der Vorlage rechnet sie ein 14B-Modell in 4-Bit mit langen Berichten durch. Ergebnis: Die kleine Karte reicht für das Modell, aber nicht für lange Kontexte, die grosse hat Reserve. Nachher: Sie startet mit einem Mietversuch, misst den tatsächlichen Verbrauch und entscheidet sich mit Zahlen statt aus dem Bauch.

So hilft Ihnen Alpasana

Bevor Sie Hardware kaufen, lohnt sich die Frage nach dem Nutzen. Alpasana bietet dafür KI-Beratung und digitale Transformation an: Prozesse aufnehmen, KI-Potenziale analysieren, Vorhaben priorisieren und einen Umsetzungsplan erstellen. Damit wird klar, welche Aufgaben ein lokales Modell lösen soll und wie viel Leistung Sie dafür brauchen.

Eine Hardwarebeschaffung oder ein Belastungstest für bestimmte Karten ist nicht beschrieben. Projekte werden individuell offeriert.

Häufige Fragen

Was ist der Unterschied zwischen RAM und VRAM?

RAM ist der Arbeitsspeicher des gesamten Rechners, VRAM sitzt auf der Grafikkarte. Modelle laufen am schnellsten im VRAM. Wie viel normaler Speicher nötig ist, zeigt Arbeitsspeicher berechnen.

Kann ich zwei Karten kombinieren?

Je nach Software ist das möglich, aber nicht immer einfach und nicht immer effizient. Für den Einstieg ist eine einzelne ausreichend grosse Karte meist einfacher.

Reicht eine Karte mit 8 GB?

Für kleine Modelle in 4-Bit-Fassung und kurze Texte oft ja. Für grössere Modelle oder lange Dokumente wird es knapp. Entscheidend ist Ihre konkrete Aufgabe, nicht der Kartenname.