Wie viel Arbeitsspeicher braucht ein lokales LLM?

Das Problem

Sie möchten ein Sprachmodell auf einem Rechner im Betrieb laufen lassen. Die IT sagt: «Das hängt vom Arbeitsspeicher ab.» Auf den Modellseiten stehen Angaben wie «8B», «70B» oder «Q4», aber kein Hinweis, wie viel Gigabyte (GB) Ihr Rechner haben muss.

Bleibt die Rechnung aus, drohen zwei Fehler. Der Rechner ist zu knapp bemessen, das Modell startet nicht oder arbeitet quälend langsam. Oder man kauft vorsorglich eine viel zu grosse Maschine und gibt unnötig Geld aus.

Mit einer einfachen Faustregel lässt sich der Bedarf in wenigen Minuten schätzen, bevor Sie etwas kaufen oder herunterladen.

So lösen Sie es mit KI – Schritt für Schritt

1. Parameterzahl notieren. Der Name des Modells nennt meist die Zahl der Parameter, also der gelernten Werte: «8B» heisst 8 Milliarden. Siehe Was die Parameterzahl aussagt.

1. Genauigkeit klären. Modelle gibt es in unterschiedlicher «Quantisierung», also Rundung der Werte. Volle Genauigkeit (16 Bit) braucht 2 Byte pro Parameter, 8 Bit etwa 1 Byte, 4 Bit etwa ein halbes Byte. Die genaue Dateigrösse steht auf der Download-Seite.

1. Dateigrösse als Basis nehmen. Am einfachsten lesen Sie die Grösse der Modelldatei ab. Sie ist die Grundlast im Speicher. Beispiel für ein Rechenbeispiel mit angenommenen Zahlen: Ein Modell mit 8 Milliarden Parametern in 4 Bit liegt in der Grössenordnung von 5 GB.

1. Kontextspeicher dazurechnen. Je länger das Gespräch oder das Dokument, desto mehr Speicher braucht das Modell zusätzlich, den sogenannten «KV-Cache». Bei kurzen Chats ist das wenig, bei langen Dokumenten kann es mehrere GB ausmachen. Siehe Kontextlänge und Speicher.

1. Reserve einplanen. Das Betriebssystem und andere Programme brauchen Platz. Rechnen Sie als Faustregel rund 20 bis 30 Prozent Aufschlag auf Modell und Kontext und lassen Sie dem System mindestens einige GB frei.

1. Mit KI nachrechnen. Verwenden Sie die Vorlage unten und lassen Sie die Rechnung als Tabelle ausgeben. Vergleichen Sie das Ergebnis mit der Angabe Ihres Programms.

1. Praxis messen. Laden Sie das Modell und beobachten Sie im Task-Manager (Windows) oder in der Aktivitätsanzeige (Mac) den Speicher während einer langen Anfrage. Notieren Sie den Höchstwert.

1. Entscheiden. Passt der Bedarf mit Reserve in den Speicher, ist der Rechner geeignet. Wenn nicht, wählen Sie ein kleineres Modell oder eine stärkere Quantisierung, bevor Sie Hardware kaufen.

Vorlage zum Kopieren

Du bist ein erfahrener IT-Berater für lokale KI-Modelle. Hilf mir, den Arbeitsspeicherbedarf abzuschätzen. Gib Richtwerte, keine Garantien, und zeige deine Rechnung.

Modell: [Name, z. B. 8B-Modell]
Dateigrösse der gewählten Variante: [z. B. 5 GB]
Gewünschte Kontextlänge: [z. B. 8000 Tokens, oder «Dokumente bis 20 Seiten»]
Rechner: [Arbeitsspeicher in GB, Betriebssystem, Grafikkarte mit Speicher oder «keine»]
Gleichzeitige Nutzende: [Anzahl]

Aufgabe:
1. Schätze Grundlast, Kontextspeicher und Reserve und gib eine Gesamtsumme als Bandbreite (von–bis).
2. Sage, ob es auf dem angegebenen Rechner voraussichtlich reicht, und was passiert, wenn es zu knapp ist.
3. Nenne zwei Alternativen (kleineres Modell, andere Quantisierung).
Regeln: Kennzeichne Annahmen als Annahmen. Erfinde keine Messwerte. Weise darauf hin, dass ich im Programm nachmessen muss.

Ersetzen Sie die Platzhalter durch Ihre Werte. Mehrere gleichzeitige Nutzende erhöhen den Bedarf, deshalb gehört diese Angabe dazu.

Faustregeln im Überblick

Die Werte sind gerundet. Die Datei auf der Download-Seite ist die verlässlichere Zahl.

Worauf Sie achten müssen

• Nur Richtwerte: Die Rechnung ist eine Schätzung. Unterschiedliche Programme gehen unterschiedlich mit Speicher um.
• Grafikkarte und Arbeitsspeicher unterscheiden: Läuft das Modell auf der Grafikkarte, zählt deren Speicher. Siehe Grafikspeicher-Bedarf. Bei Rechnern mit gemeinsamem Speicher teilen sich Prozessor und Grafik denselben Bereich.
• Auslagern bremst: Wenn der Speicher nicht reicht, lagert das System Teile auf die Festplatte aus. Das Modell läuft dann sehr langsam.
• Mehrere Nutzende: Jede gleichzeitige Anfrage braucht eigenen Kontextspeicher. Planen Sie bei einem gemeinsamen Rechner entsprechend mehr ein.
• Qualität prüfen: Stärkere Verkleinerung spart Speicher, kann aber die Antwortqualität senken. Testen Sie mit eigenen Beispielen.
• Datenschutz: Auch für Tests gilt: keine echten Kundendaten, solange der Einsatz nicht freigegeben ist.

Ein Beispiel aus der Praxis

Ein Beispiel: Herr Zbinden, 58, leitet die Verwaltung eines Gemeindewerks im Emmental. Der Gemeinderat möchte Protokolle lokal zusammenfassen lassen. Vorher: Er hat einen Büro-PC mit 16 GB und weiss nicht, ob ein 8B-Modell läuft oder ob er einen Server braucht.

Mit der Vorlage kommt er auf rund 5 GB Modell, ein bis zwei GB Kontext bei Protokollen und genug Reserve. Nachher: Er testet auf dem vorhandenen PC, misst im Task-Manager einen Spitzenwert von knapp 9 GB und spart sich zunächst die Anschaffung. Bei längeren Dokumenten würde er ein grösseres Modell prüfen.

So hilft Ihnen Alpasana

Wenn Sie klären möchten, welche Aufgaben im Betrieb sich für lokale KI eignen und wie ein sinnvoller Umsetzungsplan aussieht, bietet Alpasana KI-Beratung und digitale Transformation an. Beschrieben sind die Analyse von KI-Potenzialen, die Priorisierung von Vorhaben, ein Umsetzungsplan sowie die Integration von KI-Agenten mit Pilot und Einsatzregeln.

So wird die Hardwarefrage von der Aufgabe aus beantwortet, nicht umgekehrt. Eine Hardwareberatung im engeren Sinn oder eine Beschaffung ist dort nicht beschrieben.

Häufige Fragen

Was ist mit «16 GB RAM» bei einem Apple-Rechner?

Bei Apple-Chips teilen sich Prozessor und Grafik denselben Speicher. Das Modell kann dadurch einen grossen Teil davon nutzen, doch das System braucht ebenfalls Platz. Mehr dazu bei Apple Unified Memory.

Reicht mehr Arbeitsspeicher, um schnellere Antworten zu bekommen?

Nicht unbedingt. Mehr Speicher erlaubt grössere Modelle, aber die Geschwindigkeit hängt vor allem von Prozessor, Grafikkarte und Speicherbandbreite ab. Ein kleines Modell kann schneller und für Ihre Aufgabe gut genug sein.

Was bedeutet Kontextlänge für meinen Bedarf?

Sie legt fest, wie viel Text das Modell auf einmal «im Kopf behalten» kann. Je mehr, desto mehr Speicher. Für kurze Fragen reicht ein kleiner Kontext, für ganze Berichte brauchen Sie mehr.