Wie viel SSD-Speicher brauchen lokale KI-Modelle?

Das Problem

Der Rechner für die lokale KI ist bestellt, nur eine Frage ist offen: Wie gross soll die SSD sein? Frau Müller hat gelesen, dass ein Modell «nur» 5 Gigabyte gross ist, und denkt, 256 Gigabyte reichen locker. Zwei Wochen später ist die Platte voll, und der Rechner meldet «zu wenig Speicherplatz».

Der Grund: Ein Modell kommt selten allein. Wer testet, lädt mehrere Modelle und mehrere Varianten, manche davon deutlich grösser als erwartet. Dazu kommen Programme, Zwischenstände, Dokumente für die Suche, Sicherungen und das Betriebssystem.

Mit einer kurzen Rechnung planen Sie den Platz ein und vermeiden den Fehlkauf. Wichtig ist auch die Art des Speichers, denn sie bestimmt, wie lange das Laden eines Modells dauert.

So lösen Sie es mit KI – Schritt für Schritt

1. Listen Sie die Modelle. Welche Modelle wollen Sie nutzen oder testen, und in welcher Komprimierung? Die Dateigrösse steht auf der Downloadseite. Als grober Anhaltspunkt: kleine Modelle belegen wenige Gigabyte, mittlere um die zehn bis zwanzig, grosse Dutzende Gigabyte.
2. Rechnen Sie mit Vielfachen. Wer drei bis fünf Modelle gleichzeitig vorrätig hält, braucht ein Mehrfaches der Einzelgrösse. Alte Versionen häufen sich schnell an.
3. Addieren Sie Programme und System. Betriebssystem, KI-Programm, eventuell Docker und Werkzeuge brauchen zusätzlich Platz. Planen Sie dafür einen eigenen Posten ein.
4. Rechnen Sie Dokumente und Suchindex ein. Wenn Sie Firmendokumente für einen Wissens-Chatbot verarbeiten, entstehen zusätzliche Daten, die Textstücke und deren Suchindex.
5. Planen Sie Sicherungen ein. Eine Sicherung gehört in der Regel auf ein anderes Medium. Siehe Server sichern. Modelle selbst lassen sich neu laden, aber Konfiguration und eigene Daten nicht.
6. Wählen Sie den Speichertyp. Eine SSD, besonders mit NVMe-Anschluss, lädt Modelle deutlich schneller als eine klassische Festplatte. Für Modelle, die oft gewechselt werden, ist das spürbar.
7. Bestimmen Sie den Speicherort. Programme speichern Modelle standardmässig auf der Systemplatte. Auf Wunsch lässt sich ein anderer Ort einstellen, siehe Speicherort der Ollama-Modelle ändern.
8. Räumen Sie regelmässig auf. Nicht mehr benötigte Modelle löschen, siehe Modell löschen, und den Speicherstand prüfen.

Vorlage zum Kopieren

Mit diesem Auftrag lassen Sie die Planung durchrechnen. Die Dateigrössen entnehmen Sie den Downloadseiten.

Ich möchte den SSD-Speicher für einen lokalen KI-Rechner planen.

Geplante Modelle mit Dateigrösse (in GB): [Liste, z. B. Modell A Q4: 5 GB, Modell B Q5: 9 GB]
Anzahl Varianten, die gleichzeitig vorhanden sein sollen: [Zahl]
Weitere Programme: [z. B. Docker, Vektordatenbank, Office]
Firmendokumente für eine Suche: [ungefähre Menge in GB, falls bekannt]
Sicherungen: [lokal / externes Laufwerk / Netzlaufwerk]

Aufgabe:
1. Erstelle eine Tabelle mit den Posten (Betriebssystem, Programme, Modelle, Dokumente und Suchindex, Reserve, Sicherungen) und rechne die Summe in GB.
2. Empfiehl daraus eine Grösse der SSD und einen Speichertyp, und nenne deine Annahmen.
3. Kennzeichne Schätzungen und gib keine Preise an, die du nicht sicher kennst.
4. Weise auf Punkte hin, die ich vor dem Kauf klären sollte.

Setzen Sie die Summe in Beziehung zu den Angeboten Ihres IT-Partners. Planen Sie mindestens 20 Prozent freien Platz als Reserve ein.

Worauf Sie achten müssen

• Volle Platte bremst: Ist die SSD fast voll, wird das System langsam, und Programme stürzen ab. Lassen Sie Luft.
• SSD-Lebensdauer: Häufiges Schreiben nutzt SSDs ab, aber das Laden von Modellen ist vor allem Lesen. Für typische Büro-Nutzung ist das kein Problem. Bei Dauerbetrieb mit vielen Schreibvorgängen lohnt sich ein Blick auf die Herstellerangaben.
• Sicherung nicht vergessen: Eine einzige Platte ist ein einzelner Ausfallpunkt. Siehe Backup und Wiederherstellung.
• Vertrauliche Daten: Auf der Platte liegen unter Umständen Firmendokumente und Chatverläufe. Verschlüsseln Sie die Platte, und entsorgen Sie alte Datenträger sicher.
• Netzlaufwerke: Modelle von einem Netzlaufwerk zu laden, ist langsamer und fehleranfälliger, siehe Modelle auf dem Netzlaufwerk.
• Wachstum: Neue Modelle werden tendenziell grösser. Planen Sie die Erweiterbarkeit ein.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Treuhandbüro in Frauenfeld richtet einen kleinen Rechner für lokale KI ein. Bestellt wird eine SSD mit 256 Gigabyte, denn «ein Modell hat ja nur ein paar Gigabyte».

Vorher ist die Platte nach drei Wochen voll: fünf Modelle in mehreren Varianten, dazu Dokumente für den Suchindex und ein Programm, das Zwischenstände ablegt. Nachher rechnet die IT neu, ersetzt die SSD durch eine deutlich grössere NVMe-SSD, richtet eine Sicherung auf ein externes Laufwerk ein und führt eine Liste mit den genutzten Modellen. Alte Varianten werden quartalsweise gelöscht. Der Mehrpreis fällt gegenüber dem ersten Fehlkauf gering aus.

So hilft Ihnen Alpasana

Speicherplanung ist ein Baustein der Hardwareauswahl. Die KI-Beratung und digitale Transformation von Alpasana unterstützt dabei, KI-Potenziale zu analysieren, Vorhaben zu priorisieren und einen Umsetzungsplan zu erstellen, damit Technik zum Einsatzzweck passt.

So vermeiden Sie Fehlkäufe und planen Reserven realistisch. Projekte werden individuell offeriert.

Häufige Fragen

Reicht eine normale Festplatte?

Sie funktioniert, aber das Laden dauert viel länger. Für Modelle, die Sie oft wechseln, ist eine SSD deutlich angenehmer.

Kann ich Modelle auf ein externes Laufwerk legen?

Ja, mit einem schnellen Laufwerk ist das möglich. Ein langsames Laufwerk verlängert das Laden. Prüfen Sie, wie Ihr Programm den Speicherort einstellt.

Wie viel Platz soll frei bleiben?

Mindestens ein Fünftel der Kapazität, damit das System stabil bleibt und Programme Platz für Zwischendateien haben.

Muss ich alle Modelle behalten?

Nein. Modelle lassen sich bei Bedarf erneut herunterladen. Notieren Sie sich Name, Variante und Quelle, bevor Sie löschen.