Welche Voraussetzungen braucht ein lokales LLM auf dem PC?

Das Problem

Sie haben von lokaler KI gehört: einem Sprachmodell, das auf Ihrem eigenen Computer läuft, ohne dass Ihre Texte das Haus verlassen. Das klingt attraktiv. Nun fragen Sie sich, ob Ihr vorhandener PC dafür reicht, oder ob Sie zuerst Geld für neue Technik ausgeben müssen.

Im Internet finden Sie dazu widersprüchliche Angaben: Einige sprechen von teuren Spezialrechnern, andere sagen, es laufe auf jedem Laptop. Beides kann stimmen, denn es hängt vom Modell ab. Ein kleines Modell läuft auf einem normalen Büro-PC, ein grosses braucht ein Vielfaches an Speicher.

Mit einer kurzen Prüfung finden Sie in zehn Minuten heraus, wo Ihr Gerät steht. Dazu brauchen Sie keine IT-Kenntnisse.

So lösen Sie es mit KI – Schritt für Schritt

1. Betriebssystem feststellen. Windows, macOS oder Linux? Aktuelle Versionen werden von gängigen Werkzeugen wie Ollama unterstützt. Die genauen Mindestversionen stehen auf der Herstellerseite, siehe Quellen.

1. Arbeitsspeicher (RAM) prüfen. Unter Windows: Rechtsklick auf die Startschaltfläche, «System», dann «Installierter RAM». Auf dem Mac: Apple-Menü, «Über diesen Mac». Der Arbeitsspeicher ist das Kurzzeitgedächtnis des Computers, das Modell wird beim Arbeiten dort hineingeladen.

1. Freien Speicherplatz prüfen. Ein Modell ist eine grosse Datei. Kleine Modelle sind einige Gigabyte (GB) gross, grössere deutlich mehr. Rechnen Sie mit mindestens 10 bis 20 GB frei für den Anfang.

1. Prozessor und Grafikkarte nachsehen. Unter Windows hilft der Task-Manager, Reiter «Leistung». Dort sehen Sie CPU (Hauptprozessor) und GPU (Grafikprozessor). Eine moderne Grafikkarte mit viel eigenem Speicher beschleunigt die Antworten stark. Bei Apple-Geräten mit eigenem Chip teilen sich CPU und GPU den Arbeitsspeicher.

1. Modellgrösse zum Gerät wählen. Eine Faustregel: Das Modell muss in den Arbeitsspeicher passen, mit etwas Reserve für das Betriebssystem. Kleine Modelle mit wenigen Milliarden Parametern laufen oft schon mit 8 bis 16 GB. Die Herstellerseiten nennen Richtwerte.

1. Mit einem kleinen Modell beginnen. Probieren Sie zuerst das kleinste sinnvolle Modell. Läuft es flüssig, können Sie ein grösseres testen.

1. Ergebnis festhalten. Notieren Sie Gerät, Modell, Wartezeit und Qualität. Siehe Einstieg-Checkliste.

1. Erst dann Anschaffung erwägen. Wenn der Test zeigt, dass Sie mehr brauchen, planen Sie gezielt. Siehe Hardware auswählen.

Vorlage zum Kopieren

Ich möchte prüfen, ob mein Computer für eine lokale KI (Sprachmodell) reicht. Hilf mir, die Angaben richtig zu deuten. Du gibst Richtwerte, keine Garantien.

Betriebssystem: [Windows / macOS / Linux, Version]
Arbeitsspeicher (RAM): [z. B. 16 GB]
Freier Speicherplatz: [z. B. 120 GB]
Prozessor: [Name oder Typ]
Grafikkarte: [Name und eigener Speicher, oder «keine/integriert»]
Aufgabe: [z. B. Texte zusammenfassen, E-Mails entwerfen]

Erstelle:
1. Eine Einschätzung in einfachen Worten: Was ist mit diesem Gerät realistisch?
2. Eine Tabelle: Modellgrösse (klein, mittel, gross), mögliche Erwartung bei Tempo, Hinweis zum Speicherbedarf.
3. Drei Fragen, die ich vor einer Anschaffung klären sollte.

Wenn du etwas nicht sicher weisst, sage es und verweise auf die Herstellerseite.

Tragen Sie die Werte Ihres Geräts ein. Die KI gibt Orientierung, die Herstellerangaben haben Vorrang.

Worauf Sie achten müssen

• Richtwerte sind keine Garantien: Tempo und Platzbedarf hängen von Modell, Einstellungen und Gerät ab. Testen Sie selbst.
• Parallel laufende Programme: Browser mit vielen Tabs und andere Programme brauchen Arbeitsspeicher. Schliessen Sie sie für den Test.
• Akku und Lärm: Auf Laptops steigen Stromverbrauch und Lüfterlärm bei längerer Nutzung.
• Qualität kleiner Modelle: Kleine Modelle machen mehr Fehler und formulieren oft einfacher. Prüfen Sie Ergebnisse, besonders bei Fakten und Zahlen.
• Datenschutz: Lokal heisst, dass die Anfragen Ihr Gerät nicht verlassen, wenn das Programm so eingestellt ist. Prüfen Sie, ob Ihre Software Daten übermittelt, etwa bei Updates oder Zusatzfunktionen.
• Herkunft der Modelle: Laden Sie Modelle nur aus bekannten Quellen herunter und beachten Sie die Lizenzen. Siehe Modelllizenz prüfen.
• Firmen-PCs: Auf Geräten mit Verwaltung durch die IT dürfen Sie Programme meist nicht selbst installieren. Fragen Sie vorher.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Leiterin einer Schreinerei in Burgdorf möchte ausprobieren, ob eine lokale KI ihr beim Verfassen von Offertentexten helfen kann. Ihr Büro-PC ist vier Jahre alt, hat 16 GB Arbeitsspeicher, keine Zusatz-Grafikkarte und genug freien Platz.

Vorher: Sie wollte schon einen neuen Rechner bestellen. Nachher: Sie probiert zuerst ein kleines Modell. Es antwortet etwas langsam, aber brauchbar bei kurzen Texten. Sie beschliesst, einen Monat zu testen und erst dann über Hardware zu entscheiden. So spart sie zunächst die Anschaffung.

So hilft Ihnen Alpasana

Wer lokale KI praktisch ausprobieren möchte, findet bei absofort Kurse zu konkreten Arbeitsaufgaben. Das Angebot KI und IT für konkrete Arbeitsaufgaben umfasst nach Angebotsbeschreibung unter anderem lokale KI mit Ollama und Open-Source-Modellen sowie KI-Lerncoach, Praxisaufgaben und einen verifizierbaren Abschluss.

Häufige Fragen

Brauche ich zwingend eine Grafikkarte?

Nein. Kleine Modelle laufen auch auf dem Hauptprozessor, nur langsamer. Mehr dazu unter Lokales LLM ohne Grafikkarte.

Kann ich ein lokales Modell auf dem Firmenlaptop testen?

Nur wenn Ihre IT es erlaubt. Auf verwalteten Geräten ist das Installieren von Programmen oft gesperrt. Fragen Sie vorher, damit keine Sicherheitsregeln verletzt werden.

Wie viel Speicherplatz braucht ein einzelnes Modell?

Das ist sehr unterschiedlich: von wenigen bis zu vielen Gigabyte. Die Grösse steht bei jedem Modell auf der Herstellerseite. Planen Sie lieber Reserve ein, denn beim Ausprobieren sammeln sich schnell mehrere Modelle an.