Ein LLM auf mehreren Grafikkarten betreiben: Was beachten?

Das Problem

Im Betrieb liegen zwei ältere Grafikkarten, die nicht mehr gebraucht werden. Frau Müllers IT-Kollege fragt: «Können wir beide zusammen für ein grösseres KI-Modell einsetzen? Dann hätten wir doppelt so viel Speicher.»

Die Idee ist nicht abwegig. Ein KI-Modell muss in den Grafikspeicher passen, damit es schnell läuft. Reicht eine Karte nicht aus, können manche Programme das Modell auf mehrere Karten verteilen.

Allerdings ist es nicht so einfach wie «zwei Karten, doppelte Leistung». Es gibt Voraussetzungen und Grenzen bei Programmen, Hardware und Geschwindigkeit. Wer sie vorab klärt, spart sich Geld und Frust.

So lösen Sie es mit KI – Schritt für Schritt

1. Ermitteln Sie die Ausgangslage. Notieren Sie von jeder Karte Modell, Hersteller und Grafikspeicher. Gleiche Karten sind einfacher zu verwalten als unterschiedliche.
2. Klären Sie das Ziel. Wollen Sie ein grösseres Modell laden, das auf eine Karte nicht passt, oder mehr Geschwindigkeit? Das Erste ist leichter zu erreichen als das Zweite.
3. Prüfen Sie die Software. Viele gängige Programme für lokale KI können Modelle auf mehrere Grafikkarten aufteilen, etwa llama.cpp-basierte Werkzeuge. Lesen Sie in der aktuellen Dokumentation, wie das Programm das macht und für welche Hersteller.
4. Verstehen Sie die Aufteilung. Das Modell wird in Abschnitte geteilt, jede Karte hält einen Teil. Dadurch addiert sich der nutzbare Speicher ungefähr, aber nicht verlustfrei, denn zusätzlich braucht jede Karte Platz für Zwischenspeicher.
5. Prüfen Sie Mainboard und Stromversorgung. Passen beide Karten physisch ins Gehäuse, und hat das Mainboard genug Steckplätze mit ausreichender Anbindung? Reicht das Netzteil für beide Karten bei Volllast? Eine Elektrofachperson oder die IT-Betreuung prüft das.
6. Planen Sie Kühlung und Lärm. Zwei Karten erzeugen mehr Wärme. Siehe Wärme und Lärm.
7. Testen Sie in kleinem Rahmen. Laden Sie ein Modell, das sicher nicht auf eine Karte passt, und prüfen Sie Auslastung und Geschwindigkeit. Siehe Hardware testen.
8. Entscheiden Sie nach Messung. Vergleichen Sie die Lösung mit einer einzelnen grösseren Karte, siehe Grafikspeicher-Bedarf.

Vorlage zum Kopieren

Ich möchte klären, ob wir vorhandene Grafikkarten gemeinsam für ein grösseres KI-Modell nutzen können.

Vorhandene Karten: [Modell, Hersteller, Grafikspeicher je Karte]
Rechner: [Mainboard/Gehäuse/Netzteil-Leistung, soweit bekannt]
Betriebssystem: [Windows / Linux]
Programm: [Ollama / llama.cpp / anderes]
Ziel-Modell: [Name, ungefähre Grösse und gewünschte Komprimierung]

Aufgabe:
1. Erstelle eine Checkliste mit Punkten, die ich vor dem gemeinsamen Betrieb mehrerer Grafikkarten klären muss (Software-Unterstützung, Hersteller und Mischbetrieb, Steckplätze und Anbindung, Netzteil, Gehäuse und Kühlung, Treiber).
2. Erkläre, was bei der Aufteilung des Modells auf mehrere Karten passiert und warum die Geschwindigkeit nicht im gleichen Mass wächst.
3. Nenne Risiken und Warnzeichen, auf die ich beim Test achten soll.
4. Gib keine Messwerte an, die du nicht kennst, und mach keine Annahmen über meine Hardware, die ich nicht genannt habe.

Besprechen Sie die Antworten mit Ihrer IT-Betreuung, bevor Sie Hardware einbauen oder bestellen.

Worauf Sie achten müssen

• Elektrische Sicherheit: Stromversorgung und Gehäuse müssen die Last tragen. Lassen Sie den Aufbau von einer Fachperson ausführen. Pfuscharbeiten können Brand- und Schadenrisiken bergen.
• Lärm und Wärme: Mehr Karten bedeuten mehr Abwärme und Lüfterlärm. Planen Sie den Aufstellort entsprechend.
• Software ändert sich: Unterstützung und Einstellungen verändern sich mit neuen Programmversionen. Lesen Sie die aktuelle Dokumentation.
• Gemischte Karten: Verschiedene Modelle oder Hersteller sind möglich, aber anfälliger für Probleme und oft langsamer. Planen Sie Testzeit ein.
• Kosten: Strom, Netzteil, Gehäuse und Arbeitszeit können die Ersparnis gegenüber einer einzelnen grösseren Karte aufheben.
• Gesamtbild: Manchmal ist ein kleineres, komprimiertes Modell auf einer Karte die einfachere Lösung. Siehe GPU und CPU aufteilen.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Planungsfirma in St. Gallen hat nach einer Rechner-Erneuerung zwei gebrauchte, gleiche Grafikkarten übrig. Die IT möchte ein grösseres Sprachmodell testen, das auf eine Karte nicht passt.

Vorher ist unklar, ob der Rechner beide Karten tragen kann. Nachher prüft die IT-Betreuung Steckplätze, Netzteil und Kühlung und ersetzt das Netzteil durch ein stärkeres. Das Programm verteilt das Modell auf beide Karten, und es lädt. Die Antwortgeschwindigkeit ist brauchbar, aber nicht doppelt so hoch wie bei einer einzelnen Karte. Das Büro nutzt die Lösung für interne Tests, dokumentiert Aufbau und Kosten und prüft, ob eine einzelne grössere Karte langfristig besser wäre.

So hilft Ihnen Alpasana

Bevor Sie Hardware zusammenbauen, lohnt sich die Frage, welcher Nutzen damit erreicht werden soll. Die KI-Beratung und digitale Transformation von Alpasana unterstützt dabei, KI-Potenziale zu analysieren, Vorhaben zu priorisieren und einen Umsetzungsplan zu erstellen.

So entscheiden Sie anhand Ihrer Aufgaben, ob Eigenbau, Kauf oder ein anderer Weg sinnvoll ist. Projekte werden individuell offeriert.

Häufige Fragen

Addiert sich der Grafikspeicher einfach?

Ungefähr, aber nicht vollständig. Jede Karte braucht zusätzlichen Platz für Zwischenspeicher, und die Aufteilung ist nicht immer gleichmässig. Planen Sie Reserve ein.

Müssen die Karten gleich sein?

Nicht zwingend, aber gleiche Karten machen es einfacher. Bei gemischten Karten ist die Einrichtung anspruchsvoller.

Wird es mit zwei Karten doppelt so schnell?

Nein. Meist bringt die Aufteilung vor allem mehr Speicher. Die Geschwindigkeit hängt von Software, Anbindung und Modell ab.

Ist das für ein kleines Büro sinnvoll?

Nur, wenn ohnehin Karten vorhanden sind und eine Fachperson den Aufbau übernimmt. Sonst ist ein Rechner mit einer geeigneten einzelnen Karte oft einfacher.