NVIDIA oder AMD: Was ist beim KI-Betrieb zu prüfen?

Das Problem

Auf dem Papier sehen manche Grafikkarten von AMD günstiger aus als gleich schnelle Karten von NVIDIA. Im Internet lesen Sie aber auch, dass KI-Software «auf NVIDIA besser läuft». Ihr Informatiker sagt: «Kommt drauf an.» Das ist ehrlich, hilft Ihnen aber bei der Bestellung nicht weiter.

Der Kern: KI-Programme nutzen die Grafikkarte nicht direkt, sondern über Software-Schichten des Herstellers. Bei NVIDIA heisst sie CUDA, bei AMD ROCm. Ob Ihr Programm eine bestimmte Karte damit ansprechen kann, hängt von der Karte, dem Treiber, dem Betriebssystem und der Programmversion ab.

Wer das vor dem Kauf prüft, vermeidet eine teure Karte, die zwar im Rechner steckt, aber von der KI-Software nicht genutzt wird.

So lösen Sie es mit KI – Schritt für Schritt

1. Software festlegen. Notieren Sie, welches Programm Sie einsetzen wollen, zum Beispiel Ollama, LM Studio oder einen Server der IT. Die Unterstützung unterscheidet sich je Programm.

1. Betriebssystem klären. Windows, Linux oder macOS? Die Unterstützung für AMD-Karten ist je nach Betriebssystem unterschiedlich gut. Fragen Sie Ihre IT, was bei Ihnen vorgesehen ist.

1. Unterstützungsliste lesen. Die Hersteller der Programme führen Listen der unterstützten Karten und Treiberversionen. Für Ollama steht sie im Dokument zur GPU-Unterstützung im Projekt auf GitHub. Prüfen Sie, ob Ihre Wunschkarte genannt ist.

1. Karte und Version abgleichen. Notieren Sie genaue Typenbezeichnung, Speichergrösse und Treiberversion. Kleine Unterschiede in der Kartengeneration können entscheiden, ob Ihr Programm sie nutzt.

1. Speicher vor Rechenleistung stellen. Für KI ist der Grafikspeicher oft wichtiger als die reine Geschwindigkeit. Siehe Grafikspeicher-Bedarf.

1. Mit KI Fragenliste erstellen. Die Vorlage unten hilft, eine Prüfliste für den Händler oder die IT zu schreiben. Prüfen Sie jede Antwort in der Herstellerdokumentation.

1. Vor dem Kauf testen. Wenn möglich, probieren Sie die Karte bei einem Bekannten, im Fachhandel oder in einer stundenweise gemieteten Umgebung aus. Rückgabebedingungen klären.

1. Nach dem Einbau prüfen. Starten Sie das Programm und kontrollieren Sie, ob die Karte genutzt wird. Falls nicht, hilft Ollama erkennt die GPU nicht.

Vorlage zum Kopieren

Du bist ein erfahrener IT-Berater. Ich plane den Kauf einer Grafikkarte für lokale KI-Modelle und möchte eine Prüfliste, damit die Karte mit meiner Software zusammenarbeitet. Gib keine Zusagen zu Kompatibilität, die ich nicht selbst belegen kann.

KI-Software: [z. B. Ollama, LM Studio]
Betriebssystem: [Windows / Linux / macOS, Version]
Karten in der engeren Wahl: [Hersteller, Modell, Speicher]
Weitere Hardware: [Prozessor, Netzteil in Watt, Gehäuse]
Einsatz: [z. B. Zusammenfassungen, mehrere Nutzende]

Erstelle:
1. Eine Tabelle mit den Punkten, die ich je Karte prüfen muss (Unterstützung durch die Software, Treiber, Betriebssystem, Speicher, Stromanschlüsse).
2. Zehn konkrete Fragen an Händler oder IT.
3. Eine Liste mit Quellen, in denen ich die Antworten selbst nachlesen kann (Dokumentation der Software und der Hersteller).
Regeln: Erfinde keine Kompatibilitätsaussagen. Schreibe «bitte in der Dokumentation prüfen», wenn du unsicher bist.

Die Antwort ist eine Checkliste, kein Kaufentscheid. Gleichen Sie sie mit der Herstellerdokumentation ab.

Gegenüberstellung

Worauf Sie achten müssen

• Stand ändert sich: Unterstützungslisten werden regelmässig ergänzt. Verwenden Sie die aktuelle Fassung der Herstellerseite, nicht Foren von vor zwei Jahren.
• Angaben der KI nicht blind glauben: Eine KI kann Kartenmodelle verwechseln oder veraltete Informationen nennen. Prüfen Sie in der offiziellen Dokumentation.
• Treiber und Updates: Eine funktionierende Kombination kann nach einem Treiber- oder Systemupdate ausfallen. Planen Sie Updates bewusst und halten Sie einen Rückweg bereit.
• Gesamtbetrieb bedenken: Stromverbrauch, Abwärme und Lärm gehören zur Entscheidung. Siehe Abwärme und Lärm.
• Andere Wege kennen: Es gibt auch Rechner mit gemeinsamem Speicher oder Lösungen ganz ohne Grafikkarte, die für kleine Modelle reichen können.
• Herstellerabhängigkeit: Wer sich auf eine Plattform festlegt, bindet sich an deren Software und Preise. Das ist kein Fehler, aber eine bewusste Entscheidung.

Ein Beispiel aus der Praxis

Ein Beispiel: Herr Rüegg, 54, leitet das Büro eines Planungsbüros in Wil SG. Der IT-Partner schlägt eine AMD-Karte vor, weil sie bei gleichem Speicher günstiger ist. Vorher: Herr Rüegg ist unsicher und fürchtet, dass die Software nicht richtig läuft.

Mit der Prüfliste fragt er beim IT-Partner nach der Unterstützungsliste und dem geplanten Betriebssystem. Dabei zeigt sich, dass die vorgesehene Kartenvariante für das gewählte Programm auf Linux belegt ist, auf Windows aber nicht. Nachher: Das Büro entscheidet sich entweder für Linux auf dem Testrechner oder für eine andere Karte und prüft vor dem Kauf nach, was die Dokumentation zusagt.

So hilft Ihnen Alpasana

Wenn die Hardwarefrage Teil einer grösseren Entscheidung ist, hilft Alpasana mit KI-Beratung und digitale Transformation. Beschrieben sind die Aufnahme von Prozessen, die Analyse von KI-Potenzialen, die Priorisierung von Vorhaben und ein Umsetzungsplan sowie das Konzipieren von Schnittstellen und das Verbinden von Systemen.

Damit lässt sich zuerst klären, welche Aufgaben das lokale Modell übernimmt und wie es in Ihre Abläufe passt. Eine Prüfung konkreter Grafikkarten oder deren Beschaffung ist nicht beschrieben.

Häufige Fragen

Läuft KI auch ohne Grafikkarte?

Ja, kleinere Modelle laufen auf dem Prozessor, allerdings langsamer. Für den Einstieg ist das oft ausreichend. Mehr dazu bei LLM ohne Grafikkarte.

Sind Karten für Spiele auch für KI geeignet?

Ja, viele Spielkarten funktionieren. Wichtig sind genug Grafikspeicher und die Unterstützung durch Ihre Software. Spezialkarten für Rechenzentren sind für kleine Betriebe meist nicht nötig.

Was, wenn die Karte nach dem Kauf nicht erkannt wird?

Prüfen Sie zuerst den Treiber und die Programmversion. Eine Anleitung steht bei GPU-Treiber für KI einrichten. Klären Sie vorab die Rückgabebedingungen.