Docker erkennt die GPU nicht: Was muss die IT prüfen?

Das Problem

Ihre IT hat die lokale KI in einem Container eingerichtet. Ein Container ist wie eine verpackte Anwendung mit allem, was sie braucht, getrennt vom Rest des Servers. Docker ist das bekannteste Werkzeug dafür. Auf dem Server selbst funktioniert die Grafikkarte, aber die KI im Container läuft nur auf dem Prozessor und ist dadurch sehr langsam.

Sie sehen, dass die KI im Container die Grafikkarte nicht erkennt, und brauchen eine klare Fehlerbeschreibung für Ihre IT. Oft liegt das Problem nicht an der KI, sondern an einer fehlenden Verbindung zwischen Container und Grafikkarte.

Als Nicht-Technikerin müssen Sie den Fehler nicht selbst beheben. Aber Sie können ihn so beschreiben, dass Ihre IT in wenigen Minuten weiss, wo sie suchen soll.

So lösen Sie es mit KI – Schritt für Schritt

1. Prüfen Sie, ob die Grafikkarte auf dem Server selbst funktioniert. Ihre IT öffnet auf dem Server das Werkzeug des Herstellers zur Anzeige der Grafikkarte. Bei NVIDIA-Karten ist das üblicherweise «nvidia-smi». Wird die Karte dort nicht angezeigt, liegt das Problem beim Treiber, nicht bei Docker. Siehe GPU-Treiber einrichten.

1. Prüfen Sie die Vorbereitung für Container. Damit Container Grafikkarten nutzen können, braucht es bei NVIDIA eine zusätzliche Komponente, das «NVIDIA Container Toolkit». Ob sie installiert und eingerichtet ist, prüft die IT anhand der Herstellerdokumentation.

1. Prüfen Sie den Start des Containers. Der Container muss ausdrücklich Zugriff auf die Grafikkarte erhalten, zum Beispiel über eine Startoption oder einen Eintrag in der Konfigurationsdatei. Fehlt dieser, sieht der Container keine Karte.

1. Testen Sie die Grafikkarte im Container. Die IT startet einen einfachen Test-Container mit Zugriff und lässt die Anzeige der Grafikkarte ausführen. Wird sie dort angezeigt, funktioniert die Verbindung.

1. Prüfen Sie Version und Kompatibilität. Treiber, Container-Umgebung und KI-Anwendung müssen zueinander passen. Die Dokumentation der KI-Anwendung nennt Voraussetzungen.

1. Beachten Sie andere Hersteller. Bei AMD-Grafikkarten oder anderen Systemen gelten andere Schritte. Fragen Sie Ihre IT nach der passenden Anleitung.

1. Lesen Sie die Protokolle. Die Startmeldungen der KI-Anwendung zeigen oft, ob eine Grafikkarte erkannt wurde oder auf den Prozessor ausgewichen wird. Siehe Ollama erkennt die GPU nicht.

1. Dokumentieren Sie die Lösung. Notieren Sie, was gefehlt hat und wie es behoben wurde, damit ein Neustart oder Umzug nicht erneut Zeit kostet.

Vorlage zum Kopieren

Mit dieser Vorlage entsteht eine Fehlerbeschreibung für Ihre IT:

Du hilfst mir, einen technischen Fehler so zu beschreiben, dass eine IT-Fachperson ihn schnell eingrenzen kann. Ich bin keine Technikerin. Du erfindest keine Messwerte und Befehle, die ich nicht genannt habe.

Beobachtung: [z. B. Die KI im Container läuft nur auf dem Prozessor, die Grafikkarte wird nicht genutzt]
Wo bemerkt: [Datum, Uhrzeit, Anwendung]
Server und Betriebssystem: [soweit bekannt]
Grafikkarte: [Modell, soweit bekannt]
Funktioniert die Grafikkarte auf dem Server ausserhalb des Containers: [ja / nein / weiss nicht]
Was wurde zuletzt geändert: [z. B. Neustart, Update, neuer Container]
Fehlermeldungen: [Text hier einfügen, ohne Passwörter und Zugangsdaten]

Erstelle:
1. Eine sachliche Fehlerbeschreibung in fünf bis acht Sätzen für ein Ticket.
2. Eine Liste der fünf wahrscheinlichsten Prüfpunkte, in sinnvoller Reihenfolge, als Fragen an die IT formuliert.
3. Eine Liste der Angaben, die noch fehlen.

Gib keine Garantien. Wenn du etwas nicht sicher weisst, schreibe es ausdrücklich.

Ergänzen Sie Ihre Beobachtungen. Entfernen Sie vor dem Einfügen Passwörter, Schlüssel und Kundendaten aus den Fehlermeldungen.

Worauf Sie achten müssen

• Keine Geheimnisse weitergeben: Fügen Sie Fehlermeldungen nur ohne Passwörter, Schlüssel und Kundendaten in KI-Programme ein.
• Änderungen am Server: Eingriffe in Treiber und Container gehören in die Hände der IT. Eine falsche Änderung kann den Betrieb stören.
• Sicherung: Vor Änderungen am Server sollte eine Sicherung vorhanden sein. Siehe Datensicherung eines KI-Servers.
• Nicht raten: Anleitungen aus dem Internet passen nicht immer zu Ihrer Version. Verlassen Sie sich auf die Dokumentation der Hersteller.
• Leistung beobachten: Läuft die KI nur auf dem Prozessor, ist sie oft stark verlangsamt. Das Team merkt es sofort.
• Nach dem Neustart prüfen: Manche Probleme treten erst nach einem Neustart auf. Testen Sie danach erneut.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Ingenieurbüro in Aarau betreibt eine lokale KI in einem Container. Nach einem Update des Servers antwortet die KI plötzlich sehr langsam.

Vorher: Die Assistentin meldet «Die KI ist kaputt», und die IT sucht zwei Stunden ohne Anhaltspunkt. Nachher: Mit der Vorlage beschreibt sie den Fehler genauer: «Seit dem Server-Update läuft die KI nur noch auf dem Prozessor, die Grafikkarte funktionierte davor». Die IT prüft zuerst die Grafikkarte auf dem Server und findet nach dem Update einen nicht mehr passenden Treiber. Nach dessen Korrektur und einem Test im Container läuft die KI wieder schnell.

So hilft Ihnen Alpasana

Wenn Betrieb und Fehlersuche einer lokalen KI-Umgebung geplant, dokumentiert und begleitet werden sollen, unterstützt die KI-Beratung und digitale Transformation der Alpasana GmbH. Nach Leistungsbeschreibung gehören dazu die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung sowie das Dokumentieren der Umsetzung. Projekte werden individuell offeriert.

Häufige Fragen

Heisst das, die Grafikkarte ist defekt?

Nicht unbedingt. Meist liegt es an Einstellungen zwischen Container und Karte. Funktioniert die Karte auf dem Server ausserhalb des Containers, ist sie in der Regel in Ordnung.

Läuft die KI ohne Grafikkarte überhaupt?

Ja, kleine Modelle laufen auch auf dem Prozessor, aber meist deutlich langsamer. Für Teams, die schnelle Antworten erwarten, ist die Grafikkarte wichtig.

Muss ich das als Anwenderin selbst beheben?

Nein. Ihre Aufgabe ist eine gute Beschreibung. Die Behebung ist Sache der IT oder des Dienstleisters. Prüfen Sie nach der Behebung, ob die Antwortzeit wieder normal ist.