Qwen lokal nutzen: Welche Fragen muss ich zuerst klären?

Das Problem

Sie haben gelesen, dass sich Qwen-Modelle selbst betreiben lassen, und überlegen, es im Büro oder auf dem Firmenserver zu versuchen. Mit einem lokalen Modell blieben Ihre Texte im eigenen Haus, und Sie wären nicht von einem Online-Dienst abhängig. Das klingt attraktiv.

Dann folgen die Fragen: Läuft das auf unserem Rechner? Wie gross ist so ein Modell? Welche der vielen Varianten nehme ich? Darf man das geschäftlich nutzen? Wer kümmert sich um Updates? Ohne Antworten kann der Test frustrierend enden, etwa mit einem Rechner, der kaum reagiert, oder mit einem Modell, dessen Lizenz die Nutzung im Betrieb einschränkt.

Diese Checkliste hilft Ihnen, die wichtigsten Punkte vor dem ersten Download zu klären. Modelle, Lizenzen und Hilfsprogramme ändern sich häufig; prüfen Sie den aktuellen Stand beim Anbieter (Stand Oktober 2026).

So lösen Sie es mit KI – Schritt für Schritt

1. Zweck festlegen: Wofür soll das Modell dienen? Texte entwerfen, Dokumente zusammenfassen, Programmcode erklären, Bilder verstehen? Der Zweck bestimmt die Variante, siehe Qwen-Modelle: Chat, Coder und VL.
2. Datenlage bestimmen: Welche Daten sollen verarbeitet werden? Wenn es um vertrauliche Inhalte geht, ist das der Hauptgrund für lokalen Betrieb. Wenn nur öffentliche Texte verarbeitet werden, genügt meist ein Online-Dienst.
3. Hardware erfassen: Notieren Sie Prozessor, Arbeitsspeicher und, falls vorhanden, Grafikkarte samt Grafikspeicher Ihres Rechners. Diese Werte entscheiden, wie gross das Modell sein darf.
4. Modellgrösse wählen: Grössere Modelle brauchen deutlich mehr Speicher und sind langsamer. Beginnen Sie mit einer kleineren Variante. Verkleinerte («quantisierte») Fassungen sparen Speicher auf Kosten einer gewissen Genauigkeit, siehe Quantisierung.
5. Lizenz prüfen: Lesen Sie die Lizenz des gewählten Modells. Prüfen Sie, ob geschäftliche Nutzung erlaubt ist und welche Bedingungen gelten. Bei Unsicherheit fragen Sie eine Rechtsperson.
6. Offizielle Quelle verwenden: Laden Sie Dateien nur von den offiziellen Projektseiten oder von etablierten Plattformen mit überprüfbarer Herkunft. Siehe Modelldateien und Schadcode.
7. Einfaches Hilfsprogramm testen: Programme wie Ollama erleichtern das Starten kleiner Modelle, siehe Ollama oder KI-Modell. Starten Sie auf einem Testrechner, nicht auf dem Produktivsystem.
8. Qualität mit eigenen Beispielen prüfen: Testen Sie mit unkritischen Aufgaben und vergleichen Sie mit einem Online-Dienst.
9. Betrieb planen: Klären Sie, wer Updates einspielt, Zugriffe regelt, Daten sichert und Störungen behebt. Rechnen Sie die Gesamtkosten, siehe Lokale KI kostenlos: Welche Kosten bleiben trotzdem?.

Vorlage zum Kopieren

Wir wollen ein Sprachmodell lokal testen.
Zweck: [Aufgabe]. Daten: [öffentlich / intern / vertraulich].
Rechner: [Prozessor, Arbeitsspeicher in GB, Grafikkarte ja/nein und deren Speicher in GB].
Betriebssystem: [Windows/macOS/Linux]. Wer betreut: [Person/niemand].

Erstelle:
1. eine Checkliste mit 10 Fragen, die wir vor dem Download klären müssen,
2. eine Tabelle «Frage / Antwort / Wer prüft / bis wann»,
3. eine Liste von Risiken lokaler Modelle (Sicherheit, Aktualität, Aufwand).
Erfinde keine Hardware-Anforderungen oder Zahlen zu bestimmten Modellen;
sage, wo ich die Angaben beim Anbieter nachlesen muss.

Ersetzen Sie die Platzhalter. Prüfen Sie die technischen Angaben beim Anbieter und lassen Sie sie von Ihrer IT-Person bestätigen.

Worauf Sie achten müssen

• Hardware reicht oft nicht: Auf einem durchschnittlichen Büro-PC laufen nur kleine Modelle spürbar flüssig. Prüfen Sie das mit einem Test, siehe Welche KI läuft auf einem älteren Laptop?.
• Lizenz je Modell: Zwei Qwen-Modelle können unterschiedliche Lizenzen haben. Verlassen Sie sich nie auf allgemeine Aussagen.
• Herkunft der Dateien: Nur offizielle oder überprüfbare Quellen verwenden. Ungeprüfte Dateien können Schadsoftware enthalten.
• Kein Selbstläufer: Lokale Modelle werden nicht automatisch aktualisiert. Wer Sicherheit und Qualität will, plant Pflege ein.
• Datenschutz bleibt Pflicht: Auch lokal gelten Regeln für Zugriffe, Speicherung und Löschung von Personendaten.
• Qualität: Kleine lokale Modelle erreichen nicht immer die Qualität grosser Online-Dienste. Testen Sie, was Sie brauchen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Notariat in Zug überlegt, juristische Entwürfe mit einem lokalen Modell vorzubereiten, um keine Mandatsdaten an externe Dienste zu geben.

Vorher: Der Notar lässt einen Praktikanten ein beliebiges Modell aus dem Internet herunterladen. Der Rechner reagiert zäh, und niemand weiss, welche Lizenz gilt oder woher die Datei stammt.

Nachher: Die IT klärt die Fragen der Checkliste, wählt eine kleinere Variante von der offiziellen Quelle, liest die Lizenz und testet auf einem separaten Rechner mit erfundenen Beispielfällen. Das Ergebnis eignet sich für Rohentwürfe, nicht für Rechtsberatung. Jeder Entwurf wird von einer Fachperson geprüft, und die Pflege ist einer Person zugewiesen.

So hilft Ihnen Alpasana

Die KI-Kurse für konkrete Arbeitsaufgaben von absofort behandeln laut Angebotsbeschreibung unter anderem lokale KI mit Ollama und Open-Source-Modellen sowie betriebliche KI-Richtlinien. Praxisaufgaben und ein KI-Lerncoach begleiten das Lernen. So können Sie das Vorgehen üben, bevor Sie es im Betrieb einführen.

Häufige Fragen

Wie viel Arbeitsspeicher brauche ich?

Das hängt von Modell und Verkleinerung ab. Es gibt keine allgemeingültige Zahl. Die Angaben des Anbieters und ein Test auf Ihrem Rechner geben Gewissheit.

Läuft ein lokales Qwen ohne Internet?

Nach dem Herunterladen kann ein Modell offline laufen. Zusatzprogramme können aber trotzdem Verbindungen aufbauen. Prüfen Sie das bei der Einrichtung.

Ist lokal günstiger als ein Online-Dienst?

Nicht unbedingt. Hardware, Strom, Einrichtung und Pflege kosten Geld. Rechnen Sie nach, siehe Lokale KI kostenlos: Welche Kosten bleiben trotzdem?.

Kann ich eine lokale Lösung später ausbauen?

Ja, wenn Sie sauber dokumentieren, was installiert ist und warum. Starten Sie klein, sammeln Sie Erfahrung und erweitern Sie schrittweise.