Welche Modellgrösse passt zu unserem lokalen Chatbot?

Das Problem

Bei lokalen Sprachmodellen steht dort «7B», «13B», «70B». Die Zahlen werden gross und die Dateien noch grösser. Sie verstehen nicht, ob ein grösseres Modell für Ihre einfachen Aufgaben nötig ist, und möchten kein Geld für Hardware ausgeben, die Sie nie auslasten.

Das «B» steht für Milliarden Parameter. Das sind die Einstellwerte im Innern des Modells, vereinfacht gesagt sein «Gedächtnis». Mehr Parameter bedeuten meist mehr Fähigkeiten, aber auch mehr Speicherbedarf und langsamere Antworten auf gleicher Hardware.

Entscheidend ist, was Sie brauchen. Wer Mails umformuliert, braucht kein Modell, das Doktorarbeiten schreibt. Wer komplizierte Verträge vergleicht, kann an kleinen Modellen scheitern.

Einfach erklärt

Ein Vergleich: Ein Kleinwagen bringt Sie zuverlässig zur Arbeit und braucht wenig Platz und Benzin. Ein Lastwagen kann mehr transportieren, ist aber teuer und passt nicht in jede Garage. Wählen Sie das Fahrzeug nach der Aufgabe.

Als grobe Orientierung gilt, ohne Gewähr und mit laufenden Änderungen am Markt:

• Kleine Modelle (ein paar Milliarden Parameter): schnell, laufen auf normalen Rechnern, gut für Umformulieren, kurze Zusammenfassungen, einfache Fragen. Sie machen eher Fehler bei Fachwissen und langen Gedankengängen.
• Mittlere Modelle: brauchen eine gute Grafikkarte oder viel Arbeitsspeicher, sind deutlich fähiger bei Texten und Zusammenhängen.
• Grosse Modelle: brauchen Server mit viel Grafikkartenspeicher. Sie sind stark bei komplexen Aufgaben, aber für Büroalltag oft überdimensioniert.

Eine Faustregel für den Speicherbedarf: Ein stark komprimiertes Modell braucht grob ein halbes Gigabyte pro Milliarde Parameter, dazu kommt Platz für das Gespräch. Genaueres steht unter Grafikkartenspeicher-Bedarf. Die Komprimierung erklärt Quantisierung.

So lösen Sie es mit KI – Schritt für Schritt

1. Sammeln Sie echte Aufgaben. Notieren Sie zehn typische Aufträge, die das Modell lösen soll, mit Beispieltexten ohne vertrauliche Daten.

1. Wählen Sie zwei bis drei Modelle. Ein kleines, ein mittleres, eventuell ein grösseres. Lassen Sie sich von Ihrer IT beraten, welche für Deutsch geeignet sind.

1. Testen Sie alle mit denselben Aufgaben. Bewerten Sie Antworten nach Richtigkeit, Verständlichkeit und Sprache. Siehe Eigene Aufgaben vergleichen.

1. Messen Sie die Geschwindigkeit. Notieren Sie, wie lange die Antwort braucht. Eine gute Antwort nach zwei Minuten ist im Alltag oft unbrauchbar.

1. Prüfen Sie die Hardwareanforderung. Passt das Modell in den vorhandenen Speicher? Wenn nicht, was würde die Aufrüstung kosten?

1. Entscheiden Sie mit Reserve. Wählen Sie nicht knapp, damit auch mehrere Nutzer und lange Gespräche möglich sind.

Vorlage zum Kopieren

Mit dieser Vorlage erstellen Sie einen Testplan:

Du hilfst mir, die Modellgrösse für einen lokalen Chatbot zu wählen. Ich bin kein Techniker. Du erfindest keine Messwerte und keine Modellnamen, die du nicht sicher kennst.

Betrieb: [Branche, Grösse]
Aufgaben: [Liste von fünf bis zehn typischen Aufgaben]
Vorhandene Hardware: [z. B. Büro-PC mit 16 GB Arbeitsspeicher, keine Grafikkarte / Server mit Grafikkarte, Speicher X GB]
Anzahl gleichzeitiger Nutzer: [Schätzung]

Erstelle:
1. Einen Testplan mit zehn Testaufgaben aus unserem Alltag (mit Platzhaltern für unsere Beispieltexte) und Bewertungskriterien.
2. Eine Tabelle zum Vergleichen von zwei bis drei Modellgrössen (Genauigkeit, Sprache, Tempo, Speicherbedarf, Ergebnis).
3. Drei Fragen, die wir unserem IT-Partner zur Hardware stellen sollten.
4. Eine Entscheidungsregel, ab wann ein kleineres Modell genügt.

Führen Sie die Tests selbst mit Ihren echten, nicht vertraulichen Beispielen durch und notieren Sie die Ergebnisse.

Worauf Sie achten müssen

• Zahlen sind keine Qualität: Ein grösseres Modell ist nicht immer besser, besonders bei Deutsch und bei Ihren Spezialthemen. Testen Sie.
• Komprimierung verändert Qualität: Stark komprimierte Modelle sind kleiner, können aber ungenauer sein.
• Antworten prüfen: Auch grosse Modelle erfinden Fakten. Kontrollieren Sie wichtige Aussagen.
• Kosten für Hardware: Mehr Parameter bedeuten meist teurere Hardware und mehr Strom. Siehe Strombedarf einordnen.
• Entwicklung beobachten: Kleine Modelle werden schnell besser. Was heute nicht reicht, kann in einem Jahr genügen.
• Lizenz: Prüfen Sie, ob das Modell für geschäftliche Zwecke genutzt werden darf. Siehe Lizenz prüfen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Treuhandbüro in Schwyz möchte Merkblätter intern abfragen und Mails umformulieren. Der IT-Anbieter empfiehlt ein sehr grosses Modell mit teurem Server.

Vorher: Die Anschaffung wird geplant, ohne zu testen. Nachher: Das Büro testet mit zehn echten Aufgaben ein kleines und ein mittleres Modell. Das mittlere liefert beim Beantworten von Fragen zu den Merkblättern deutlich bessere Antworten, das kleine genügt für Mailentwürfe. Das Büro wählt das mittlere Modell mit einem Server mittlerer Grösse und spart die grosse Investition. Es plant einen Test nach einem Jahr, wenn neue Modelle verfügbar sind.

So hilft Ihnen Alpasana

Bei der Auswahl von Modell und Hardware für Ihre Aufgaben unterstützt die KI-Beratung und digitale Transformation der Alpasana GmbH. Nach Leistungsbeschreibung gehören dazu das Analysieren von KI-Potenzialen, das Priorisieren von Vorhaben und die Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung. Projekte werden individuell offeriert.

Häufige Fragen

Reicht ein kleines Modell für Deutsch?

Für einfache Aufgaben oft ja, aber die Qualität schwankt je nach Modell. Testen Sie mit Ihren Texten, achten Sie auf Rechtschreibung und Schweizer Gepflogenheiten.

Kann ich später auf ein grösseres Modell wechseln?

Meist ja, wenn die Hardware reicht. Planen Sie bei der Anschaffung etwas Reserve ein, damit ein Wechsel nicht sofort neue Geräte verlangt.

Wie erkenne ich, dass ein Modell zu klein ist?

Warnzeichen sind häufige Fehler bei Fakten, Ausweichen bei komplexen Fragen und unlogische Antworten. Wenn dieselben Aufgaben mit einem grösseren Modell deutlich besser gelingen, lohnt sich der Wechsel.