KI-Modelle gewichtet vergleichen: Vorlage zur Entscheidung

Das Problem

Sie sollen ein KI-Modell oder einen KI-Dienst für Ihren Betrieb auswählen. Die Leitung fragt: Warum dieses und nicht ein anderes? Sie haben Ihre Eindrücke, aber keine saubere Begründung. Im Gespräch zählt dann oft die lauteste Meinung, nicht die beste Lösung.

Das Problem verschärft sich, wenn mehrere Gesichtspunkte gleichzeitig wichtig sind: Qualität auf Deutsch, Datenschutz, Kosten, Tempo, Benutzerfreundlichkeit, Verwaltung der Zugänge. Ein Modell ist in einem Punkt stark und in einem anderen schwach. Wie gewichtet man das fair?

Die Nutzwertanalyse ist ein einfaches Verfahren, das genau dafür gedacht ist. Sie brauchen dazu keine Software, nur eine Tabelle.

So lösen Sie es mit KI – Schritt für Schritt

1. Entscheidung beschreiben. Halten Sie in einem Satz fest, was entschieden werden soll: «Welches KI-Modell setzen wir im Büro für Texte und Zusammenfassungen ein?»

1. Muss-Kriterien klären. Schreiben Sie auf, was zwingend erfüllt sein muss, etwa Datenschutzanforderungen. Modelle, die das nicht erfüllen, scheiden aus. Siehe Datenschutz bei der Modellauswahl.

1. Bewertungskriterien sammeln. Notieren Sie fünf bis acht Kriterien, zum Beispiel: Qualität auf Deutsch, Richtigkeit, Datenschutz, Kosten, Tempo, Bedienung, Verwaltung der Zugänge, Möglichkeit zum Anbieterwechsel.

1. Kriterien gewichten. Verteilen Sie 100 Punkte auf die Kriterien. Je wichtiger, desto mehr. Besprechen Sie die Gewichte im Team, bevor Sie die Modelle ansehen.

1. Modelle testen und bewerten. Testen Sie die Kandidaten mit eigenen Aufgaben, am besten verdeckt, siehe Blindtest. Vergeben Sie pro Kriterium 1 bis 5 Punkte.

1. Nutzwert berechnen. Multiplizieren Sie Punkte und Gewicht je Kriterium und addieren Sie alles. Das Modell mit der höchsten Summe liegt vorne.

1. Gegenprobe machen. Ändern Sie ein paar Gewichte leicht und prüfen Sie, ob sich die Rangfolge ändert. So sehen Sie, wie stabil das Ergebnis ist.

1. Ergebnis dokumentieren. Legen Sie Tabelle, Annahmen und Datum ab und stellen Sie dem Entscheidungsgremium eine kurze Zusammenfassung vor.

Vorlage zum Kopieren

Diese Vorlage übernehmen Sie in Excel oder Word. Die Zahlen sind Beispiele, die Sie an Ihre Situation anpassen:

Nutzwertanalyse KI-Modell – [Datum]
Kriterium | Gewicht | Modell A (1–5) | A gewichtet | Modell B (1–5) | B gewichtet
Qualität Deutsch (Schweiz) | [25] | [ ] | [Gewicht × Punkte] | [ ] | [ ]
Richtigkeit bei Fakten | [20] | [ ] | [ ] | [ ] | [ ]
Datenschutz und Datenstandort | [20] | [ ] | [ ] | [ ] | [ ]
Kosten pro Monat | [15] | [ ] | [ ] | [ ] | [ ]
Bedienung und Tempo | [10] | [ ] | [ ] | [ ] | [ ]
Zugangsverwaltung, Wechselmöglichkeit | [10] | [ ] | [ ] | [ ] | [ ]
Summe | 100 | | [Summe A] | | [Summe B]
Muss-Kriterien erfüllt? | | [ja/nein] | | [ja/nein] |
Bemerkungen / Risiken: [ ]

Die Gewichte sollen zusammen 100 ergeben. Passen Sie Kriterien und Gewichte an Ihren Betrieb an, bevor Sie die Modelle bewerten.

Worauf Sie achten müssen

• Scheingenauigkeit: Die Summe wirkt exakt, beruht aber auf Schätzungen. Betrachten Sie sehr knappe Ergebnisse als unentschieden und entscheiden Sie dann nach anderen Überlegungen.
• Muss-Kriterien nicht verrechnen: Ein Modell, das den Datenschutz nicht erfüllt, darf nicht durch gute Noten bei Tempo oder Preis ausgeglichen werden.
• Preise ändern sich: Notieren Sie Datum und Quelle der Kosten. Siehe Preise pro Token verstehen.
• Rechtliche Fragen: Bei Datenschutz und Verträgen holen Sie fachliche Beratung ein. Die Tabelle ersetzt keine rechtliche Prüfung.
• Subjektive Punkte: Lassen Sie mehrere Personen bewerten und mitteln Sie die Werte.
• Veralteter Stand: Modelle ändern sich. Überprüfen Sie die Analyse nach grösseren Updates oder spätestens nach einem Jahr.
• Datenschutz beim Testen: Testen Sie nur mit anonymisierten Beispielen.

Ein Beispiel aus der Praxis

Ein Beispiel: Die Leiterin Administration eines Gewerbebetriebs im Kanton Aargau soll der Geschäftsleitung ein KI-Abo für zwölf Personen vorschlagen. Zwei Modelle stehen zur Wahl. Das Team ist uneins.

Vorher: Eine lange Diskussion über Eindrücke. Nachher: Sie legt Muss-Kriterien fest (Datenschutzzusagen des Anbieters, Teamverwaltung). Beide erfüllen sie. Dann verteilt das Team die Gewichte: Qualität auf Deutsch 30, Datenschutz 20, Kosten 20, Bedienung 15, Verwaltung der Zugänge 15. Mit einem Blindtest und einer Preisabfrage bewertet es beide Modelle. Modell B kommt auf eine etwas höhere Summe. Die Gegenprobe mit leicht geänderten Gewichten bestätigt die Reihenfolge. Die Geschäftsleitung entscheidet sich auf Basis der Tabelle und ist froh, die Gründe schriftlich zu haben.

Für die Präsentation vor der Leitung genügt eine Seite: Entscheidungsfrage, Muss-Kriterien, Tabelle mit Gewichten und Summen, Ergebnis der Gegenprobe, bekannte Risiken und Empfehlung. Verzichten Sie auf technische Einzelheiten und nennen Sie lieber, was die Entscheidung für den Alltag bedeutet. So kann auch jemand ohne IT-Kenntnisse den Vorschlag beurteilen und mittragen.

Planen Sie ausserdem einen Termin für die Überprüfung ein, etwa in zwölf Monaten, denn Angebote, Preise und Anforderungen ändern sich. Die Tabelle lässt sich dann mit wenig Aufwand aktualisieren.

So hilft Ihnen Alpasana

Wenn Sie die Auswahl und Einführung eines KI-Modells mit Unterstützung planen möchten, bietet Alpasana KI-Beratung und digitale Transformation an. Laut Beschreibung gehören dazu das Aufnehmen von Prozessen, die Analyse von KI-Potenzialen, das Priorisieren von Vorhaben und ein Umsetzungsplan. Projekte werden individuell offeriert.

Häufige Fragen

Wie viele Kriterien sind sinnvoll?

Fünf bis acht. Mit weniger fehlt Substanz, mit mehr wird die Tabelle unübersichtlich, und einzelne Kriterien verlieren an Gewicht.

Wer soll die Gewichte festlegen?

Die Personen, die den Entscheid verantworten, zusammen mit denen, die das Werkzeug nutzen. Sprechen Sie über die Gewichte, bevor Sie Modelle bewerten.

Was, wenn zwei Modelle fast gleich abschneiden?

Dann ist der Unterschied nicht belastbar. Prüfen Sie weitere Aspekte wie Vertragsbedingungen, Wechselmöglichkeit oder Erfahrung im Team, oder starten Sie mit einem kleinen Pilotversuch.