KI-Modelle mit eigenen Büroaufgaben vergleichen: Vorlage

Das Problem

Ihr Betrieb möchte ein KI-Modell auswählen. Im Netz finden Sie Ranglisten, Testberichte und Empfehlungen, aber nichts davon beruht auf Ihrer Arbeit. Sie brauchen eine Möglichkeit, mehrere Modelle mit Ihren eigenen Aufgaben zu vergleichen, ohne dass daraus ein Grossprojekt wird.

Das Problem vieler Eigentests ist fehlende Struktur. Man probiert etwas aus, hat einen Eindruck und entscheidet nach Bauchgefühl. Dabei bekommt jedes Modell andere Aufträge, es gibt keine Vorgaben für ein gutes Ergebnis, und gerade das zuletzt getestete Modell erscheint besser, weil man es am besten in Erinnerung hat.

Eine gute Vorlage löst das mit wenigen Elementen: feste Aufgaben, vorher definierte Qualitätskriterien, ein einfaches Bewertungsschema und eine kurze Auswertung. Diese Seite liefert sie. Sie ist bewusst auf Büroaufgaben ausgerichtet (Stand Oktober 2026). Eine allgemeinere Version finden Sie unter KI-Modelle selbst vergleichen: Vorlage für einen fairen Test.

So lösen Sie es mit KI – Schritt für Schritt

1. Ziel und Kandidaten festlegen. Wofür soll das Modell eingesetzt werden, und welche zwei bis vier Modelle wollen Sie vergleichen? Prüfen Sie vorab Zugang und Datenschutz.

1. Aufgaben auswählen. Wählen Sie fünf bis acht typische Aufgaben, zum Beispiel: Kundenmail beantworten, Text zusammenfassen, Protokoll aus Notizen, Tabelle erklären, Text in einfache Sprache umschreiben. Mischen Sie leichte und schwierigere.

1. Testmaterial vorbereiten. Verwenden Sie erfundene oder öffentliche Texte, keine Kundendaten. Es soll realistisch sein, aber unbedenklich.

1. Musterlösung oder Kriterien festlegen. Schreiben Sie vorab auf, woran Sie ein gutes Ergebnis erkennen: richtige Fakten, passender Ton, Länge, Schweizer Schreibweise, keine erfundenen Angaben.

1. Einheitliche Aufträge formulieren. Verwenden Sie für jedes Modell denselben Wortlaut, am besten per Kopieren und Einfügen.

1. Aufträge durchführen und Antworten speichern. Starten Sie bei jedem Modell mit einem neuen Gespräch. Speichern Sie Antworten ohne Modellnamen, etwa als Antwort A, B, C.

1. Blind bewerten. Bewerten Sie jede Antwort nach dem Schema unten. Besser noch: Zwei Personen bewerten unabhängig, danach vergleichen Sie.

1. Fakten nachprüfen. Kontrollieren Sie Zahlen, Quellen und Behauptungen im Original. Eine schöne Antwort ist nicht automatisch richtig.

1. Auswerten und entscheiden. Rechnen Sie die Punkte zusammen, ergänzen Sie Kosten, Datenschutz und Bedienung und halten Sie den Entscheid mit Begründung fest.

1. Test wiederholen. Wiederholen Sie ihn bei neuen Versionen oder nach einigen Monaten.

Vorlage zum Kopieren

Testaufgaben (Beispiele, bitte anpassen):

Aufgabe 1 (Kundenmail): Beantworte die folgende Anfrage freundlich in maximal 100 Wörtern. Anrede «Sie», Schweizer Rechtschreibung. Erfinde keine Preise oder Termine.
Anfrage: [erfundene Anfrage]

Aufgabe 2 (Zusammenfassung): Fasse den folgenden Text in fünf Stichpunkten zusammen und nenne zwei offene Fragen.
Text: [öffentlicher Text oder erfundener Bericht]

Aufgabe 3 (Protokoll): Wandle diese Notizen in ein Protokoll um: Beschlüsse, Aufgaben mit Verantwortlichen und Frist. Kennzeichne Unklares mit [?].
Notizen: [erfundene Notizen]

Aufgabe 4 (Tabelle): Erkläre in einfachen Worten, was die folgende Tabelle zeigt, und nenne zwei Auffälligkeiten.
Tabelle: [erfundene Zahlen]

Aufgabe 5 (Einfache Sprache): Schreibe den Absatz so um, dass ihn eine Person ohne Fachkenntnisse versteht. Inhalt unverändert.
Absatz: [Absatz aus einem öffentlichen Dokument]

Bewertungsschema: Pro Antwort und Kriterium 0 (nicht erfüllt), 1 (teilweise), 2 (gut).

Tragen Sie pro Aufgabe die Punkte ein und zählen Sie am Ende zusammen. Ergänzen Sie in einer zweiten Tabelle Kosten, Datenschutz und Bedienung, die Sie nicht durch Tests messen.

Worauf Sie achten müssen

• Keine echten Daten. Verwenden Sie erfundene oder öffentliche Texte. Siehe KI ausprobieren: Testdaten statt echter Kundendaten nutzen.
• Gleiche Bedingungen. Gleicher Auftrag, neues Gespräch, gleiche Einstellungen. Ungleiche Bedingungen verfälschen das Ergebnis.
• Zufall. KI-Antworten schwanken. Wiederholen Sie wichtige Aufgaben, um zu sehen, ob das Ergebnis stabil ist.
• Subjektive Eindrücke. Der Stil kann blenden. Prüfen Sie Inhalte nach, nicht nur den Klang.
• Aktualität. Ergebnisse gelten für die getesteten Versionen. Bei Neuerungen wiederholen.
• Mehr als Qualität. Datenschutz, Kosten, Bedienung, Anbindung und Vertrag entscheiden mit. Siehe Anforderungskatalog für die KI-Modellwahl: Vorlage.
• Stichprobe. Fünf bis acht Aufgaben geben einen Eindruck, keine Statistik. Formulieren Sie Schlüsse entsprechend vorsichtig.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Ingenieurbüro in Baden mit zwanzig Mitarbeitenden will für die Administration einen KI-Assistenten auswählen. Zwei Mitarbeiterinnen testen drei Modelle.

Vorher: Ein Kollege empfiehlt «das beste Modell» aus einem Artikel, ein anderer das, das er privat nutzt.

Nachher: Die beiden wählen sechs Aufgaben mit erfundenen Beispielen, legen Kriterien fest und bewerten die Antworten ohne Modellnamen. Modell B erzielt bei Mails und Protokollen die meisten Punkte, Modell C schreibt die beste Schweizer Rechtschreibung, bei Modell A fallen zwei erfundene Zahlen auf. Zusammen mit Preis und Datenschutz ergibt sich eine begründete Wahl, die der Geschäftsleitung vorgelegt wird.

So hilft Ihnen Alpasana

Wenn Sie klären möchten, welche Aufgaben sich für KI eignen und wie die Auswahl in einen Umsetzungsplan passt, hilft die KI-Beratung und digitale Transformation von Alpasana. Das Angebot umfasst das Aufnehmen von Prozessen, das Analysieren von KI-Potenzialen, das Priorisieren von Vorhaben und einen Umsetzungsplan. Projekte werden individuell offeriert. Die Durchführung von Modelltests im Einzelfall ist nicht ausdrücklich beschrieben.

Häufige Fragen

Wie viele Modelle sollte ich vergleichen?

Zwei bis vier. Mehr verursacht viel Aufwand und wenig zusätzlichen Erkenntnisgewinn.

Wer sollte die Bewertung übernehmen?

Am besten zwei Personen, die die Aufgaben kennen, unabhängig voneinander. Danach besprechen sie Abweichungen.

Reicht ein Test mit kostenlosen Versionen?

Für einen ersten Eindruck ja. Wenn Sie später ein Bezahlpaket nutzen, kann das Ergebnis abweichen. Wiederholen Sie dann den Test.

Und wenn das Ergebnis knapp ist?

Dann entscheiden andere Kriterien: Datenschutz, Kosten, Bedienung und Anbindung. Ein Pilotversuch hilft zusätzlich: KI-Modell im Betrieb testen: Wie plane ich einen Pilotversuch?.