Zeigen englische KI-Tests auch die Qualität auf Deutsch?

Das Problem

Ein neues KI-Modell wird gefeiert: Es führt eine Rangliste an und übertrifft angeblich die Konkurrenz. Sie probieren es auf Deutsch aus und sind enttäuscht. Die Sätze klingen hölzern, Fachbegriffe sind falsch, Schweizer Eigenheiten fehlen, und bei Anweisungen in Deutsch macht es mehr Fehler, als die Rangliste erwarten liess.

Das ist kein Zufall. Die meisten bekannten Tests, sogenannte Benchmarks, wurden auf Englisch entwickelt. Sie prüfen, wie gut ein Modell bestimmte Aufgabensammlungen löst. Wie es sich auf Deutsch schlägt, ist damit nicht gesagt.

Für Betriebe in der Schweiz ist das wichtig. Sie schreiben auf Deutsch, mit Schweizer Schreibweise, Mundartanklängen, Ortsnamen und Fachbegriffen. Ob ein Modell dafür taugt, lässt sich nur mit eigenen Tests herausfinden.

So lösen Sie es mit KI – Schritt für Schritt

1. Benchmark verstehen. Lesen Sie, was ein Test misst und in welcher Sprache. Siehe KI-Benchmarks einfach erklärt. Steht dort nichts zur Sprache, ist es meist Englisch.

1. Rangliste kritisch lesen. Prüfen Sie, ob es deutsche Ergebnisse gibt und wie die Testfragen entstanden sind: von Menschen verfasst oder maschinell übersetzt. Siehe Ranglisten richtig lesen.

1. Eigene Testaufgaben sammeln. Wählen Sie fünf bis zehn Aufgaben aus Ihrem Alltag: eine Kundenmail, eine Zusammenfassung, eine Vertragsklausel, eine Anleitung, eine Übersetzung.

1. Schweizer Besonderheiten einbauen. Nehmen Sie Texte mit Schweizer Schreibweise (mit «ss», ohne Eszett), Franken-Beträgen, Ortsnamen, Behördenbegriffen und Ihren Fachwörtern.

1. Anonymisieren. Entfernen Sie Namen und vertrauliche Angaben aus den Testtexten.

1. Mehrere Modelle gleich behandeln. Verwenden Sie bei allen denselben Wortlaut und dieselben Einstellungen.

1. Nach Kriterien bewerten. Beurteilen Sie Richtigkeit, Verständlichkeit, Ton, Rechtschreibung, Schweizer Schreibweise und Vollständigkeit auf einer Skala. Hilfreich ist ein Blindtest.

1. Ergebnis festhalten und wiederholen. Notieren Sie die Bewertung und testen Sie nach grösseren Modellupdates erneut.

Einfach erklärt

Ein Benchmark ist eine Prüfungssammlung für KI. Man stellt dem Modell viele Fragen mit bekannten Lösungen und zählt die richtigen Antworten. Daraus entsteht eine Punktzahl. Solche Tests sind nützlich, um Modelle grob zu vergleichen.

Sie haben aber Grenzen. Sie decken nur bestimmte Aufgaben ab, oft Wissensfragen, Rätsel oder Programmieraufgaben. Und sie sind überwiegend englisch. Es ist wie mit einem Führerschein, den man nur in einem Land gemacht hat: Fahren kann man vermutlich auch anderswo, aber die Verkehrsregeln, Schilder und Gewohnheiten sind andere.

Dazu kommt: Manche Modelle sind auf Englisch stärker trainiert als auf Deutsch. Bei Deutsch können mehr Fehler in Grammatik, Wortwahl und Ton auftreten. Schweizerdeutsche Eigenheiten und Schweizer Fachbegriffe sind noch seltener in den Trainingsdaten. Wie gross der Unterschied ist, hängt vom Modell ab und ändert sich mit neuen Versionen.

Vorlage zum Kopieren

Mit diesem Prompt prüfen Sie Sprachqualität und Schweizer Besonderheiten eines Modells:

Schreibe auf Deutsch (Schweiz) und mit Schweizer Schreibweise (mit «ss», ohne Eszett)
eine [Textart, z. B. Kundenmail] zu folgendem Anliegen: [Anliegen in zwei Sätzen].
Anrede: Sie. Ton: [sachlich-freundlich]. Länge: höchstens [Zahl] Wörter.
Verwende die Währung CHF und schweizerische Begriffe, wo sinnvoll.
Markiere am Schluss unsichere Wörter oder Formulierungen.

Setzen Sie Ihre Angaben ein und lassen Sie denselben Auftrag von mehreren Modellen bearbeiten. Vergleichen Sie dann Rechtschreibung, Stil und Fachbegriffe.

Worauf Sie achten müssen

• Übersetzte Tests: Maschinell übersetzte Testfragen können selbst Fehler enthalten und das Ergebnis verfälschen.
• Training auf Testfragen: Wenn Testfragen im Internet stehen, können Modelle sie schon «gesehen» haben. Siehe Benchmarks und Trainingsdaten.
• Schweizer Schreibweise: Viele Modelle verwenden das Eszett oder verwenden deutsche Begriffe wie «Bürgersteig» statt «Trottoir». Das lässt sich im Prompt steuern, aber nicht immer zuverlässig.
• Unterschiedliche Varianten: Dasselbe Modell kann je nach Anbieter, Version und Einstellung anders antworten. Notieren Sie, was Sie getestet haben.
• Datenschutz: Testen Sie mit anonymisierten Beispielen, nicht mit echten Kunden- oder Personendaten.
• Keine Pauschalaussagen: Ein Modell kann in einer Textart gut und in einer anderen schwach sein.
• Aktualität: Modelle ändern sich schnell. Ein Test von vor einem Jahr ist wenig aussagekräftig.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Reisebüro in Interlaken möchte mit KI Angebotstexte für Gäste aus der Deutschschweiz schreiben. Auf einer Rangliste liegt ein bestimmtes Modell weit vorn. Beim Test mit drei eigenen Texten fallen aber Probleme auf: Es verwendet das Eszett, nutzt deutsche Ausdrücke und ändert Ortsnamen.

Vorher: Die Geschäftsleiterin wollte sich auf die Rangliste verlassen. Nachher: Sie testet drei Modelle mit denselben fünf Aufgaben und bewertet mit einer Checkliste für Schweizer Schreibweise, Ton und Richtigkeit. Ein anderes, in der Rangliste weniger gut platziertes Modell liefert für ihre Texte die besseren Ergebnisse. Sie wählt es für Entwürfe aus und lässt alle Texte vor dem Versand von einer Mitarbeiterin prüfen.

So hilft Ihnen Alpasana

Wenn Sie lernen möchten, KI-Modelle und ihre Grenzen praxisnah einzuschätzen, bietet absofort die KI-Weiterbildung mit verifizierbarem Lernnachweis an. Laut Beschreibung enthält sie Foundation-Angebote ohne Vorkenntnisse, Praxisaufgaben, Modul-Quizze und einen KI-Lerncoach. Sie lernen im eigenen Tempo und erhalten ein Zertifikat mit eindeutiger ID.

Häufige Fragen

Gibt es Benchmarks, die Deutsch speziell testen?

Es gibt Sammlungen mit deutschen Aufgaben, aber ihre Qualität und Reichweite sind unterschiedlich. Prüfen Sie, wie sie entstanden sind und ob sie zu Ihren Aufgaben passen. Einen eigenen Test ersetzt das nicht.

Reicht es, ein Modell auf Hochdeutsch zu testen?

Für Schweizer Betriebe eher nicht. Testen Sie auch mit Schweizer Schreibweise, Ortsnamen, Franken-Beträgen und Ihren Fachbegriffen, denn dort zeigen sich oft die Schwächen.

Wie oft soll ich den Test wiederholen?

Bei grösseren Modellupdates und mindestens einmal pro Jahr. Heben Sie Ihre Testaufgaben und Bewertungen auf, damit Sie Ergebnisse vergleichen können.