Wie testet man die Deutschqualität eines Sprachmodells?

Das Problem

Ein Sprachmodell, das in englischen Tests glänzt, schreibt nicht automatisch gutes Deutsch. Manche Modelle machen Fehler bei Fällen und Endungen, erfinden Wörter, wechseln mitten im Text die Sprache oder schreiben im Ton eines Werbeprospekts. Für die Schweiz kommen weitere Eigenheiten hinzu: Doppel-s statt scharfem S, «Grüezi» oder «Velo» statt «Fahrrad», Anführungszeichen «so», Datumsangaben und Beträge in CHF.

Wenn Sie ein Modell für Kundenmails, Berichte oder einen Chatbot einsetzen wollen, sollten Sie die Deutschqualität nicht dem Prospekt oder einer Rangliste glauben, sondern selbst prüfen. Das geht ohne Fachwissen: Sie geben dem Modell Aufgaben, die Sie kennen, und beurteilen die Ergebnisse so, wie Sie auch eine Mitarbeiterin beurteilen würden.

Wichtig ist ein fester Ablauf, damit Sie verschiedene Modelle fair vergleichen können.

So lösen Sie es mit KI – Schritt für Schritt

1. Einsatz festlegen. Wofür soll das Modell schreiben? Mails, interne Berichte, Website-Texte, Chatbot-Antworten? Die Aufgaben bestimmen die Tests.

1. Zehn Testaufgaben sammeln. Nehmen Sie echte, aber nicht vertrauliche Beispiele: eine Kundenanfrage, ein Protokoll, eine Absage, eine Zusammenfassung, eine Erklärung eines Fachbegriffs.

1. Schweizer Besonderheiten einbauen. Fragen mit Begriffen wie «Bewilligung», «Traktandenliste», «Zügeltermin» und Beträgen in CHF zeigen, ob das Modell Schweizer Schreibweise beherrscht (Schweizer Schreibweise bei Sprachmodellen).

1. Gleiche Aufgabe, gleiche Bedingungen. Verwenden Sie bei allen Modellen denselben Wortlaut und dieselben Einstellungen.

1. Bewertungsraster anwenden. Beurteilen Sie je Antwort: Rechtschreibung, Grammatik, Wortwahl, Ton, Sachrichtigkeit, Schweizer Schreibweise. Vergeben Sie einfache Noten oder Ampelfarben.

1. Mehrfach testen. Wiederholen Sie wichtige Aufgaben mehrmals, weil sich Antworten unterscheiden können.

1. Ergebnisse vergleichen. Tragen Sie sie in eine Tabelle ein und suchen Sie wiederkehrende Fehler (Bewertungsraster für KI-Antworten).

1. Zweite Person einbeziehen. Eine Kollegin liest die Texte unabhängig und bewertet ebenfalls.

Vorlage zum Kopieren

Du bist ein sorgfältiger Mitarbeiter in einem Schweizer Büro. Schreibe auf Deutsch (Schweiz), mit «ss» statt «ß», in der Sie-Form.

Aufgabe: [konkrete Aufgabe, zum Beispiel: Antworte auf diese Kundenanfrage: «[Text der Anfrage]»]
Ton: [freundlich und sachlich / förmlich / kurz]
Länge: [Zahl] Sätze.
Beachte: Beträge in CHF, Datum im Format 12. März 2027, keine erfundenen Angaben. Wenn Informationen fehlen, stelle eine Rückfrage.

Verwenden Sie diesen Text bei jedem Modell identisch und tauschen Sie nur die Aufgabe aus. Zur Bewertung nutzen Sie das Raster unten.

Worauf Sie achten müssen

• Fehler sind unregelmässig. Ein Modell kann zehnmal gut schreiben und beim elften Mal Unsinn. Testen Sie mehrfach.
• Erfundene Fakten. Gutes Deutsch beweist keine Richtigkeit. Prüfen Sie Zahlen, Namen und Fristen im Original.
• Automatische Bewertung. Eine KI, die andere KI-Texte bewertet, hat eigene Schwächen und ersetzt kein menschliches Lesen (Grenzen der automatischen Bewertung).
• Datenschutz bei Tests. Verwenden Sie keine echten Kundendaten in Tests mit Cloud-Diensten.
• Modellgrösse. Kleinere lokale Modelle schreiben oft schlechter Deutsch als grosse. Testen Sie die Version, die Sie wirklich einsetzen.
• Anweisung beeinflusst Ergebnis. Eine schlechte Anweisung kann ein gutes Modell schlecht aussehen lassen. Testen Sie auch mit verbesserten Anweisungen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Treuhandbüro in Chur möchte ein lokales Modell für Entwürfe von Kundenmails prüfen. Die Sekretärin sammelt zehn typische Aufgaben, darunter eine Mahnung, eine Terminbestätigung und die Erklärung der Mehrwertsteuer-Abrechnung.

Sie lässt zwei Modelle antworten und bewertet nach dem Raster. Das erste schreibt flüssig, verwendet aber ein scharfes S und Begriffe wie «Fahrrad» statt «Velo» in einem Beispiel. Das zweite beherrscht die Schweizer Schreibweise besser, formuliert aber knapper und fragt bei fehlenden Angaben nach.

Vorher stand das Urteil «wirkt gut», nachher steht eine Tabelle, mit der das Büro begründet entscheiden kann.

So hilft Ihnen Alpasana

Wer lernen möchte, wie man KI-Texte gezielt anleitet und prüft, findet bei absofort die Angebote KI und IT für konkrete Arbeitsaufgaben. Beschrieben sind Kurse zu Bürokommunikation mit E-Mails, Meetings und Präsentationen, zu mehrsprachiger Kommunikation sowie zum Einsatz lokaler KI mit Ollama und Open-Source-Modellen; dazu gehören Praxisaufgaben und ein KI-Lerncoach.

Die Kurse ersetzen keinen eigenen Test Ihres konkreten Modells mit Ihren Aufgaben.

Häufige Fragen

Wie viele Testaufgaben braucht es?

Zehn bis zwanzig reichen für einen ersten Eindruck. Wichtig ist, dass sie Ihre tatsächlichen Aufgaben abbilden.

Reicht es, das Modell «auf Deutsch» zu bitten?

Das ist ein Anfang. Für Schweizer Schreibweise sollten Sie «Deutsch (Schweiz)» und Doppel-s statt scharfem S ausdrücklich verlangen und das Ergebnis prüfen.

Kann ich Deutsch durch Anpassung des Modells verbessern?

Manchmal, mit Fine-Tuning, aber das ist aufwendig. Erst Anweisungen verbessern, dann weitere Schritte prüfen (Fine-Tuning oder Prompting?).

Wie erkenne ich schlechtes Deutsch, wenn ich kein Sprachprofi bin?

Lassen Sie eine Kollegin lesen und achten Sie auf Auffälligkeiten: seltsame Wörter, falsche Endungen, ein Ton, der nicht zu Ihrem Betrieb passt.