Warum KI-Kennzahlen täuschen können: typische Messfehler

Das Problem

Nach drei Monaten präsentiert das Projektteam stolz: «Die KI spart uns 40 Prozent Zeit.» Die Geschäftsleitung ist beeindruckt. Doch dann fragt jemand, wie das gemessen wurde, und die Antwort ist vage. Wurden dieselben Aufgaben verglichen? Dieselben Personen? Dieselbe Jahreszeit? Und wurde auch das Nacharbeiten gezählt?

Zahlen wirken objektiv, aber sie können täuschen, auch ohne böse Absicht. Wer ein KI-Projekt unbedingt zum Erfolg machen will, wählt unbewusst die günstigen Vergleiche. Wer skeptisch ist, findet genauso leicht Gründe, die Zahlen abzuwerten. Beides führt zu falschen Entscheidungen: Man investiert weiter in etwas, das wenig bringt, oder stoppt etwas, das sich gelohnt hätte.

Auf dieser Seite lernen Sie die häufigsten Messfehler kennen, damit Sie die Zahlen Ihres Betriebs kritisch lesen und fair messen können. Sie brauchen dafür keine Statistik-Kenntnisse, nur etwas gesunden Menschenverstand und eine Liste.

So lösen Sie es mit KI – Schritt für Schritt

1. Legen Sie vor dem Start fest, was Sie messen. Zum Beispiel: Zeit pro Offerte, Fehlerzahl pro 100 Dokumente, Kundenzufriedenheit. Halten Sie schriftlich fest, wie gemessen wird, wer misst und wann. Eine Vorlage für Kennzahlen bietet KI-Kennzahlen-Vorlage.

1. Messen Sie den Ausgangszustand. Ohne «Vorher» gibt es kein «Nachher». Messen Sie mindestens mehrere Wochen vor dem Start, nicht nur einen Tag.

1. Vergleichen Sie Gleiches mit Gleichem. Gleiche Aufgabenart, ähnliche Schwierigkeit, vergleichbare Zeitspanne. Wenn die KI nur einfache Fälle bearbeitet, darf man sie nicht mit dem Durchschnitt aller Fälle vergleichen.

1. Prüfen Sie, wer teilnimmt. Haben sich nur besonders interessierte und fähige Mitarbeitende gemeldet? Dann zeigt das Ergebnis nicht, was ein gewöhnliches Team erreicht. Mischen Sie Testgruppen oder benennen Sie die Einschränkung.

1. Berücksichtigen Sie Saison und Sonderfälle. Ein ruhiger Monat im Sommer ist nicht mit der Hochsaison vergleichbar. Notieren Sie besondere Ereignisse: Ferien, Systemausfälle, Aktionen.

1. Messen Sie den ganzen Weg, nicht nur den Teil. Wenn die KI das Schreiben beschleunigt, aber das Prüfen und Korrigieren länger dauert, stimmt die Rechnung nicht. Zählen Sie Vorbereitung, Prüfung und Nacharbeit mit.

1. Messen Sie die Qualität, nicht nur die Zeit. Schneller ist nicht besser, wenn mehr Fehler passieren. Prüfen Sie Stichproben von Hand. Siehe KI-Ergebnisqualität bewerten.

1. Lassen Sie die Zahlen gegenlesen. Eine unbeteiligte Person prüft Methode und Ergebnis und stellt kritische Fragen. Vergleichen Sie auch mit dem manuellen Weg, siehe Pilot: manueller Vergleich.

Typische Messfehler im Überblick:

Vorlage zum Kopieren

Mit diesem Prompt lassen Sie sich Ihr Messkonzept auf Schwächen prüfen. Beschreiben Sie nur das Konzept, ohne vertrauliche Zahlen:

Wir haben ein KI-Projekt für [Aufgabe] eingeführt und möchten den Nutzen messen. Unser Messkonzept: [Beschreibung: Was wird gemessen, wie, von wem, über welchen Zeitraum, mit welchem Vergleich].
Prüfe das Konzept auf typische Messfehler: unfairer Vergleich, Auswahlfehler der Teilnehmenden, Saisoneffekte, Neuheitseffekt, Teilmessung (nur Teilschritte), fehlende Qualitätsmessung.
Gib pro gefundenem Schwachpunkt eine Erklärung in einfacher Sprache und einen konkreten Verbesserungsvorschlag. Weise darauf hin, was du ohne weitere Angaben nicht beurteilen kannst. Erfinde keine Zahlen.

Ersetzen Sie die Aufgabe und das Konzept. Die KI sieht Ihre Daten nicht, und ihre Hinweise sind eine Denkhilfe, kein Gutachten.

Worauf Sie achten müssen

• Zahlen ohne Methode sind wertlos: Fragen Sie bei jeder Kennzahl, wie sie gemessen wurde. Wenn niemand es erklären kann, ist Vorsicht angebracht.
• Vorsicht mit Durchschnitten: Ein Durchschnitt kann einzelne sehr gute oder sehr schlechte Fälle verbergen. Schauen Sie zusätzlich auf Bandbreite und Ausreisser.
• Kleine Stichproben schwanken: Bei wenigen Fällen können Zufall und Tagesform viel erklären. Ziehen Sie keine grossen Schlüsse aus einer Woche.
• Eigeninteresse erkennen: Projektverantwortliche und Anbieter haben ein Interesse an guten Zahlen. Eine unabhängige Prüfung erhöht die Glaubwürdigkeit.
• Nicht alles ist messbar: Zufriedenheit, Entlastung und Lernen lassen sich nur schwer in Zahlen fassen. Ergänzen Sie mit Gesprächen. Siehe Qualitativen Nutzen bewerten.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Elektrogrosshändler in Aarau führt eine KI für Angebotsschreiben ein. Nach zwei Monaten meldet das Team, die Zeit pro Angebot sei deutlich gesunken. Die Büroleiterin fragt nach und stellt fest: Verglichen wurden die Angebote im ruhigen Juli mit denen im hektischen Dezember davor, und die KI wurde vor allem bei einfachen Standardangeboten genutzt.

Vorher stand eine beeindruckende, aber unfaire Zahl im Bericht. Nachher misst das Team über zehn Wochen, vergleicht gleiche Angebotsarten, rechnet die Prüfzeit mit ein und zieht Stichproben auf Fehler. Der Nutzen ist kleiner als zuerst gemeldet, aber echt, und das Team kann ihn belegen.

So hilft Ihnen Alpasana

Wenn Sie klären möchten, wo KI in Ihrem Betrieb sinnvoll ist und wie Sie Vorhaben priorisieren und umsetzen, unterstützt die KI-Beratung von Alpasana: Prozesse aufnehmen, KI-Potenziale analysieren, Vorhaben priorisieren, einen Umsetzungsplan erstellen und die Umsetzung dokumentieren.

Eine unabhängige Wirtschaftsprüfung Ihrer Kennzahlen gehört nicht zum Angebot.

Häufige Fragen

Wie lange sollte ich messen?

So lange, dass Zufall, Saison und Neuheitseffekt sich ausgleichen. Für viele Büroaufgaben sind mehrere Wochen ein sinnvoller Anfang, bei saisonalen Geschäften länger. Eine feste Regel gibt es nicht.

Reicht die Selbsteinschätzung der Mitarbeitenden?

Als Ergänzung ja, als einzige Quelle nicht. Menschen überschätzen oder unterschätzen oft Zeitgewinne. Kombinieren Sie sie mit gemessenen Zeiten und Stichproben.

Was tun, wenn die Zahlen schlechter ausfallen als erwartet?

Das ist ein wertvolles Ergebnis. Suchen Sie die Ursache: falscher Einsatzbereich, fehlende Schulung, zu viel Prüfaufwand? Passen Sie an oder entscheiden Sie bewusst, das Vorhaben zu beenden.