Wie messen wir den Erfolg von KI im Unternehmen?

Das Problem

Vor einigen Monaten haben Sie KI im Betrieb eingeführt. Das Team nutzt sie, einige sind begeistert, andere skeptisch. Die Geschäftsleitung fragt: «Bringt es etwas?» Sie antworten: «Ich glaube schon», merken aber, dass das nicht überzeugt.

Ohne Messung bleibt der Nutzen eine Meinung. Das ist gefährlich in beide Richtungen: Wirksame Anwendungen werden nicht erkannt und fallen dem Sparzwang zum Opfer, unwirksame laufen weiter und kosten Geld. Zudem fällt es schwer, aus Erfahrungen zu lernen.

Erfolg messen heisst nicht, komplizierte Auswertungen zu bauen. Es heisst, vorher festzulegen, woran man eine Verbesserung erkennt, und diesen Punkt vorher und nachher zu betrachten. Das gelingt auch in kleinen Betrieben mit einfachen Mitteln.

So lösen Sie es mit KI – Schritt für Schritt

1. Formulieren Sie das Ziel konkret. Nicht «effizienter arbeiten», sondern etwa «Kundenanfragen innerhalb eines Arbeitstags beantworten» oder «Berichte mit weniger Korrekturschleifen fertigstellen». Das Ziel bestimmt, was Sie messen.
2. Messen Sie den Ausgangswert vor dem Start. Wie lange dauert die Aufgabe heute, wie viele Fehler gibt es, wie zufrieden sind Beteiligte? Ohne diesen Vergleichswert wissen Sie später nicht, ob sich etwas verbessert hat. Siehe Ausgangswerte erfassen.
3. Wählen Sie drei bis fünf Kennzahlen. Mischen Sie Zeit, Qualität und Zufriedenheit. Typisch: Bearbeitungszeit pro Vorgang, Anteil der Ergebnisse, die ohne Korrektur durchgehen, Zeit für Nacharbeit, Rückmeldung der Nutzenden. Eine Auswahl bietet KI-Kennzahlen auswählen.
4. Erfassen Sie Zeit inklusive Nacharbeit. Die KI liefert in Sekunden, aber Prüfen und Korrigieren kostet Zeit. Nur die Summe zählt. Eine Anleitung: Nachbearbeitungszeit erfassen.
5. Messen Sie über genug Zeit und Fälle. Ein Tag oder drei Fälle zeigen wenig. Planen Sie einige Wochen und prüfen Sie, ob die Stichprobe gross genug ist. Siehe Kleine Stichproben auswerten.
6. Vergleichen Sie ehrlich. Gleiche Aufgaben, gleiche Massstäbe, gleiche Personen, soweit möglich. Notieren Sie Einflüsse, die nichts mit KI zu tun haben, etwa saisonale Schwankungen oder neue Mitarbeitende.
7. Berichten Sie und entscheiden Sie. Fassen Sie die Ergebnisse auf einer Seite zusammen: Ziel, Ausgangswert, Ergebnis, Einschränkungen, Empfehlung. Dann entscheiden Sie: weiterführen, anpassen, ausbauen oder beenden.

Vorlage zum Kopieren

Mit einer KI können Sie einen Messplan entwerfen. Verwenden Sie erfundene Beispielwerte nur zur Illustration:

Wir haben in unserem Schweizer KMU der Branche [Branche] KI für folgende Aufgabe eingeführt: [Aufgabe].
Unser Ziel ist: [Ziel in einem Satz].
Erstelle einen einseitigen Messplan mit:
1. drei bis fünf Kennzahlen (Zeit, Qualität, Zufriedenheit) mit Definition und Messweise,
2. wie und wann wir den Ausgangswert erfassen,
3. wie wir Nacharbeit mitzählen,
4. wie viele Fälle oder Wochen wir mindestens beobachten sollten, als Faustregel gekennzeichnet,
5. Störfaktoren, die das Ergebnis verfälschen können.
Gib eine Tabelle zum Ausfüllen mit den Spalten «Kennzahl | vorher | nachher | Bemerkung».
Erfinde keine Erfahrungswerte.

Passen Sie die Kennzahlen an Ihre Aufgabe an und tragen Sie echte Messwerte selbst ein.

Beispiele für einfache Kennzahlen

Worauf Sie achten müssen

• Keine Scheingenauigkeit. Bei kleinen Betrieben sind Zahlen grob. Sagen Sie «etwa» und «in unseren Beobachtungen», nicht «exakt 37 Prozent».
• Nur Zeit zu zählen täuscht. Schnelle, aber fehlerhafte Ergebnisse sparen keine Arbeit. Messen Sie Qualität und Nacharbeit mit.
• Mitarbeitende nicht kontrollieren. Messen Sie die Wirkung der Anwendung, nicht die Leistung einzelner Personen. Sonst sinkt die Ehrlichkeit. Hinweise: Leistungskontrolle vermeiden.
• Datenschutz bei der Messung. Erfassen Sie nur, was Sie brauchen, und anonymisieren Sie, wo möglich. Zugriffe auf Messdaten gehören begrenzt.
• KI-Auswertungen prüfen. Eine KI kann Daten falsch zusammenfassen oder Zusammenhänge erfinden. Prüfen Sie Zahlen an Ihren Rohdaten. Hintergründe bietet Messfehler vermeiden.

Was, wenn kein Nutzen sichtbar wird?

Das ist ein Ergebnis, kein Versagen. Prüfen Sie, ob die Aufgabe passt, ob die Qualität stimmt, ob das Team ausreichend geschult ist und ob die Messung geeignet war. Mögliche Ursachen beschreibt KI bringt weniger als erwartet. Manchmal ist die richtige Folge, eine Anwendung zu beenden und Mittel anders einzusetzen.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: In einem Elektrobetrieb bei Zofingen nutzt das Büro seit drei Monaten KI für Offerten. Frau Müller möchte der Geschäftsleitung zeigen, ob es sich lohnt. Sie hatte vor dem Start notiert, wie lange eine Standardofferte dauerte.

Vorher gab es nur das Gefühl «geht schneller». Nachher vergleicht sie 20 Offerten vor und 20 nach der Einführung: Erstellungszeit, Zeit für Korrekturen, Anzahl Rückfragen des Kunden. Die Erstellung ist kürzer, die Korrektur aber nicht vernachlässigbar. Die Summe bleibt etwas besser als vorher. Das Ergebnis wird mit allen Einschränkungen berichtet.

So hilft Ihnen Alpasana

Alpasana unterstützt bei KI-Beratung und digitaler Transformation: Prozesse aufnehmen, Vorhaben priorisieren, Umsetzungspläne erstellen und die Umsetzung dokumentieren. Das hilft, Ausgangslage und Ziele so zu beschreiben, dass sich Wirkung später messen lässt.

Ob Ihre KI-Anwendung Nutzen bringt, zeigen Ihre eigenen Zahlen. Projekte werden individuell offeriert.

Häufige Fragen

Wie lange sollte ich messen?

Mindestens einige Wochen und eine ausreichende Zahl von Fällen. Bei saisonalen Aufgaben auch über typische Schwankungen. Zu kurze Messungen führen zu falschen Schlüssen.

Muss ich Geld ausrechnen?

Nicht zwingend. Zeit und Qualität genügen oft. Wenn Sie Zeit in Geld umrechnen wollen, finden Sie Hilfe unter Zeitersparnis in Geld umrechnen.

Was, wenn die Mitarbeitenden die Messung ablehnen?

Erklären Sie Zweck und Grenzen: Es geht um die Wirkung der Anwendung, nicht um Kontrolle. Beteiligen Sie das Team an der Auswahl der Kennzahlen.