Was muss ein KI-Pilot können, damit wir ihn freigeben?

Das Problem

Der Pilot läuft seit vier Wochen. Die Beteiligten sind sich uneinig: «Es funktioniert eigentlich gut», sagt die eine. «Aber es macht immer wieder Fehler», sagt der andere. «Wir sollten es einführen», meint die Geschäftsleitung. Woran erkennt man, ob der Test bestanden ist?

Wurde das nicht vorher festgelegt, entscheidet die Stimmung: Wer am lautesten ist, wer die letzte Erfahrung gemacht hat, wer am meisten investiert hat. Das ist riskant, denn beide Fehler sind teuer: Ein guter Pilot, der abgelehnt wird, verschenkt Nutzen. Ein schwacher Pilot, der eingeführt wird, kostet Zeit, Geld und Vertrauen.

Abnahmekriterien sind die Antwort. Sie legen im Voraus fest, was «gut genug» heisst, und machen die Entscheidung nachvollziehbar.

Welche Kriterien gehören dazu?

Die Zahlen in der Tabelle sind Beispiele. Legen Sie Ihre eigenen Werte fest, passend zu Aufgabe und Risiko.

So lösen Sie es mit KI – Schritt für Schritt

1. Klären Sie das Ziel des Piloten. Was soll der Pilot beweisen: Qualität, Zeitersparnis, Machbarkeit, Akzeptanz? Danach richten sich die Kriterien.
2. Wählen Sie 5 bis 8 Kriterien. Nicht mehr. Jedes soll messbar oder beobachtbar sein.
3. Unterscheiden Sie Muss und Wunsch. Muss-Kriterien müssen erfüllt sein (etwa Datenschutz), Wunsch-Kriterien verbessern den Gesamteindruck.
4. Legen Sie Zahlen oder Kriterien fest. «Gut genug» in Prozenten oder Beschreibungen. Wo Messung schwer ist, nennen Sie beobachtbare Anzeichen.
5. Bestimmen Sie die Messmethode. Mit welchen Testfällen, wer bewertet, wie oft? Siehe Testfälle und Erfolg messen.
6. Erfassen Sie die Ausgangswerte. Wie lange dauert die Aufgabe heute, wie oft treten Fehler auf? Ohne Vergleichswert ist der Nutzen nicht erkennbar, siehe Pilot und bisherige Arbeitsweise vergleichen.
7. Vereinbaren Sie die Entscheidung im Voraus. Wer entscheidet, wann, nach welchem Verfahren? Bei Erfüllung aller Muss-Kriterien und der meisten Wunsch-Kriterien: Freigabe. Sonst Anpassung oder Abbruch.
8. Schreiben Sie es auf und unterschreiben Sie es. Eine Seite, vor dem Start von Projektleitung und Geschäftsleitung bestätigt. Siehe Abbruchkriterien.

Vorlage zum Kopieren

Mit diesem Auftrag erstellen Sie einen Entwurf für Abnahmekriterien. Beschreiben Sie nur das Vorhaben:

Wir führen einen KI-Pilot durch in [Betrieb, Branche, Schweiz]. Aufgabe der KI: [z. B. Kundenmails sortieren und Antwortentwürfe erstellen]. Dauer: [z. B. 6 Wochen]. Beteiligte: [Anzahl, Rollen].
Erstelle einen Entwurf für Abnahmekriterien als Tabelle mit den Spalten: Bereich | Kriterium | Messmethode | Muss oder Wunsch | Vorschlag für einen Zielwert (mit Hinweis, dass wir ihn selbst festlegen).
Bereiche: Qualität, schwere Fehler, Nutzen (Zeit), Aufwand für Nachbearbeitung, Datenschutz und Sicherheit, Bedienbarkeit, Akzeptanz, Stabilität, Betrieb.
Nenne zusätzlich drei Fragen, die wir vor der Abnahme klären sollten. Erfinde keine Studien oder Richtwerte, kennzeichne Zahlen als Beispiele.

Legen Sie die Zielwerte gemeinsam mit den Beteiligten fest. Die Zahlen aus dem Entwurf sind nur Anregungen.

Worauf Sie achten müssen

• Kriterien nicht nachträglich anpassen: Wer die Latte nach dem Test verschiebt, belügt sich. Änderungen sind erlaubt, aber nur offen begründet.
• Schwere Fehler zählen mehr als Durchschnitt: Ein Prozentwert verdeckt, dass einzelne Fehler schlimm sein können. Definieren Sie Ausschlussfehler.
• Zahlen mit Mass: Fordern Sie keine Perfektion, wenn die Menschen heute auch Fehler machen. Vergleichen Sie fair.
• Nutzen ehrlich rechnen: Prüf- und Korrekturzeit gehören zur Bearbeitungszeit der KI-Variante.
• Rechtliches und Datenschutz: Diese Kriterien sind Muss-Bedingungen, keine Wünsche.
• Kleine Stichprobe: Bei wenigen Fällen sind Prozentwerte unsicher. Siehe Kleine Stichproben auswerten.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Hotelgruppe in Luzern testet sechs Wochen lang eine KI, die Gästeanfragen vorsortiert.

Vorher: Es gibt keine Kriterien. Am Ende fühlen sich die einen begeistert, die anderen skeptisch. Die Geschäftsleitung wartet auf eine Empfehlung, die niemand begründen kann.

Nachher: Vor dem Start legt das Team fest: mindestens 85 Prozent brauchbare Entwürfe, keine falschen Preis- oder Verfügbarkeitszusagen, Prüfzeit höchstens ein Drittel der heutigen Bearbeitungszeit, Vertrag und Datenschutz geklärt, Mehrheit der Mitarbeitenden positiv. Nach sechs Wochen sind alle ausser dem Prüfaufwand erfüllt. Das Team verbessert den Auftrag und verlängert den Pilot um zwei Wochen mit klarem Ziel.

So hilft Ihnen Alpasana

Klare Kriterien sind Teil jeder Pilotplanung. Die KI-Beratung und digitale Transformation von Alpasana unterstützt dabei, Prozesse aufzunehmen, KI-Potenziale zu analysieren, Vorhaben zu priorisieren und einen Umsetzungsplan zu erstellen, ausserdem bei der Integration von KI-Agenten mit Anwendungsfall, Pilot, Einsatzregeln und Skalierung. Projekte werden individuell offeriert.

Häufige Fragen

Wer legt die Kriterien fest?

Die Projektleitung gemeinsam mit den Fachbereichen und der Geschäftsleitung, unter Einbezug von Datenschutz und IT. Die Nutzenden sollten mitreden, denn sie kennen den Alltag.

Was, wenn der Pilot nur einzelne Kriterien erfüllt?

Dann entscheiden die Muss-Kriterien: Sind sie nicht erfüllt, gibt es keine Freigabe. Bei erfüllten Muss- und teilweise erfüllten Wunsch-Kriterien kann ein verbesserter zweiter Durchlauf sinnvoll sein.

Muss ich Zahlen verwenden?

Wo möglich ja, weil sie die Entscheidung nachvollziehbar machen. Wo nicht, formulieren Sie beobachtbare Kriterien («alle Testpersonen können die Aufgabe ohne Hilfe lösen»).