KI-Pilot in der Industrie: Nutzen und Fehler messen

Das Problem

Ein KI-Versuch läuft seit sechs Wochen: Eine Gruppe nutzt ein Werkzeug, um Störungsmeldungen zu sortieren oder Arbeitsanweisungen zu entwerfen. Nun soll die Geschäftsleitung entscheiden, ob es weitergeht. Die Rückmeldungen sind gemischt: «Ist ganz praktisch», «Manchmal falsch», «Spart Zeit, glaube ich».

Ohne Messung bleibt das ein Bauchgefühl. Begeisterte reden den Nutzen gross, Skeptiker die Fehler. In der Produktion ist das heikel, weil Fehler Qualität, Sicherheit und Kosten treffen.

Ein guter Pilot ist deshalb ein kleiner, ehrlicher Versuch mit klaren Kriterien. Er beantwortet drei Fragen: Hilft es spürbar? Wie oft und wie schwer sind die Fehler? Ist der Aufwand für Prüfung und Betrieb vertretbar?

KI kann bei Auswertung und Berichtsentwurf helfen. Die Messung selbst und die Bewertung bleiben Aufgabe der Menschen im Betrieb.

So lösen Sie es mit KI – Schritt für Schritt

1. Legen Sie die Frage fest. «Hilft das Werkzeug bei [Aufgabe]?» Wählen Sie eine konkrete Aufgabe, nicht «KI allgemein». Siehe auch Pilotprojekt planen.

1. Messen Sie den Ausgangszustand. Wie lange dauert die Aufgabe heute, wie viele Fehler passieren, wie oft gibt es Rückfragen? Ohne Vergleichswert lässt sich der Nutzen nicht beurteilen.

1. Definieren Sie Kennzahlen. Zum Beispiel: Zeit pro Aufgabe, Anteil korrekter Ergebnisse, Aufwand für die Korrektur, Zufriedenheit der Nutzenden. Nicht mehr als fünf.

1. Legen Sie Fehlerkategorien fest. Zum Beispiel: harmlos (Formulierung), mittel (inhaltlich falsch, aber vor Weitergabe entdeckt), schwer (Sicherheit, Qualität oder Kunden betroffen). Bestimmen Sie, welche Fehler tolerierbar sind und welche zum Abbruch führen. Hilfreich: Abbruchkriterien.

1. Führen Sie ein Protokoll. Jede Nutzung wird kurz erfasst: Datum, Aufgabe, Ergebnis richtig/teilweise/falsch, Korrekturzeit, Bemerkung. Eine einfache Tabelle genügt, siehe Testprotokoll-Vorlage.

1. Vergleichen Sie mit der bisherigen Arbeitsweise. Dieselbe Aufgabe wird teils mit, teils ohne KI bearbeitet, und die Ergebnisse werden unabhängig geprüft.

1. Werten Sie aus. Lassen Sie die KI beim Zusammenfassen der Protokolle helfen, aber rechnen Sie Kennzahlen selbst oder in Excel nach.

1. Sammeln Sie die Sicht des Teams. Was war nützlich, was lästig, wo gab es Beinahe-Fehler? Offene Rückmeldungen zählen so viel wie Zahlen.

1. Entscheiden Sie und begründen Sie es. Weiterführen, anpassen, begrenzt einsetzen oder beenden. Halten Sie die Entscheidung mit Zahlen schriftlich fest.

Beispielkennzahlen

Vorlage zum Kopieren

Du bist Assistent für die Auswertung von Pilotprojekten in einem
Schweizer Industriebetrieb.
Pilot: [Aufgabe, z. B. Sortieren von Störungsmeldungen], Dauer:
[Wochen], Anzahl Nutzungen: [Zahl].
Hier ist mein Testprotokoll (anonymisiert): [Tabelle einfügen].
Fasse zusammen: 1. Anteil richtig / teilweise / falsch,
2. häufigste Fehlerarten mit je einem Beispiel,
3. durchschnittliche Korrekturzeit laut Protokoll,
4. Auffälligkeiten (z. B. Fehler bei bestimmten Aufgaben).
Rechne nur mit den Zahlen aus dem Protokoll und zeige den Rechenweg.
Bewerte nicht, ob der Pilot ein Erfolg ist, und empfiehl nichts.
Schlage am Ende fünf Fragen vor, die wir im Team zur Auswertung
besprechen sollten.

Passen Sie Aufgabe und Zahlen an. Die Bewertung nehmen Sie im Team vor.

Worauf Sie achten müssen

• Kleine Stichproben: Wenige Nutzungen sagen wenig. Rechnen Sie nicht mit Prozenten, wenn nur zehn Fälle vorliegen.
• Voreingenommenheit: Wer das Projekt will, sieht eher Erfolge. Binden Sie Skeptiker in die Auswertung ein.
• Sicherheit zuerst: Schwere Fehler zählen mehr als viele leichte. Ein einziger sicherheitsrelevanter Fehler kann den Einsatz in diesem Bereich ausschliessen.
• Gewöhnungseffekt: Der Nutzen kann am Anfang kleiner und später grösser sein. Planen Sie genug Zeit ein.
• Übertragbarkeit: Ein Erfolg in einer Abteilung gilt nicht automatisch für die nächste, siehe Pilot-Erfolg nicht übertragbar.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Maschinenbauunternehmen im Kanton Bern testet vier Wochen lang ein KI-Werkzeug, das Störungsmeldungen nach Kategorien sortiert. Die Instandhaltung führt eine Tabelle mit 120 Meldungen.

Bei der Auswertung zeigt sich: 96 Meldungen wurden richtig eingeordnet, 17 teilweise, 7 falsch. Zwei der falschen betrafen Sicherheitsfragen und wurden nur zufällig entdeckt. Die Korrektur kostete im Schnitt wenige Minuten.

Das Team beschliesst, das Werkzeug weiter zu nutzen, aber nicht für sicherheitsrelevante Meldungen, und jede Einordnung stichprobenartig zu prüfen. Die Zahlen und die Begründung werden schriftlich festgehalten.

So hilft Ihnen Alpasana

Bei der KI-Beratung und digitalen Transformation von Alpasana wird für KI-Vorhaben der Anwendungsfall geklärt, ein Pilot aufgesetzt, Einsatzregeln festgelegt und über Skalierung entschieden. Auch Prozessaufnahme und Priorisierung gehören dazu.

Projekte werden individuell offeriert. Konkrete Erfolgszahlen aus Ihrem Pilot liefert Ihre eigene Messung.

Häufige Fragen

Wie lange sollte ein Pilot dauern?

Lang genug, um genügend Fälle zu sammeln und Gewöhnung zu berücksichtigen, oft einige Wochen. Legen Sie die Dauer vorher fest und verlängern Sie nicht, bis die Zahlen gefallen.

Wie viele Fehler sind vertretbar?

Das hängt von der Aufgabe ab. Bei Texten mit Prüfung sind andere Fehlerquoten tragbar als bei sicherheitsrelevanten Entscheidungen. Legen Sie das vorher mit der Fachperson fest.

Was, wenn der Nutzen gering ist?

Auch das ist ein Ergebnis. Prüfen Sie, ob eine andere Aufgabe besser passt, oder beenden Sie den Versuch und halten Sie die Erkenntnisse fest.

Wer entscheidet am Ende?

Die verantwortliche Führungsperson, gestützt auf Zahlen und die Sicht des Teams. Ein Beispiel für die Dokumentation bietet die Pilot-Abnahme.