Chatbot-Pilot ausbauen oder stoppen: Wie entscheidet man?

Das Problem

Der Pilot ist vorbei: drei Monate, zehn Testpersonen, ein Chatbot für interne Fragen. Es gibt viele Eindrücke. Die einen sind begeistert, andere finden ihn unzuverlässig. Der Anbieter schlägt vor, «jetzt für alle auszurollen». Die Geschäftsleitung fragt Frau Müller: «Machen wir weiter oder nicht?»

Das ist ein heikler Moment. Wer weitermacht, weil schon Geld und Zeit geflossen sind, riskiert, Fehlentscheidungen zu verlängern. Wer stoppt, weil ein paar laute Kritiker sich gemeldet haben, verschenkt vielleicht Nutzen. Gefragt ist ein ehrlicher, nüchterner Vergleich: Was haben wir uns vorgenommen? Was ist eingetreten? Was kostet es? Was fehlt?

Die Entscheidung ist nie nur eine Rechenaufgabe, aber sie wird besser, wenn Zahlen, Beobachtungen und Kosten übersichtlich nebeneinanderliegen. Diese Checkliste hilft dabei.

So lösen Sie es mit KI – Schritt für Schritt

1. Ziele und Kriterien hervorholen. Nehmen Sie die Ziele vom Projektstart: Was sollte der Pilot zeigen? Siehe Messbare Ziele.

1. Ergebnisse zusammentragen. Nutzungszahlen, Antwortqualität (Stichproben), Rückmeldungen der Testgruppe, Übergaben an Menschen, Fehlerprotokoll. Siehe Erfolg im Dashboard.

1. Mängel gewichten. Welche Probleme sind behebbar, welche grundsätzlich? Falsche Auskünfte bei wichtigen Themen wiegen schwerer als Stilfragen.

1. Aufwand erfassen. Wie viele Stunden steckten im Pilot: Vorbereitung, Pflege, Betreuung? Welche Kosten sind entstanden, und was würde der Ausbau kosten? Siehe Kosten bei Wachstum.

1. Nutzen ehrlich bewerten. Was wurde gespart, vermieden oder verbessert? Trennen Sie gemessene Werte von Einschätzungen. Siehe ROI berechnen.

1. Optionen formulieren. Ausbauen wie geplant, ausbauen mit Auflagen, Pilot verlängern mit Korrekturen, anders ausrichten, stoppen. Beschreiben Sie jede Option mit Folgen.

1. Gemeinsam entscheiden. Besprechen Sie das Ergebnis mit Geschäftsleitung, Fachbereich und Testgruppe. Der Entscheid wird schriftlich mit Begründung festgehalten.

1. Lehren sichern. Auch bei einem Stopp lohnt sich ein kurzer Bericht: Was haben wir gelernt, was würden wir anders machen, welche Unterlagen bleiben nützlich?

Vorlage zum Kopieren

Diese Entscheidungsvorlage fasst den Pilot auf einer Seite zusammen.

PILOTBERICHT – Chatbot [Name]
Zeitraum: [von–bis]   Testgruppe: [Anzahl, Bereiche]
1. Ziele (Soll): [Ziel 1], [Ziel 2], [Ziel 3]
2. Ergebnisse (Ist): [Zahlen/Beobachtungen zu jedem Ziel]
3. Qualität: [Anteil korrekter Antworten in Stichprobe, wichtigste Fehler]
4. Rückmeldungen der Nutzer: [Positives, Kritik, Wünsche]
5. Aufwand und Kosten: [Stunden, CHF, offene Kosten]
6. Offene Risiken: [Datenschutz, Pflege, Abhängigkeit vom Anbieter]
7. Optionen: A [ausbauen], B [verlängern mit Korrekturen], C [anders ausrichten], D [stoppen] – jeweils mit Folgen
8. Empfehlung: [Option + Begründung]
9. Entscheid der Leitung: [Datum, Beschluss]

Mit diesem Prompt lassen Sie sich Rückmeldungen für den Bericht zusammenfassen:

Hier sind anonymisierte Rückmeldungen und Messwerte aus unserem Chatbot-Pilot:
[Daten]
Fasse sie in drei Abschnitten zusammen: Was funktionierte gut, was funktionierte schlecht, was blieb unklar. Nenne bei jedem Punkt die Quelle in meinen Daten. Gib keine Empfehlung und erfinde keine Zahlen.

Die Empfehlung formulieren Sie selbst, mit Blick auf Ihre Ziele und Ihren Betrieb.

Ein Praxistipp: Lassen Sie die Entscheidung nicht nur von denen vorbereiten, die den Pilot betreut haben. Wer ein Projekt lange begleitet, bewertet es meist milder. Bitten Sie eine Person, die nicht beteiligt war, den Pilotbericht kritisch gegenzulesen und drei Fragen zu stellen. Diese Aussenperspektive deckt Lücken auf, bevor die Leitung entscheidet.

Worauf Sie achten müssen

• Sunk-Cost-Falle: Bereits investierte Zeit und Geld sind kein Grund weiterzumachen. Entscheidend ist, ob der künftige Nutzen die künftigen Kosten rechtfertigt.
• Begeisterung und Ablehnung: Laute Einzelstimmen verzerren das Bild. Stützen Sie sich auf Zahlen und breite Rückmeldungen.
• Ehrliche Datenlage: Wenn Ausgangswerte fehlen, sagen Sie es. Schätzungen dürfen als Schätzungen erscheinen.
• Nicht nur Technik bewerten: Pflegeaufwand, Datenschutz und Akzeptanz zählen ebenso wie die Antwortqualität.
• Anbieterdruck: Verlangen Sie Zeit für eine unabhängige Beurteilung und lassen Sie sich nicht zu einer schnellen Ausweitung drängen.

Ein Beispiel aus der Praxis

Ein Beispiel: Ein Handelsunternehmen in Schaffhausen mit 60 Mitarbeitenden testet drei Monate einen Chatbot für Produktfragen im Innendienst. Ziel: Rückfragen an die Produktverantwortlichen um ein Drittel senken.

Vorher: Gemischte Meinungen, kein klarer Überblick. Nachher: Frau Müller legt eine Seite vor. Die Rückfragen sanken laut Strichliste um etwa ein Viertel, die Stichprobe zeigt bei Preisen viele Fehler, die Pflege der Datenblätter kostete mehr Zeit als geplant. Die Geschäftsleitung beschliesst: Pilot um zwei Monate verlängern, Preise ausschliessen, Pflegeplan einführen. Danach folgt eine zweite Entscheidung.

So hilft Ihnen Alpasana

Eine ehrliche Pilotbewertung verlangt Kriterien, Zahlen und einen Blick auf Prozesse. Die KI-Beratung und digitale Transformation von Alpasana umfasst die Analyse von KI-Potenzialen, die Priorisierung von Vorhaben, die Einführung von KI-Agenten mit Pilot, Einsatzregeln und Skalierung sowie die Dokumentation der Umsetzung.

So treffen Sie Ihre Entscheidung auf einer klaren Grundlage. Projekte werden individuell offeriert.

Häufige Fragen

Wie viel Erfolg braucht ein Pilot, damit sich der Ausbau lohnt?

Das hängt von Ihren Zielen und Kosten ab. Entscheidend ist, ob der Nutzen den Aufwand dauerhaft übertrifft. Legen Sie Schwellenwerte deshalb vor dem Pilot fest.

Ist ein gestoppter Pilot ein Misserfolg?

Nein, wenn er klare Erkenntnisse liefert. Er hat verhindert, dass Sie in grösserem Umfang in etwas investieren, das nicht passt.

Kann ich Teile des Piloten weiterverwenden?

Oft ja: aufbereitete Dokumente, Ablaufbeschreibungen, FAQ-Texte und Erkenntnisse zu Fragen der Nutzer lassen sich auch ohne Chatbot nutzen.

Wer entscheidet am Ende?

Die Geschäftsleitung oder die Projektauftraggeber, gestützt auf den Pilotbericht. Das Projektteam liefert die Grundlagen und eine Empfehlung.