Wie prüfen wir KI-Referenzen und Erfolgsversprechen?

Das Problem

Auf der Website des Anbieters stehen Erfolgsgeschichten: «Firma X spart 40 Prozent Zeit», «Kunde Y verdoppelt die Anfragen». Die Logos bekannter Unternehmen zieren die Startseite. Sie möchten wissen, ob das für Ihren Betrieb mit zehn Mitarbeitenden überhaupt etwas aussagt.

Referenzen beeindrucken, aber sie sind Werbung. Sie zeigen Erfolge, selten Misserfolge. Oft fehlt, wie gemessen wurde, welche Voraussetzungen vorlagen und ob der Kunde überhaupt vergleichbar ist. Ein Grosskonzern mit eigenem IT-Team hat andere Möglichkeiten als ein Handwerksbetrieb.

Mit ein paar Fragen und einem Telefonat mit einem Referenzkunden gewinnen Sie ein deutlich realistischeres Bild.

So lösen Sie es mit KI – Schritt für Schritt

1. Referenzen einfordern. Bitten Sie den Anbieter um drei Referenzen, die Ihrem Betrieb in Grösse, Branche und Aufgabe möglichst ähnlich sind. Fragen Sie auch nach einer Referenz, bei der es schwierig war. Wie jemand mit Problemen umgeht, sagt viel.

1. Die Vergleichbarkeit prüfen. Passt die Ausgangslage? Arbeitet der Kunde mit ähnlichen Daten und Abläufen? Seit wann läuft die Lösung? Eine Referenz nach zwei Wochen sagt wenig über den Alltag nach einem Jahr.

1. Versprechen in Messbares übersetzen. Bei Aussagen wie «30 Prozent schneller» fragen Sie: Wovon, im Vergleich zu wann, wer hat gemessen, über welchen Zeitraum? Ohne Ausgangswert ist eine Prozentzahl wenig wert. Siehe Ausgangswerte erfassen.

1. Den Referenzkunden selbst anrufen. Fragen Sie nach Aufwand der Einführung, Zuverlässigkeit, Support, Kosten über die Zeit und ob er sich wieder dafür entscheiden würde. Fragen Sie nach Überraschungen.

1. Öffentliche Quellen ergänzen. Suchen Sie nach Berichten, Erfahrungen von Fachleuten und Bewertungen. Seien Sie dabei vorsichtig, denn Bewertungen können gekauft oder gefälscht sein.

1. Mit KI die Fragen vorbereiten. Öffnen Sie einen erlaubten KI-Assistenten, also ein Programm, dem Sie schriftlich Aufgaben geben. Lassen Sie sich mit der Vorlage unten einen Fragebogen für das Referenzgespräch erstellen. Geben Sie keine vertraulichen Angaben ein.

1. Antworten in einer Tabelle festhalten. Notieren Sie je Referenz: Ähnlichkeit, Dauer, genannte Ergebnisse, Messweise, Probleme, Empfehlung. Das macht die Anbieter vergleichbar, ähnlich wie bei der Bewertungsmatrix.

1. Eigene Prüfung nachschieben. Verlassen Sie sich nicht allein auf Referenzen. Ein kurzer Pilot mit Ihren Fällen bleibt die verlässlichste Prüfung, siehe Vorführung prüfen.

Vorlage zum Kopieren

Ich möchte mit dem Referenzkunden eines KI-Anbieters sprechen und brauche einen Fragebogen.
Unser Betrieb: [Branche, Grösse].
Unsere Aufgabe: [z. B. Kundenanfragen sortieren].
Das behauptet der Anbieter: [z. B. «40 Prozent weniger Bearbeitungszeit»].
Bitte erstelle mir:
1. zehn Fragen für das Referenzgespräch (Einführung, Aufwand, Zuverlässigkeit, Support, Kosten, Probleme, Messweise der Ergebnisse),
2. drei Fragen, wie ich die Aussage «[Behauptung]» überprüfen kann,
3. eine Tabelle zum Notieren der Antworten.
Formuliere höflich und sachlich. Erfinde keine Referenzen und keine Zahlen.

Passen Sie die Platzhalter an Ihren Fall an. Nennen Sie den Anbieter nicht beim Namen, wenn das nicht nötig ist.

Worauf Sie achten müssen

• Referenzen sind ausgewählt. Anbieter nennen verständlicherweise ihre zufriedensten Kunden. Das ist kein Betrug, aber auch kein Querschnitt.
• Vertraulichkeit des Referenzkunden. Fragen Sie nur nach dem, was der Kunde offen sagen möchte, und geben Sie keine vertraulichen Informationen aus Ihrem Betrieb preis.
• Zahlen ohne Methode. Prozentangaben, Studien oder «bis zu»-Werte ohne Methodik sind keine Nachweise. Fragen Sie nach der Messung oder behandeln Sie die Aussage als Behauptung.
• Wirkung nicht allein dem Produkt zuschreiben. Ein Erfolg kann auch an guter Einführung, Schulung oder besonderen Umständen liegen. Siehe Hat KI unseren Umsatz erhöht?.
• Rechtliches. Irreführende Werbung ist unzulässig, die Beurteilung im Einzelfall überlassen Sie einer Fachperson.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: Ein Immobilienbüro in Baden prüft einen Anbieter für KI-gestützte Objektbeschreibungen. Die Website nennt «50 Prozent Zeitersparnis». Frau Müller aus der Administration verlangt drei Referenzen und spricht mit zweien.

Der erste Kunde, ein Grossunternehmen, hat ein eigenes IT-Team und fünf Monate eingerichtet. Der zweite, ein Büro mit sieben Personen, sagt: «Die Zeitersparnis lag eher bei einem Drittel, dafür mussten wir die Texte genau prüfen.» Mit dieser realistischeren Einschätzung plant das Büro einen Pilot und rechnet mit einem Drittel statt der Hälfte.

So hilft Ihnen Alpasana

Die KI-Beratung und digitale Transformation von Alpasana umfasst laut Leistungsbeschreibung das Klären von KI-Potenzialen, das Priorisieren von Vorhaben und das Integrieren von KI-Agenten mit Pilot und Einsatzregeln.

Alpasana kann Sie bei der Vorbereitung Ihrer Anbieterwahl unterstützen. Die Gespräche mit Referenzkunden anderer Anbieter führen Sie am besten selbst.

Häufige Fragen

Wie viele Referenzen sollte ich prüfen?

Zwei bis drei, die Ihrem Betrieb ähneln, genügen. Wichtiger als die Anzahl ist die Vergleichbarkeit.

Darf ich nach Referenzen ohne Namen fragen?

Ja, aber anonyme Referenzen lassen sich nicht überprüfen. Bitten Sie um Kontakt oder um schriftliche Bestätigung. Mehr zur Wahl bei KI-Anbieter auswählen.

Was, wenn der Anbieter keine Referenz nennen will?

Bei neuen Lösungen kann es noch keine geben. Dann steigt der Wert eines Pilots mit klaren Abbruchkriterien.

Kann KI Referenzen auf Echtheit prüfen?

Nein. Sie kann Fragen vorbereiten, aber nicht bestätigen, ob eine Referenz wahr ist. Das geht nur durch direkte Nachfrage.