Wie aussagekräftig sind Referenzen eines Chatbot-Anbieters?

Das Problem

Auf der Website eines Chatbot-Anbieters stehen bekannte Firmennamen, Logos und Zitate: «Hat unseren Support revolutioniert.» Das wirkt vertrauenswürdig. Doch was sagt es über Ihr Projekt aus?

Referenzen sind Werbung. Anbieter zeigen, was gut aussieht. Oft ist unklar, ob der Kunde den Chatbot im Alltag nutzt oder ihn nur getestet hat, ob es um eine ähnliche Aufgabe ging und ob die Zusammenarbeit wirklich gut lief. Auch die Zahlen, die genannt werden, lassen sich meist nicht überprüfen.

Trotzdem sind Referenzen nützlich, wenn man sie richtig befragt. Ein kurzes Gespräch mit einem früheren Kunden verrät mehr als zehn Broschüren. Eine KI kann Ihnen helfen, Fragen und eine Prüfliste vorzubereiten.

Ein weiterer Punkt: Referenzen veralten. Ein Chatbot, der vor drei Jahren eingeführt wurde, hat mit dem heutigen Produkt vielleicht nur noch wenig gemeinsam. Fragen Sie deshalb, welche Version im Einsatz ist und ob die Referenzperson neuere Funktionen kennt.

So lösen Sie es mit KI – Schritt für Schritt

1. Eigene Aufgabe beschreiben: Was soll der Chatbot bei Ihnen tun? Wer nutzt ihn? Welche Sprachen, welche Daten? Das ist der Massstab.
2. Referenzen anfordern: Bitten Sie den Anbieter um zwei bis drei Referenzen mit Kontaktperson, die möglichst ähnlich sind: Branche, Grösse, Aufgabe.
3. Passung prüfen: Vergleichen Sie jede Referenz mit Ihrer Aufgabe. Ein Chatbot für den Online-Shop eines Grosskonzerns sagt wenig über einen Chatbot im Sekretariat einer Gemeinde.
4. Status klären: Läuft die Lösung produktiv, wie lange schon, und mit wie vielen Nutzenden? Oder war es ein Pilot?
5. Fragen vorbereiten: Lassen Sie die KI einen Fragenkatalog für das Referenzgespräch erstellen und wählen Sie die wichtigsten zehn Fragen aus.
6. Gespräch führen: Rufen Sie die Referenzperson selbst an. Fragen Sie nach Aufwand, Überraschungen, Support und Kosten.
7. Gespräche dokumentieren: Notieren Sie Antworten in einer einfachen Tabelle, damit Sie Anbieter vergleichen können.
8. Mit Demo und Vertrag abgleichen: Prüfen Sie, ob das, was Referenzen berichten, zu dem passt, was der Anbieter verspricht und vertraglich zusichert.

Vorlage zum Kopieren

Du hilfst mir, Referenzen eines Chatbot-Anbieters zu prüfen. Deutsch (Schweiz), einfache Sprache.
Unsere Aufgabe: [Zweck des Chatbots, Zielgruppe, Branche, Grösse]
Gezeigte Referenz: [Branche, Aufgabe, Angaben des Anbieters ohne Firmennamen]
Aufgabe: 1. Beurteile in Stichworten, wie gut die Referenz zu unserer Aufgabe passt und was unklar bleibt. 2. Erstelle 12 Fragen für ein Referenzgespräch zu: Einführung, Aufwand, Qualität der Antworten, Pflege, Support, Kosten, Überraschungen, würde man wieder wählen. 3. Erstelle eine Tabelle zum Dokumentieren der Antworten mit den Spalten «Frage», «Antwort der Referenz», «Bewertung», «Nachfrage beim Anbieter».
Mache keine Aussagen über den Anbieter, die nicht in meinen Angaben stehen, und erfinde keine Zahlen.

Ergänzen Sie Aufgabe und Referenzangaben. Rufen Sie die Referenzperson selbst an und notieren Sie die Antworten.

Worauf Sie achten müssen

• Ausgewählte Beispiele: Anbieter nennen verständlicherweise ihre besten Fälle. Fragen Sie auch nach Kunden, die den Chatbot wieder abgeschaltet haben.
• Nicht belegte Zahlen: Angaben wie «70 Prozent weniger Anfragen» sind ohne Messmethode wenig wert. Fragen Sie, wie gemessen wurde.
• Zitate prüfen: Ob ein Zitat echt und aktuell ist, wissen Sie erst, wenn Sie mit der Person sprechen.
• Datenschutz im Gespräch: Fragen Sie nicht nach vertraulichen Daten der Referenzfirma, sondern nach Erfahrungen und Abläufen.
• Eigener Massstab: Eine gelungene Referenz in einem anderen Umfeld ersetzt keinen eigenen Test. Siehe Anbieter-Demo mit eigenen Beispielen testen.
• Vergleichbarkeit: Stellen Sie allen Anbietern dieselben Fragen und vergleichen Sie die Antworten.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Gemeindeverwaltung im Kanton Aargau sucht einen Chatbot für Fragen zu Abfall, Steuern und Formularen. Ein Anbieter zeigt Referenzen von einer Grossstadt und einem Online-Händler.

Vorher: Die Gemeindeschreiberin ist beeindruckt von den Namen, hat aber kein Gefühl, ob die Beispiele passen.

Nachher: Sie bittet um eine Referenz aus einer Gemeinde ähnlicher Grösse. Im Telefonat erfährt sie, dass die Einführung mehr interne Arbeit bedeutete als erwartet und dass Formulare gut, Steuerfragen aber schlecht funktionieren. Der Austausch hilft ihr, die Erwartungen zu klären und beim Anbieter gezielt Fragen zu stellen.

Das Beispiel zeigt: Die ehrliche Auskunft über Schwächen ist oft wertvoller als jedes Lob.

So hilft Ihnen Alpasana

Wenn Sie bei der Auswahl eines Chatbot-Anbieters Orientierung brauchen, hilft die KI-Beratung und digitale Transformation von Alpasana, Ihre Anforderungen zu klären: Prozesse aufnehmen, Potenziale analysieren, Vorhaben priorisieren und einen Umsetzungsplan erstellen.

Projekte werden individuell offeriert. Weitere Hinweise finden Sie in Anbieter-Referenzen prüfen.

Häufige Fragen

Darf ich direkt mit Referenzkunden sprechen?

Ja, das ist üblich und sollte möglich sein. Wenn ein Anbieter keine Kontaktperson nennt, ist das ein Hinweis, genauer nachzufragen.

Wie viele Referenzen sollte ich einholen?

Zwei bis drei genügen. Besser eine gut passende als zehn, die nicht zu Ihrer Aufgabe passen.

Was, wenn der Anbieter noch neu ist und kaum Referenzen hat?

Dann ist ein kleiner Pilot mit klaren Ausstiegsmöglichkeiten sinnvoll. Mehr dazu in Budget für einen Chatbot-Piloten.

Was soll ich fragen, wenn die Referenz nur Positives berichtet?

Fragen Sie nach Überraschungen, Verzögerungen und Dingen, die sie anders machen würde. Meist kommen dann konkrete Hinweise, die für Ihre Planung wertvoll sind.

Soll ich Referenzen auch online suchen?

Ja. Bewertungen, Fachberichte und Gespräche in Ihrer Branche ergänzen die Auswahl des Anbieters. Behandeln Sie anonyme Bewertungen mit Vorsicht, sie können gekauft sein.