Wie prüft man einen Chatbot vor der Abnahme?

Das Problem

Der Anbieter meldet: «Der Chatbot ist fertig. Bitte bestätigen Sie die Abnahme.» Frau Müller probiert ihn zehn Minuten aus, die Antworten wirken gut, und sie ist versucht zu unterschreiben. Mit der Abnahme geht aber vieles über: Die Zahlung wird fällig, Mängel gelten eventuell als akzeptiert, und die Gewährleistungsfrist beginnt.

Eine Abnahme ist ein formaler Schritt. Wer sie zu früh bestätigt, hat später Mühe, Mängel geltend zu machen. Wer sie zu spät oder gar nicht erledigt, blockiert das Projekt. Deshalb braucht es einen strukturierten Test: Was haben wir bestellt, und tut der Chatbot genau das?

Eine Abnahme-Checkliste hilft, ruhig und systematisch vorzugehen. Sie prüft nicht, ob der Chatbot «irgendwie gut» ist, sondern ob er die vereinbarten Anforderungen erfüllt. Rechtliche Folgen der Abnahme richten sich nach Ihrem Vertrag. Lassen Sie ihn im Zweifel prüfen.

So lösen Sie es mit KI – Schritt für Schritt

1. Anforderungen bereitlegen. Nehmen Sie Offerte, Lastenheft oder Anforderungsliste zur Hand. Siehe Anforderungen: Vorlage. Alles, was Sie prüfen, muss dort verankert sein.

1. Abnahmekriterien festlegen. Was heisst «bestanden»? Zum Beispiel: «Mindestens 90 Prozent der Standardfragen werden korrekt beantwortet, keine falschen Zusagen, Übergabe an Menschen funktioniert.»

1. Testfälle zusammenstellen. 40 bis 60 Fragen: häufige Fragen, schwierige Fragen, Fangfragen, Fragen ausserhalb des Auftrags, Tippfehler, andere Sprachen, Fragen mit Zahlen. Siehe Antworttest-Vorlage.

1. Funktionen prüfen. Quellenangaben, Links, Begrüssung, Kennzeichnung als KI, Übergabe an Menschen, Verhalten ausserhalb der Öffnungszeiten, Anzeige auf dem Handy.

1. Sicherheit und Datenschutz kontrollieren. Werden Personendaten korrekt behandelt? Stimmt der Zugriff? Sind Datenschutzerklärung und Verträge vorhanden? Dazu zählen auch vereinbarte Unterlagen des Anbieters.

1. Mehrere Personen testen lassen. Der Fachbereich, die IT und eine Person mit wenig IT-Erfahrung prüfen unabhängig voneinander. Jeder sieht anderes.

1. Mängel schriftlich festhalten. Jeder Mangel kommt ins Protokoll mit Beispiel und Priorität. Siehe Fehlerprotokoll: Vorlage.

1. Entscheiden und dokumentieren. Abnahme, Abnahme mit Vorbehalt (mit Frist zur Behebung) oder keine Abnahme. Halten Sie den Entscheid mit Datum und Unterschrift fest.

Vorlage zum Kopieren

Diese Checkliste können Sie in Ihr Abnahmeprotokoll übernehmen.

Und ein Prompt, um aus der Anforderungsliste Testfälle abzuleiten:

Hier ist unsere Anforderungsliste für den Chatbot:
[Liste einfügen]
Schlage für jede Anforderung zwei bis drei konkrete Testfragen vor, mit einer Beschreibung der erwarteten Antwort in Stichworten. Füge fünf Fangfragen hinzu, mit denen jemand den Chatbot zu falschen Zusagen oder Aussagen ausserhalb seines Auftrags bringen möchte.
Nenne keine Fakten zu unserem Betrieb, die nicht in der Liste stehen; setze [Antwort aus Quelle] ein.

Ergänzen Sie die erwarteten Antworten mit Ihren echten Quellen, bevor Sie testen.

Ein Praxistipp: Lassen Sie mindestens eine Testperson Fragen stellen, ohne den Chatbot zu kennen und ohne Vorgaben. Die Frage «Wie komme ich zu meiner Rechnung?» formuliert jemand aus der Buchhaltung ganz anders als jemand aus dem Verkauf. Diese freien Fragen zeigen oft mehr als jede vorbereitete Liste. Halten Sie ausserdem fest, wie lange der Chatbot für eine Antwort braucht, denn eine Wartezeit von zehn Sekunden fühlt sich im Alltag sehr lang an.

Worauf Sie achten müssen

• Nicht unter Zeitdruck unterschreiben: Eine verzögerte Abnahme ist besser als eine verfrühte. Klären Sie Fristen im Vertrag und verlangen Sie bei Bedarf mehr Zeit.
• Vertragliche Folgen: Die Abnahme kann Zahlung, Gewährleistung und Fristen auslösen. Lassen Sie sich im Zweifel beraten.
• Eigene Dokumente: Viele Mängel liegen an unvollständigen oder veralteten Unterlagen. Prüfen Sie, ob der Fehler im Wissen oder im System liegt.
• Nicht alles lässt sich vorher testen: Im Echtbetrieb kommen neue Fragen. Vereinbaren Sie deshalb eine Nachbesserungsphase.
• Datenschutz: Testen Sie mit erfundenen oder anonymisierten Daten, nicht mit echten Kundendaten.

Ein Beispiel aus der Praxis

Ein Beispiel: Eine Anwaltskanzlei in Zug lässt einen internen Wissens-Chatbot von einem Dienstleister einrichten. Zur Abnahme erhält die Kanzlei einen Link.

Vorher: Frau Müller würde nach einem kurzen Test unterschreiben. Nachher: Sie hat 50 Testfragen und eine Checkliste. Zwei Kolleginnen prüfen unabhängig. Es zeigt sich, dass der Chatbot bei Fragen zur Aktenablage Quellen ohne Seitenzahl nennt und eine Übergabe an das Sekretariat nicht funktioniert. Die Kanzlei nimmt «mit Vorbehalt» ab und setzt eine Frist von 14 Tagen für die Behebung.

So hilft Ihnen Alpasana

Eine strukturierte Abnahme setzt klare Anforderungen und Testkriterien voraus. Die KI-Beratung und digitale Transformation von Alpasana unterstützt beim Konzipieren von Schnittstellen, beim Einführen von KI-Agenten mit Pilot und Einsatzregeln und beim Dokumentieren der Umsetzung.

So gehen Sie gut vorbereitet in die Abnahme. Projekte werden individuell offeriert.

Häufige Fragen

Wie viele Testfragen sind genug?

Für einen ersten Chatbot sind 40 bis 60 gut gewählte Fragen sinnvoll. Wichtiger als die Zahl ist die Vielfalt: einfache, schwierige und unzulässige Fragen.

Was, wenn der Anbieter den Test nicht akzeptiert?

Dann zeigen Sie, dass die Kriterien im Vertrag oder in den Anforderungen stehen. Sind sie dort nicht verankert, klären Sie sie schriftlich, bevor Sie abnehmen.

Darf ich eine Abnahme verweigern?

Wenn wesentliche Mängel bestehen, in der Regel ja. Die Details regelt Ihr Vertrag. Dokumentieren Sie Mängel genau und holen Sie bei Streit fachlichen Rat.

Soll ich den Chatbot nach der Abnahme weiter testen?

Ja, in den ersten Wochen eng, danach stichprobenartig. Siehe Checkliste vor dem Start.