KI-Vorführung prüfen: Welche Fragen entlarven schöne Werbung?

Das Problem

Der Anbieter einer KI-Lösung führt Ihnen sein Produkt vor. Der Bildschirm zeigt, wie ein Assistent in Sekunden Mails beantwortet, Rechnungen liest und Berichte schreibt. Alle im Raum sind beeindruckt. Am Ende fragen Sie sich: Funktioniert das auch bei uns, mit unseren Unterlagen und unseren Sonderfällen?

Diese Frage ist berechtigt. Vorführungen sind sorgfältig vorbereitet. Gezeigt werden Beispiele, bei denen die Lösung glänzt, mit sauberen Daten und klaren Aufgaben. Wie sie mit Ihren unordentlichen, mehrdeutigen oder unvollständigen Fällen umgeht, zeigt sich selten.

Das ist kein Vorwurf an die Anbieter, sondern der Normalfall einer Präsentation. Sie können die Lage verbessern, indem Sie die Vorführung selbst mitgestalten und gezielt nachfragen.

So lösen Sie es mit KI – Schritt für Schritt

1. Vor der Vorführung Ihre Fälle auswählen. Wählen Sie fünf bis zehn echte, aber anonymisierte Beispiele: drei typische, zwei schwierige, einen mit Fehlern oder fehlenden Angaben. Sagen Sie dem Anbieter vorab, dass Sie diese einsetzen möchten.

1. Die Erfolgskriterien festlegen. Was muss ein gutes Ergebnis enthalten? Notieren Sie es vorher, damit Sie nicht vom Eindruck geleitet werden. Siehe Testfälle für KI-Anwendungen.

1. Am Termin Ihre Fälle verlangen. Bitten Sie darum, dass Ihre Beispiele live oder in einem Testzugang durchgespielt werden. Weicht der Anbieter aus, ist das eine Information.

1. Gezielt nach Grenzen fragen. Was kann die Lösung nicht? Wann ist sie unsicher? Welche Fehlerarten treten auf? Ein seriöser Anbieter nennt Grenzen offen und nicht nur Vorteile.

1. Nach der Herkunft der Beispiele fragen. Stammen die gezeigten Ergebnisse aus Echtbetrieb oder einer vorbereiteten Umgebung? Wurden sie nachbearbeitet? Wurde die Demo mehrfach durchlaufen, bis sie klappte?

1. Daten und Betrieb klären. Wo werden Ihre Daten verarbeitet? Wer hat Zugriff? Was passiert nach Vertragsende? Mehr dazu: Datenschutzfragen an KI-Anbieter.

1. Mit KI die Fragenliste vorbereiten. Öffnen Sie einen erlaubten KI-Assistenten, also ein Programm, dem Sie schriftlich Aufgaben geben. Lassen Sie sich mit der Vorlage unten Fragen und ein Bewertungsblatt erstellen. Verwenden Sie keine vertraulichen Daten.

1. Nach der Vorführung bewerten. Füllen Sie das Blatt direkt danach aus, getrennt nach «gesehen», «behauptet» und «nicht gezeigt». Entscheiden Sie erst nach einem kurzen Pilot mit Ihren Aufgaben, siehe Pilotprojekt planen.

Vorlage zum Kopieren

Ich bereite die Vorführung einer KI-Lösung durch einen Anbieter vor.
Unser Einsatzzweck: [z. B. Kundenanfragen sortieren].
Unsere Muss-Kriterien: [Stichworte].
Unsere Beispielfälle (nur Beschreibung, keine echten Daten): [Fall 1, Fall 2, Fall 3].
Bitte erstelle mir:
1. zehn Fragen an den Anbieter zu Grenzen, Fehlerarten, Datenverarbeitung und Betrieb,
2. ein Bewertungsblatt mit den Spalten «gesehen», «behauptet», «nicht gezeigt» und «Nachweis nötig»,
3. fünf Fragen, mit denen ich erkenne, ob die Beispiele vorbereitet waren.
Formuliere sachlich und höflich. Erfinde keine Anbieterangaben.

Ersetzen Sie die Platzhalter durch Ihre eigenen Kriterien und Beispiele, ohne echte Kundendaten.

Worauf Sie achten müssen

• Echte Daten nicht unüberlegt zeigen. Vor der Vorführung klären Sie, ob Ihre Beispiele anonymisiert sind. Geben Sie dem Anbieter nur, was er für den Test braucht. Vereinbaren Sie bei Bedarf Vertraulichkeit.
• Wirkung nicht mit Leistung verwechseln. Eine flüssig sprechende KI wirkt kompetent, auch wenn sie Fehler macht. Prüfen Sie Inhalte, nicht Auftreten.
• Zusagen schriftlich festhalten. Mündliche Aussagen in der Vorführung sind kein Vertrag. Bitten Sie um eine schriftliche Bestätigung wichtiger Zusagen.
• Kein Zeitdruck akzeptieren. «Nur diese Woche zum Aktionspreis» ist ein Druckmittel. Vergleichen Sie in Ruhe, siehe Anbieter-Bewertungsmatrix.
• Recht und Datenschutz. Fragen zu Verträgen und Personendaten beurteilt eine Fachperson im Einzelfall.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: Ein Treuhandbüro in Brugg lässt sich eine KI zur Belegerfassung vorführen. Frau Müller aus der Buchhaltung bringt fünf anonymisierte Belege mit: zwei klare, zwei verknitterte Quittungen, einen mit handschriftlichem Zusatz.

Die beiden klaren Belege werden korrekt erfasst. Bei den verknitterten stimmen zwei Beträge nicht, die handschriftliche Notiz wird ignoriert. Der Anbieter nennt offen, dass handschriftliche Angaben noch Schwächen haben. Das Büro bittet um einen vierwöchigen Test mit eigenen Belegen. Nach dem Test fällt die Entscheidung auf Basis von Zahlen, nicht des ersten Eindrucks.

So hilft Ihnen Alpasana

Die KI-Beratung und digitale Transformation von Alpasana umfasst laut Leistungsbeschreibung die Analyse von KI-Potenzialen, die Priorisierung von Vorhaben, das Integrieren von KI-Agenten mit Anwendungsfall, Pilot und Einsatzregeln sowie die Dokumentation der Umsetzung.

So können Sie Ihre Anforderungen vor der Anbieterwahl klären und einen Pilot strukturieren. Die Bewertung der Produkte anderer Hersteller führt Ihr Betrieb selbst durch.

Häufige Fragen

Darf ich eine Demo mit meinen eigenen Daten verlangen?

Ja, mit anonymisierten oder erfundenen Daten. Wer das nicht zulässt, lässt Sie nicht prüfen, ob die Lösung zu Ihnen passt.

Wie erkenne ich eine geschönte Demo?

Typische Zeichen sind nur eigene Beispiele, keine Fehler, keine Testzugänge und Ausweichen bei Grenzen. Auch bei einer sauberen Demo bleibt der Test mit eigenen Fällen nötig.

Reicht eine einzige Vorführung für die Entscheidung?

Nein. Planen Sie danach einen kurzen Pilot und prüfen Sie Referenzen. So treffen Sie die Entscheidung auf mehreren Grundlagen.

Kann KI die Vorführung für mich beurteilen?

Sie kann Fragen vorbereiten und Notizen ordnen. Die Beurteilung, ob eine Lösung passt, ist Ihre Aufgabe.