A/B-Test mit KI planen: Was soll eine Textvariante verbessern?

Das Problem

Sie haben zwei Fassungen eines Newsletter-Betreffs, einer Anzeige oder einer Schaltfläche und sind unsicher, welche besser wirkt. Im Team gehen die Meinungen auseinander. Mit KI lassen sich in Minuten zehn weitere Varianten erzeugen, doch welche davon wirklich mehr Menschen zum Klicken, Anrufen oder Kaufen bringt, sagt keine KI.

Das lässt sich nur durch Testen herausfinden. Ein A/B-Test zeigt einem Teil der Personen Variante A, dem anderen Variante B und vergleicht das Ergebnis. Klingt einfach, ist aber voller Fallstricke: Wird zu früh abgebrochen, werden mehrere Dinge gleichzeitig geändert oder sind die Zahlen zu klein, entstehen Scheinerfolge.

Eine saubere Planung verhindert das. Sie legen vorher fest, was Sie wissen wollen, woran Sie es messen und wann Sie entscheiden. KI hilft beim Entwerfen von Varianten und beim Ordnen der Planung.

So lösen Sie es mit KI – Schritt für Schritt

1. Das Ziel festlegen. Was soll besser werden: mehr Klicks auf den Newsletter, mehr Anfragen über das Formular, mehr Bestellungen? Wählen Sie ein Ziel. Mehrere Ziele zugleich verwässern das Ergebnis.

1. Eine Hypothese formulieren. Zum Beispiel: «Ein konkreter Betreff mit Nutzen führt zu mehr Öffnungen als ein allgemeiner.» Eine Hypothese ist eine begründete Vermutung, die Sie prüfen. Sie sagt, was Sie ändern und was dadurch passieren soll.

1. Nur eine Sache ändern. Variante A und B unterscheiden sich in genau einem Punkt, etwa Betreff, Überschrift oder Schaltflächentext. Sonst wissen Sie nicht, was gewirkt hat.

1. Varianten mit KI entwerfen. Öffnen Sie einen erlaubten KI-Assistenten, also ein Programm, dem Sie schriftlich Aufgaben geben. Mit der Vorlage unten lassen Sie sich Varianten und Hypothesen vorschlagen. Wählen Sie eine Variante aus, die zur Hypothese passt, und prüfen Sie sie auf Richtigkeit und Ton.

1. Messgrösse und Erfolgsgrenze festlegen. Wie messen Sie: Öffnungsrate, Klickrate, Anfragen? Ab welchem Unterschied wollen Sie die neue Variante übernehmen? Legen Sie das vor dem Start fest, nicht danach.

1. Dauer und Menge planen. Wie viele Personen sehen die Varianten, wie lange läuft der Test? Je kleiner der erwartete Unterschied, desto mehr Daten brauchen Sie. Bei wenigen Zahlen sind Schwankungen gross, siehe Kleine Stichproben auswerten.

1. Fair verteilen und nicht eingreifen. Verteilen Sie die Varianten zufällig oder abwechselnd und gleichzeitig. Verändern Sie während des Tests nichts und brechen Sie nicht beim ersten Ausschlag ab.

1. Auswerten und festhalten. Vergleichen Sie die Ergebnisse mit Ihrer Erfolgsgrenze. Halten Sie fest: Hypothese, Varianten, Zeitraum, Zahlen, Entscheid und was Sie gelernt haben. Beachten Sie Einflüsse wie Saison oder Aktionen, siehe Marketingkampagne auswerten.

Vorlage zum Kopieren

Ich möchte einen A/B-Test für einen Text planen.
Was getestet werden soll: [z. B. Betreff eines Newsletters, Schaltflächentext, Anzeigentitel].
Ziel: [z. B. mehr Öffnungen, mehr Anfragen].
Zielgruppe: [Beschreibung].
Aktueller Text (Variante A): [Text].
Bitte:
1. formuliere drei mögliche Hypothesen, warum eine andere Fassung besser wirken könnte,
2. schlage zu jeder Hypothese eine Variante B vor, die sich nur in einem Punkt von A unterscheidet,
3. nenne eine passende Messgrösse und eine Frage, wie ich Dauer und Menge plane,
4. liste Einflüsse auf, die das Ergebnis verfälschen könnten.
Sage nicht, welche Variante gewinnt, und nenne keine erfundenen Studien oder Prozentzahlen. Weise auf Unsicherheit bei kleinen Zahlen hin.

Setzen Sie Ihre Angaben ein und entscheiden Sie selbst, welche Hypothese Sie testen.

Worauf Sie achten müssen

• Zu wenig Daten. Bei kleinen Zahlen entstehen Unterschiede durch Zufall. Brechen Sie nicht beim ersten Ausschlag ab und lesen Sie Ergebnisse vorsichtig.
• KI kann den Gewinner nicht vorhersagen. Sie liefert Ideen, aber nur der Test zeigt, was bei Ihrer Zielgruppe wirkt. Verlassen Sie sich nicht auf Prognosen.
• Rechtliches und Datenschutz. Tests mit Nutzerdaten, Tracking und E-Mail-Auswertung unterliegen Datenschutzvorgaben. Prüfen Sie Einwilligung und Auswertung im Einzelfall mit einer Fachperson.
• Werbeaussagen. Varianten mit stärkeren Versprechen müssen stimmen. Testen Sie keine Aussagen, die Sie nicht halten können.
• Nicht alles testen. Konzentrieren Sie sich auf Dinge mit grosser Wirkung, etwa Betreff und Angebot, statt auf Kleinigkeiten.

Ein Beispiel aus der Praxis

Ein erfundenes Beispiel: Ein Weinhändler in Lenzburg verschickt monatlich einen Newsletter an rund 800 Kundinnen. Frau Müller aus dem Marketing möchte wissen, ob ein Betreff mit konkretem Nutzen besser wirkt als der bisherige allgemeine.

Mit der Vorlage formuliert sie die Hypothese und eine Variante, die sich nur im Betreff unterscheidet. Beim ersten Versand wirkt B besser, beim zweiten ist es umgekehrt. Sie verlängert den Test um zwei Runden und entscheidet nach der vorher festgelegten Regel. Das Ergebnis ist knapp, und sie notiert, dass bei diesen Zahlen noch kein klarer Unterschied sichtbar ist.

So hilft Ihnen Alpasana

Die KI-Beratung und digitale Transformation von Alpasana umfasst laut Leistungsbeschreibung eine Content- und Kampagnenstrategie sowie SEO/SEM mit Audit, Optimierung und Reporting. Projekte werden individuell offeriert.

Wenn Sie Tests und Auswertung in eine grössere Strategie einbetten möchten, kann das in einer Anfrage geklärt werden. Eine Garantie für Verbesserungen gibt es nicht.

Häufige Fragen

Wie lange soll ein Test laufen?

So lange, bis Sie genug Daten für Ihre Erfolgsgrenze haben, und mindestens über einen ganzen Rhythmus, etwa eine Woche oder zwei Versandrunden. Legen Sie die Dauer vorher fest.

Darf ich mehrere Dinge gleichzeitig testen?

Besser nicht. Dann wissen Sie nicht, was gewirkt hat. Testen Sie eins nach dem anderen.

Was, wenn kein Unterschied sichtbar ist?

Auch das ist ein Ergebnis: Die Änderung hat keinen grossen Effekt. Probieren Sie einen mutigeren Unterschied oder ein anderes Thema. Mehr zu Texten: Landingpage-Texte mit KI.

Brauche ich dafür spezielle Software?

Viele Newsletter- und Websitesysteme haben Testfunktionen. Prüfen Sie Datenschutz und Auswertung, bevor Sie sie nutzen.