Allgemeines

Erfolgreiches A/B-Testing - In 3 Schritten zur Hypothese

Erfolgreiches A/B-Testing - In 3 Schritten zur Hypothese

Warum A/B-Testing?

A/B-Testing kann in den unterschiedlichsten Bereichen eingesetzt werden und bietet die Möglichkeit, wertvolle Insights aus dem User-Verhalten zu generieren und dadurch die Performance von Aktivierungen und Kampagnen zu steigern (lesen Sie auch “CRO – Conversion Rate Optimisation Teil I”  um mehr zum Thema CRO zu erfahren).

In diesem Artikel evaluieren wir die Wichtigkeit einer Hypothese, und wie diese am besten aufgebaut und formuliert werden soll.


Warum überhaupt eine Hypothese?

Das Ziel einer Hypothese ist, nicht einfach nur zwei oder mehrere Varianten gegeneinander zu testen, sondern auch Insights daraus zu generieren, die man für weitere Aktivierungen anwenden kann.

Testet man zB beliebig zwei Button-Texte oder Betreffzeilen in einem Newsletter gegeneinander, bringt das Resultat keinen Insight hervor, den man für eine weitere Umsetzung anwenden kann.

Beispiel: Newsletter Betreffzeile ohne Hypothese
Variante A (Original): “Neue Angebote sind jetzt erhältlich”
Variante B: “Jetzt neue Angebote sichern”

Welcher Betreff auch immer gewinnt, der Test liefert keinen Insight der verwertbar ist, denn worauf wäre die bessere Performance einer Variante zurückzuführen?

Lautet die Hypothese allerdings, dass personalisierte Betreffzeilen (also mit Name im Betreff) zu höheren Open-Rates des Newsletters führen, ist eine Be- oder Widerlegung der Hypothese ein konkreter Insight, der auch in Zukunft verwertet werden kann.

Beispiel: Newsletter Betreffzeile mit o.a. Hypothese
Variante A (Original): “Neue Angebote sind jetzt erhältlich”
Variante B: “Susi, neue Angebote sind jetzt erhältlich”

Wird diese Hypothese in mehreren Tests mit unterschiedlichen Betreffzeilen positiv belegt, ist die Wahrscheinlichkeit sehr hoch, dass sie allgemein meistens zutrifft. Hier wäre damit ein konkreter Insight geschaffen.

In 3 Schritten zur Hypothese

Für einen erfolgreichen A/B-Test sollen zumindest folgende drei Punkte festgelegt werden:

  • Das Ziel (die Conversion)
Beispiele: Kauf im Online-Shop, Newsletter-Anmeldung, Download eines Produkt-Flyers, Kontaktanfrage senden, oder auch min. 15sec eines Videos anzusehen, auf ein Werbemittel zu klicken, einen Newsletter zu öffnen, uvm.

Es ist wichtig, das Ziel klar zu formulieren und tracken zu können, um den Test erfolgreich auszuwerten.

  • Eine angedachte Lösung oder Variante zum Original ("wenn ich das und das mache/ändere...")
  • Ein erwartetes Ergebnis ("...passiert das und das ", zB höhere CTR oder CVR etc.)

Natürlich geht man grundsätzlich davon aus, dass sich eine Hypothese bestätigt. Man kann jedoch genauso bewusst eine Hypothese formulieren, mit dem Ziel, sie zu widerlegen. Ziel ist in jedem Fall ein klar formulierter und klar messbarer Insight.


Die Hypothese - zusammengefasst

Zusammengefasst sieht eine Vorlage für eine Hypothese wie folgt aus:

Unser Ziel (Conversion) ist: XY
Hypothese: Wir gehen davon aus, dass eine Änderung von A nach B in YZ resultiert.


Dem Bauchgefühl oder den Zahlen glauben?

Selbst nach unzähligen A/B-Tests komme ich immer noch ab und zu in Versuchung, Entscheidungen aufgrund des Bauchgefühls zu treffen. Jedoch ist es spannend zu sehen, dass die Zahlen und Ergebnisse eines A/B-Tests gerade dann in vielen Fällen etwas ganz anderes belegen.

Daher lautet die Devise bei CRO (Conversion Rate Optimierung): Hör auf dein Bauchgefühl, wenn es um die Erstellung der Hypothese geht, aber be- oder widerlege diese mit Zahlen.