Best Practices für Journey Optimizer Experimentation Accelerator content-experiment-best-practices
Was sind A/B-Tests?
Bei A/B-Tests werden zwei oder mehr Varianten eines Objekts verglichen, um zu ermitteln, welche Variante bezüglich eines definierten Ziels besser abschneidet.
Teilnehmerinnen und Teilnehmer werden nach dem Zufallsprinzip einer Version zugewiesen, die als Variante bezeichnet wird. Anschließend wird ihr Verhalten verfolgt. Die Ergebnisse zeigen, ob eine Variante die anderen statistisch übertrifft.
Wichtige Terminologie
Best Practices für die Durchführung von Experimenten
-
Mit einer klaren Hypothese beginnen
Eine starke Hypothese beinhaltet das, was Sie ändern, was Ihren Erwartungen nach passieren soll und warum.
Beispiel: Wir glauben, dass eine Änderung von X den Wert Y wegen Z erhöhen wird. -
Aussagekräftige Erfolgsmetrik definieren
Wählen Sie eine Metrik, die zu Ihren übergeordneten Zielen passt. Vermeiden Sie „leere“ Metriken, die gut aussehen, aber keine echten Auswirkungen widerspiegeln.
-
Jeweils eine Änderung testen (sofern möglich)
Durch eine Isolierung von Variablen lassen sich Ergebnisse einfacher genau interpretieren. Wenn Sie mehrere Änderungen auf einmal testen, wissen Sie möglicherweise nicht, was den Effekt verursacht hat.
-
Test ausreichend lang ausführen
Vorzeitige Schlussfolgerungen können irreführend sein. Warten Sie auf eine statistisch signifikante Stichprobengröße, bevor Sie aktiv werden.
-
Auf externe Faktoren achten
Saisonabhängigkeit, Feiertage und andere Änderungen in Ihrer Umgebung können Ergebnisse verfälschen. Dokumentieren Sie alles, was das Verhalten während des Tests beeinflussen könnte.
-
Segmentierung durchdacht verwenden
Wenn Sie Ergebnisse nach Zielgruppensegmenten aufschlüsseln, können verborgene Muster sichtbar werden. Sie sollten jedoch kleine Stichprobengrößen nicht überinterpretieren.
-
Erkenntnisse dokumentieren und teilen
Halten Sie klar fest, was getestet wurde, warum und was Sie gelernt haben. Das schafft institutionelles Wissen und verhindert Wiederholungsfehler.
Allgemeine Metriken
Was macht ein gutes Experiment aus?
Ein gutes Experiment führt nicht nur zu einem Erfolg, sondern auch zu einem klaren, verwertbaren Lernen.
Achten Sie auf Folgendes:
✓ Statistische Konfidenz: Der Unterschied zwischen den Varianten ist wahrscheinlich nicht zufällig.
✓ Ausrichtung an Zielen: Die primäre Metrik spiegelt bedeutenden Fortschritt bei der Erreichung eines Geschäftsziels wider.
✓ Sekundäre Auswirkung: Keine signifikanten negativen Auswirkungen auf zugehörige Metriken.
✓ Skalierbarkeit: Das Ergebnis kann für zukünftige Entscheidungen genutzt oder auf andere Bereiche verallgemeinert werden.
✓ Klarheit: Die Ursache des Ergebnisses ist relativ gut isoliert und bekannt.
Beim Experimentieren geht es nicht nur darum, die „beste“ Variante zu finden, sondern auch darum, durch Tests und Iterationen Wissen aufzubauen. Gut durchgeführte Experimente liefern Erkenntnisse, die zu intelligenteren Entscheidungen, besseren Anwendererlebnissen und optimierten Ergebnissen führen.
Beispiel:
-
Unternehmen: Hotelkette
-
Hypothese: Wenn wir auf der Homepage Formulierungen mit größerer Dringlichkeit verwenden, führt dies zu mehr Buchungen.
- Kontrollvariante: Originalversion
- Variante: Neue Version mit mehr Dringlichkeit
- Primäre Metrik: Buchungsrate
- Sekundäre Metriken: Bounce-Rate, Besuchszeit pro Site
-
Ergebnis: Die Variante führte zu einer Steigerung der Buchungsrate um 14 %, ohne dass sich andere Metriken negativ änderten.
-
Aktion: Erwägen Sie, die Variante einzuführen und Folgeexperimente durchzuführen, um ähnliche Ansätze in anderen Bereichen zu testen.