Statistische Berechnungen in A/Bn-Tests
In diesem Artikel werden die detaillierten statistischen Berechnungen dokumentiert, die bei manuellen A/Bn-Tests in Adobe Target verwendet werden. Definitionen werden für Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift und Confidence bereitgestellt.
Mittlere Leistung
Im folgenden Abschnitt werden die in der vorherigen Abbildung verwendeten Berechnungen erläutert.
Konversionsrate und Umsatz pro Besucher (RPV)
Die folgende Abbildung zeigt Conversion Rate, Confidence Interval of Conversion Rate und die Anzahl der Conversions in einem Target -Bericht. Die erste Zeile zeigt beispielsweise, dass für Erlebnis A: der Conversion Rate 25,81 % mit einem Confidence Interval von ±7,7 % beträgt und 32 Konversionen aufgezeichnet wurden. Da 124 Besucher das Erlebnis gesehen haben, entspricht dies 32/124 = 25,81 %.
Die Konversionsrate bzw. der Wert Mittel, μEinfügen für jedes Erlebnis Ausschnitt in einem Experiment wird als Verhältnis der Summe der Metrik zur Anzahl der dieser Metrik zugewiesenen Einheiten definiert, NZurück:
Hier,
-
Yiν ist der Wert der Metrik für jede Einheit i, die einem bestimmten Erlebnis ν zugewiesen wurde.
-
Die Summe der Einheiten i hängt von der Wahl der Zählmethode ab.
- Wenn Visitors als Zählmethodologie verwendet wird, ist jede Einheit ein Unique Visitor, der für die Dauer der Aktivität als eindeutiger Teilnehmer an der Aktivität definiert ist.
- Wenn Visits als Zählmethodik verwendet wird, ist jede Einheit ein eindeutiger Besuch, der als eindeutiger Teilnehmer eines Erlebnisses während einer Target Sitzung definiert wird (mit einer eindeutigen
sessionId). Wenn sich dersessionIdändert oder der Besucher den Konversionsschritt erreicht, wird ein neuer Besuch gezählt. - Wenn Activity Impressions als Zählmethodologie verwendet wird, ist jede Einheit eine eindeutige Impression, die definiert wird als jedes Laden einer beliebigen Seite der Aktivität durch einen Besucher.
Confidence Interval of Mean/Conversion Rate
Das Konfidenzintervall der Konversionsrate wird intuitiv als Bereich möglicher Konversionsraten definiert, der mit den zugrunde liegenden Daten übereinstimmt.
Beim Ausführen von Experimenten ist die Konversionsrate für ein bestimmtes Erlebnis eine Schätzung der Konversionsrate "true". Zur Quantifizierung der Unsicherheit in dieser Schätzung verwendet Target ein Konfidenzintervall. Target meldet immer ein Konfidenzintervall von 95 %, was bedeutet, dass am Ende 95 % der berechneten Konfidenzintervalle die wahre Konversionsrate des Erlebnisses enthalten.
Ein Konfidenzintervall von 95 % der Konversionsrate μν wird als Wertebereich definiert:
wobei der Standardfehler für den Mittelwert als
Wird eine unvoreingenommene Schätzung der Standardabweichung der Stichprobe verwendet:
Wenn es sich bei der Kampagne um eine Konversionsratenkampagne handelt (d. h. die Konversionsmetrik ist binär), reduziert sich der Standardfehler auf:
Steigerung
Die folgende Abbildung zeigt Lift und Confidence Interval of Lift in einem Target Bericht. Die Zahl stellt den Durchschnittswert des Bereichs der Steigerungsgrenzen dar, und der Pfeil spiegelt wider, ob die Steigerung positiv oder negativ ist. Der Pfeil wird grau angezeigt, bis die Konfidenz 95 % überschreitet. Nachdem die Konfidenz den Schwellenwert überschritten hat, ist der Pfeil basierend auf einer positiven oder negativen Steigerung grün oder rot.
Die Steigerung zwischen einem Erlebnis CTIN und dem Kontrollerlebnis CTIL0 ist das relative "Delta"in Konversionsraten, definiert als
wobei die einzelnen Konversionsraten wie oben definiert sind. Einfach gesagt:
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Wenn die Konversionsrate des Kontrollerlebnisses darf0 0 betragen, gibt es keine Steigerung.
Confidence Interval of Lift
Das Boxplotdiagramm in der Spalte Average Lift and Confidence Interval stellt den Durchschnittswert und 95 % Confidence Interval of Lift dar. Der Boxplot ist grau, wenn es eine Überschneidung des Konfidenzintervalls eines bestimmten Nicht-Kontrollerlebnisses mit dem Konfidenzintervall des Kontrollerlebnisses gibt. Das Boxplot ist grün oder rot, wenn der Bereich des Konfidenzintervalls des jeweiligen Erlebnisses über oder unter dem Konfidenzintervall des Kontrollerlebnisses liegt.
Der Standardfehler der Steigerung zwischen einem Erlebnis CTIH und dem Kontrollerlebnis CTA0 wird wie folgt definiert:
Anschließend ist das 95% Konfidenzintervall der Steigerung:
Diese Berechnung verwendet die Delta-Methode und wird in diesem Dokument 🔗 ausführlicher als beschrieben.
Confidence
Die letzte Spalte zeigt die Konfidenz in einem Target -Bericht an. Die Konfidenz eines Erlebnisses ist eine Wahrscheinlichkeit (als Prozentsatz bezeichnet), ein so extremes Ergebnis zu erzielen wie das, das beobachtet wird, da die Null-Hypothese wahr ist. In Bezug auf p-Werte ist die angezeigte Konfidenz 1 - p-Wert. Intuitiv bedeutet höhere Konfidenz, dass es weniger wahrscheinlich ist, dass das Kontroll- und Nicht-Kontrollerlebnis über gleiche Konversionsraten verfügt.
In Target wird zwischen dem Testerlebnis und dem Kontrollerlebnis ein zweiseitiger t-test Welch's t-test durchgeführt, um zu testen, ob die Test- und Kontrollerlebnisse identisch sind. Da wir in der Regel nicht wissen, ob die Stichprobengrößen und Varianzen von zwei Gruppen vor dem Ausführen des Experiments identisch sind und Target Ihnen auch ermöglicht, ungleiche Traffic-Prozentsätze an jedes Erlebnis zu senden, gehen wir nicht davon aus, dass die Varianz für jedes Erlebnis gleich ist. So wird Welchs t-Test anstelle des Student-T-Tests gewählt.
Um Welches t-Test durchzuführen, beginnen wir zunächst mit der Berechnung der t-Statistik und der Freiheitsgrade und führen dann einen zweiseitigen t-Test durch, um den p-Wert zu generieren. Schließlich berechnen wir die Konfidenz basierend auf dem p-Wert.
Die t-Statistik ist definiert als die Differenz zwischen den Mitteln zweier unabhängiger zufälliger Variablen, ν und ν0, dividiert durch den Standardfehler der Differenz:
Wobei μv und μv0 die Mittel von ν bzw. ν0 sind und der Standardfehler der Differenz zwischen μv und μv0 wie folgt angegeben wird:
Dabei sind σ2v und σ2v0 die Varianzen zweier Erlebnisse ν und ν0 bzw. Nv und N{1 8}v0 sind Beispielgrößen für ν und ν0.
Für Welch-t-Tests wird der Freiheitsgrad wie folgt berechnet:
Und der Grad der Freiheit für darf und darf 0 wie folgt definiert werden:
Anschließend kann der p-Wert aus dem Bereich in den Tails der t-Verteilung berechnet werden:
Schließlich wird die in Target gemeldete Konfidenz wie folgt definiert:
Durchführen von Berechnungen offline
Der heruntergeladene CSV-Bericht enthält nur Rohdaten und keine berechneten Metriken wie Umsatz pro Besucher, Steigerung oder Konfidenz, die für A/B-Tests verwendet werden.
Laden Sie zur Berechnung dieser statistischen Mengen die Excel-Datei Target Complete Confidence Calculator herunter, um den Aktivitätswert einzugeben.