Statistische Berechnungen in A/Bn-Tests
In diesem Artikel werden die detaillierten statistischen Berechnungen dokumentiert, die bei manuellen A/Bn-Tests in Adobe Target verwendet werden. Definitionen werden für Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift und Confidence bereitgestellt.
Durchschnittliche Leistung
Im folgenden Abschnitt werden die in der vorherigen Abbildung verwendeten Berechnungen erläutert.
Konversionsrate und Umsatz pro Besucher (RPV)-Kampagnen
Die folgende Abbildung zeigt Conversion Rate, Confidence Interval of Conversion Rate und die Anzahl der Conversions in einem Target. Die erste Zeile zeigt beispielsweise, dass für Erlebnis A der Conversion Rate bei 25,81 % liegt, wobei ein Confidence Interval von ±7,7 % besteht und 32 Konversionen aufgezeichnet wurden. Da 124 Besucher das Erlebnis gesehen haben, entspricht dies 32/124 = 25,81 %.
Die Konversionsrate oder Mittelwert, µ für jedes Erlebnis ** in einem Experiment wird als Verhältnis der Summe der Metrik zur Anzahl der Einheiten definiert, die dieser Metrik zugewiesen sind, N:
Hier,
-
YI ist der Wert der Metrik für jede Einheit i, die einem bestimmten Erlebnis zugewiesen wurde **.
-
Die Summe über den Einheiten i hängt von der gewählten Zählmethodik ab.
- Wenn Visitors als Zählmethodik verwendet wird, ist jede Einheit ein Unique Visitor , der als eindeutiger Teilnehmer an der Aktivität für die gesamte Lebensdauer der Aktivität definiert ist.
- Wenn Visits als Zählmethodik verwendet wird, ist jede Einheit ein eindeutiger Besuch, der als eindeutiger Teilnehmer eines Erlebnisses während einer Target Sitzung (mit eindeutigem
sessionId
) definiert ist. Wenn sich diesessionId
ändert oder der Besucher den Konversionsschritt erreicht, wird ein neuer Besuch gezählt. - Wenn Activity Impressions als Zählmethodik verwendet wird, ist jede Einheit eine eindeutige Impression, die jedes Mal definiert wird, wenn ein Besucher eine Seite der Aktivität lädt.
Confidence Interval of Mean/Conversion Rate
Das Konfidenzintervall der Konversionsrate wird intuitiv definiert als Bereich möglicher Konversionsraten, der mit den zugrunde liegenden Daten konsistent ist.
Bei der Durchführung von Experimenten ist die Konversionsrate für ein bestimmtes Erlebnis eine Schätzung der „echten“ Konversionsrate. Um die Unsicherheit in dieser Schätzung zu quantifizieren, verwendet Target ein Konfidenzintervall. Target meldet immer ein Konfidenzintervall von 95 %, was bedeutet, dass am Ende 95 % der berechneten Konfidenzintervalle die tatsächliche Konversionsrate des Erlebnisses enthalten.
Ein 95 %-Konfidenzintervall der Konversionsrate µ ist definiert als der Wertebereich:
wobei der Standardfehler für den Mittelwert wie folgt definiert ist
Wird eine unvoreingenommene Schätzung der Stichprobenstandardabweichung verwendet:
Handelt es sich bei der Kampagne um eine Kampagne mit Konversionsrate (d. h. die Konversionsmetrik ist binär), wird der Standardfehler wie folgt reduziert:
Steigerung
Die folgende Abbildung zeigt Lift und Confidence Interval of Lift in einem Target. Die Zahl stellt den Durchschnitt des Bereichs der Steigerungsgrenzen dar, und der Pfeil gibt an, ob die Steigerung positiv oder negativ ist. Der Pfeil wird grau angezeigt, bis die Konfidenz um 95 % überschritten ist. Nachdem die Konfidenz den Schwellenwert überschritten hat, wird der Pfeil basierend auf einer positiven oder negativen Steigerung grün oder rot angezeigt.
Die Steigerung zwischen einem Erlebnis und dem Kontrollerlebnis 0 ist das relative „Delta“ der Konversionsraten, definiert als
wobei die einzelnen Umrechnungskurse wie oben definiert sind. Einfacher ausgedrückt:
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Wenn die Konversionsrate des Kontrollerlebnisses 0 0 beträgt, gibt es keine Steigerung.
Confidence Interval of Lift
Das Boxplot-Diagramm in der Spalte Average Lift and Confidence Interval stellt den Durchschnittswert und 95 % Confidence Interval of Lift dar. Das Boxplot-Diagramm ist grau, wenn es eine Überschneidung des Konfidenzintervalls eines bestimmten Nicht-Kontrollerlebnisses mit dem Konfidenzintervall des Kontrollerlebnisses gibt. Das Boxplot-Diagramm ist grün oder rot, wenn der Bereich des Konfidenzintervalls eines bestimmten Erlebnisses über oder unter dem Konfidenzintervall des Kontrollerlebnisses liegt.
Der Standardfehler des Anstiegs zwischen einem Erlebnis ** und dem Kontrollerlebnis 0 wird wie folgt definiert:
Dann beträgt das 95-%-Konfidenzintervall der Steigerung:
Diese Berechnung verwendet die „Delta“-Methode und wird in diesem Dokument ausführlicher beschrieben
Confidence
Die letzte Spalte zeigt die Konfidenz in einem Target. Die Konfidenz eines Erlebnisses ist eine Wahrscheinlichkeit (als Prozentsatz bezeichnet), ein Ergebnis zu erhalten, das so extrem ist wie das beobachtete, wenn die Nullhypothese wahr ist. Im Hinblick auf p-Werte ist die angezeigte Konfidenz 1 - p-Wert. Eine höhere Konfidenz bedeutet intuitiv, dass die Wahrscheinlichkeit, dass das Kontrollerlebnis und das Nicht-Kontrollerlebnis gleiche Konversionsraten haben, geringer ist.
Target wird zwischen dem Prüferlebnis und dem Kontrollerlebnis ein zweiseitiger Welch's t-Test durchgeführt, um zu testen, ob die Mittel der Prüf- und Kontrollerlebnisse identisch sind. Da wir vor der Durchführung des Experiments normalerweise nicht wissen, ob die Stichprobengrößen und Varianzen zweier Gruppen identisch sind, und Target auch die Übertragung ungleicher Prozentsätze des Traffics an jedes Erlebnis ermöglicht, gehen wir nicht davon aus, dass die Varianz für jedes Erlebnis gleich ist. So wird Welchs t-Test anstelle des Student-t-Tests gewählt.
Um Welchs t-Test durchzuführen, beginnen wir zunächst mit der Berechnung der t-Statistik und der Freiheitsgrade, dann führen wir einen zweiseitigen t-Test durch, um den p-Wert zu erzeugen. Schließlich berechnen wir die Konfidenz auf der Basis des p-Werts.
Die t-Statistik ist definiert als die Differenz der Mittelwerte zweier unabhängiger Zufallsvariablen, ** und 0, geteilt durch den Standardfehler der Differenz:
Dabei sind µv und µv0 die Mittel für ** bzw. 0, und der Standardfehler der Differenz zwischen µv und v0 ergibt sich aus:
Dabei sind 2v und 2v0die Varianzen zweier Erlebnisse**bzw.0 und NN v und Nnv0sind Stichproben fürgrößen für*bzw.* 000.
Für Welchs t-Test wird der Freiheitsgrad wie folgt berechnet:
Und der Freiheitsgrad für ** und 0 wird definiert als:
Dann kann der p-Wert aus der Fläche in den Schwänzen der t-Verteilung berechnet werden:
Schließlich wird die in Target gemeldete Konfidenz wie folgt definiert:
Durchführen von Berechnungen offline
Der heruntergeladene CSV-Bericht enthält nur Rohdaten und keine berechneten Metriken wie Umsatz pro Besucher, Steigerung oder Konfidenz, die für A/B-Tests verwendet werden.
Um diese statistischen Größen zu berechnen, laden Sie die ExcelTargetDatei Konfidenzrechner abschließen herunter, um den Wert der Aktivität einzugeben.