Statistische Berechnungen in A/Bn-Tests
In diesem Artikel werden die detaillierten statistischen Berechnungen dokumentiert, die bei manuellen A/Bn-Tests in Adobe Target. Definitionen werden bereitgestellt für Konversionsrate, Konfidenzintervall der Konversionsrate, Steigerung, Konfidenzintervall für die Steigerung, und Vertrauen.
Mittlere Leistung
Im folgenden Abschnitt werden die in der vorherigen Abbildung verwendeten Berechnungen erläutert.
Konversionsrate und Umsatz pro Besucher (RPV)
Die folgende Abbildung zeigt Konversionsrate, Konfidenzintervall der Konversionsrateund die Anzahl der Konversionen in einer Target Bericht. Die erste Zeile zeigt beispielsweise für Erlebnis A: die Konversionsrate ist 25,81 % mit einer Konfidenzintervall von ±7,7 % und 32 Konversionen aufgezeichnet wurden. Da 124 Besucher das Erlebnis gesehen haben, entspricht dies 32/124 = 25,81 %.
die Konversionsrate oder mean, μν für jedes Erlebnis ν in einem Experiment definiert ist als Verhältnis der Summe der Metrik zur Anzahl der Einheiten, die dieser Metrik zugewiesen sind, Nν:
Hier,
-
Yiν der Wert der Metrik für jede Einheit i, das einem bestimmten Erlebnis zugewiesen wurde ν.
-
Summe über Einheiten i hängt von der Wahl der Zählmethode ab.
- Wenn Besucher als Zählmethodik verwendet wird, ist jede Einheit ein Unique Visitor, der für die gesamte Aktivitätsdauer als Unique Visitor definiert ist.
- Wenn Besuche als Zählmethodik verwendet wird, ist jede Einheit ein eindeutiger Besuch, der als eindeutiger Teilnehmer an einem Erlebnis während einer Target Sitzung (mit einer eindeutigen
sessionId). Wenn die VariablesessionIdändern oder der Besucher den Konversionsschritt erreicht, wird ein neuer Besuch gezählt. - Wenn Aktivitätsimpressionen als Zählmethodik verwendet wird, ist jede Einheit eine eindeutige Impression, die definiert wird als jedes Mal, wenn ein Besucher eine Seite der Aktivität lädt.
Konfidenzintervall des mittleren/Konversionsrate
Das Konfidenzintervall der Konversionsrate wird intuitiv als Bereich möglicher Konversionsraten definiert, der mit den zugrunde liegenden Daten übereinstimmt.
Beim Ausführen von Experimenten ist die Konversionsrate für ein bestimmtes Erlebnis ein Schätzung der "true"-Konversionsrate. Quantifizierung der Unsicherheit in dieser Schätzung, Target verwendet ein Konfidenzintervall. Target meldet immer ein Konfidenzintervall von 95 %, was bedeutet, dass am Ende 95 % der berechneten Konfidenzintervalle die wahre Konversionsrate des Erlebnisses enthalten.
Ein Konfidenzintervall von 95 % der Konversionsrate μν wird als Wertebereich definiert:
wobei der Standardfehler für den Mittelwert als
Wird eine unvoreingenommene Schätzung der Standardabweichung der Stichprobe verwendet:
Wenn es sich bei der Kampagne um eine Konversionsratenkampagne handelt (d. h. die Konversionsmetrik ist binär), reduziert sich der Standardfehler auf:
Steigerung
Die folgende Abbildung zeigt Steigerung und Konfidenzintervall der Steigerung in einer Target Bericht. Die Zahl stellt den Durchschnittswert des Bereichs der Steigerungsgrenzen dar, und der Pfeil spiegelt wider, ob die Steigerung positiv oder negativ ist. Der Pfeil wird grau angezeigt, bis die Konfidenz 95 % überschreitet. Nachdem die Konfidenz den Schwellenwert überschritten hat, ist der Pfeil basierend auf einer positiven oder negativen Steigerung grün oder rot.
Die Steigerung zwischen einem Erlebnis ν und das Kontrollerlebnis ν0 ist das relative "Delta"in Konversionsraten, definiert als
wobei die einzelnen Konversionsraten wie oben definiert sind. Einfach gesagt:
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Wenn die Konversionsrate des Kontrollerlebnisses ν0 den Wert 0 hat, ist keine Steigerung vorhanden.
Confidence Interval of Lift
Das Diagrammdiagramm im Durchschnittliche Steigerung und Konfidenzintervall -Spalte steht für den Durchschnittswert und 95 % Konfidenzintervall der Steigerung. Der Boxplot ist grau, wenn es eine Überschneidung des Konfidenzintervalls eines bestimmten Nicht-Kontrollerlebnisses mit dem Konfidenzintervall des Kontrollerlebnisses gibt. Das Boxplot ist grün oder rot, wenn der Bereich des Konfidenzintervalls des jeweiligen Erlebnisses über oder unter dem Konfidenzintervall des Kontrollerlebnisses liegt.
Der Standardfehler der Steigerung zwischen einem Erlebnis ν und das Kontrollerlebnis ν0 definiert als:
Anschließend ist das 95% Konfidenzintervall der Steigerung:
Diese Berechnung verwendet die Delta-Methode und wird beschrieben. Weitere Informationen finden Sie in diesem Dokument .
Konfidenz
Die letzte Spalte zeigt die Konfidenz in einer Target Bericht. Die Konfidenz eines Erlebnisses ist eine Wahrscheinlichkeit (als Prozentsatz bezeichnet), ein so extremes Ergebnis zu erzielen wie das, das beobachtet wird, da die Null-Hypothese wahr ist. In Bezug auf p-Werte lautet die angezeigte Konfidenz 1 - p-Wert. Intuitiv bedeutet höhere Konfidenz, dass es weniger wahrscheinlich ist, dass das Kontroll- und Nicht-Kontrollerlebnis über gleiche Konversionsraten verfügt.
In Target, einem zweiseitigen Welch's t-Test wird zwischen dem Testerlebnis und dem Kontrollerlebnis ausgeführt, um zu testen, ob die Test- und Kontrollerlebnisse identisch sind. Weil wir normalerweise nicht wissen, ob Stichprobengrößen und Varianzen von zwei Gruppen vor dem Experiment identisch sind, und Target ermöglicht Ihnen auch, ungleiche Traffic-Prozentsätze an jedes Erlebnis zu senden. Wir gehen nicht davon aus, dass die Varianz für jedes Erlebnis gleich ist. So wird Welchs t-Test anstelle des Student-T-Tests gewählt.
Um Welches t-Test durchzuführen, beginnen wir zunächst mit der Berechnung der t-Statistik und der Freiheitsgrade und führen dann einen zweiseitigen t-Test durch, um den p-Wert zu generieren. Schließlich berechnen wir die Konfidenz basierend auf dem p-Wert.
Die t-statistic ist definiert als die Differenz der Mittel zweier unabhängiger Zufallsvariablen, ν und ν0, geteilt durch den Standardfehler der Differenz:
Wo μv und μv0 sind die Mittel ν und ν0 bzw. der Standardfehler der Differenz zwischen μv und μv0 werden angegeben durch:
Wo σ2v und σ2v0 sind die Varianzen von zwei Erlebnissen ν und ν0 und Nv und Nv0 sind Stichprobengrößen für ν und ν0 bzw.
Für Welch-t-Tests wird der Freiheitsgrad wie folgt berechnet:
Und der Grad der Freiheit für ν und ν0 werden definiert als:
Dann kann der p-Wert aus dem Bereich in den Tails der t-distribution:
Schließlich wurde die in Target definiert als:
Durchführen von Berechnungen offline
Der heruntergeladene CSV-Bericht enthält nur Rohdaten und keine berechneten Metriken wie Umsatz pro Besucher, Steigerung oder Konfidenz, die für A/B-Tests verwendet werden.
Um diese statistischen Mengen zu berechnen, laden Sie die Target Vollständige Vertrauensberechnung Excel-Datei zur Eingabe des Aktivitätswerts.