Statistiska beräkningar i A/Bn-tester

I den här artikeln beskrivs de detaljerade statistiska beräkningar som används i manuella A/Bn-tester i Adobe Target. Definitioner anges för Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift och Confidence.

Genomsnittlig prestanda

I följande avsnitt förklaras beräkningarna som användes i föregående bild.

Kampanjer för konverteringsgrad och intäkter per besökare

Följande bild visar Conversion Rate, Confidence Interval of Conversion Rate och antalet Conversions i en Target-rapport. Den första raden visar till exempel att för upplevelse A är Conversion Rate 25,81 % med en Confidence Interval på ±7,7 % och 32 konverteringar spelades in. Med tanke på att 124 besökare såg upplevelsen motsvarar detta 32/124 = 25,81 %.

{width="25%"}

Konverteringsgraden eller medelvärdet, μ_ν för varje upplevelse ν i ett experiment definieras som ett förhållande mellan summan av måttet och antalet enheter som tilldelats det måttet, N_ν:

{width="125px"}

Här,

Confidence Interval of Mean/Conversion Rate

Konfidensintervallet för konverteringsgraden definieras intuitivt som ett intervall av möjliga konverteringsgrader som överensstämmer med underliggande data.

När du kör experiment är konverteringsgraden för en viss upplevelse en uppskattning av konverteringsgraden "true". För att kvantifiera osäkerheten i den här uppskattningen använder Target ett konfidensintervall. Target rapporterar alltid ett 95-procentigt konfidensintervall, vilket innebär att i slutet inkluderar 95 % av de beräknade konfidensintervallen den verkliga konverteringsgraden för upplevelsen.

Ett 95 % konfidensintervall för konverteringsgraden μ_ν definieras som värdeintervallet:

{width="30%"}

Där standardfelet för medelvärdet definieras som

{width="75px"}

Om en opartisk uppskattning av provets standardavvikelse används:

{width="200px"}

När kampanjen är en kampanj med konverteringsgrad (dvs. konverteringsmåttet är binärt), minskar standardfelet till:

{width="150px"}

Lyft

Följande bild visar Lift och Confidence Interval of Lift i en Target-rapport. Siffran representerar medelvärdet av lyftomfånget och pilen reflekterar om lyften är positiv eller negativ. Pilen visas i grått tills förtroendet passerar 95%. När förtroendet passerat tröskelvärdet är pilen grön eller röd baserat på en positiv eller negativ lyft.

{width="35%"}

Lyftet mellan en upplevelse ν och kontrollupplevelsen ν₀ är den relativa förändringen i konverteringsgrader, definierad som

{width="15%"}

Om de enskilda konverteringssatserna är de som anges ovan. Enklare,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Om konverteringsgraden för kontrollupplevelsen ν₀ är 0, finns det inget lyft.

Confidence Interval of Lift

Kartongdiagrammet i kolumnen Average Lift and Confidence Interval representerar det genomsnittliga värdet och 95 % Confidence Interval of Lift. Kartongen är grå om konfidensintervallet för en viss okontrollupplevelse överlappar konfidensintervallet för kontrollupplevelsen. Kartongen är grön eller röd när intervallet för den givna upplevelsens konfidensintervall är över eller under konfidensintervallet för kontrollupplevelsen.

Standardfelet för lyften mellan en upplevelse ν och kontrollupplevelsen ν₀ definieras som:

{width="35%"}

Därefter är 95% konfidensintervallet för lyften:

{width="40%"}

Den här beräkningen använder metoden Delta och beskrivs mer ingående i det här dokumentet

Confidence

Den sista kolumnen visar förtroendet för en Target-rapport. Förtroendet hos en upplevelse är en sannolikhet (anges som en procentandel) att få ett resultat som är lika högt som det som observeras, med tanke på att nollhypotesen är sann. Värdet för p-värden är 1 - p-värde. Intuitivt innebär ett högre förtroende att det är mindre troligt att upplevelsen av kontroll och icke-kontroll har samma konverteringsgrad.

I Target utförs en tvåsidig Welchs t-test mellan testupplevelsen och kontrollupplevelsen för att testa om metoderna för test- och kontrollupplevelsen är desamma. Eftersom vi vanligtvis inte vet om samplingsstorlekar och variationer för två grupper är desamma innan vi kör experimentet, och Target även tillåter att du får olika procentandelar av trafiken som skickas till varje upplevelse, antar vi inte att variationen för varje upplevelse är lika. Welchs t-test väljs alltså istället för Students t-test.

För att utföra Welchs t-test börjar vi med att beräkna t-värdet och antalet frihetsgrader och sedan köra ett tvåsidigt t-test för att generera p-värdet. Slutligen beräknar vi förtroendet baserat på p-värde.

t-statistiken definieras som skillnaden mellan medelvärdet för två oberoende slumpvariabler, ν och ν₀, dividerat med standardfelet för skillnaden:

{width="100px"}

Där μ_v och μ_v0 är medelvärdet av ν respektive ν₀ och standardfelet för skillnaden mellan μ_v och μ_v0 ges av:

{width="150px"}

Där σ²_v och σ²_v0 är skillnaderna mellan två upplevelser ν och ν₀ respektive N_v och N 8}v₀ är exempelstorlekar för ​ν _{respektive ν0.}

För Welchs t-test beräknas frihetsgraden enligt följande:

{width="180px"}

Och frihetsgraden för ν och ν₀ definieras som:

{width="100px"}

{width="100px"}

Sedan kan p-värdet beräknas från området i svansen för t-fördelningen:

{width="20%"}

Slutligen definieras förtroendet som rapporteras i Target som:

{width="20%"}

Utföra beräkningar offline

Den hämtade CSV-rapporten innehåller endast rådata och innehåller inte beräknade värden, t.ex. intäkter per besökare, lyft eller förtroende som används för A/B-tester.

Om du vill beräkna dessa statistiska kvantiteter hämtar du Excel-filen Target Complete Confidence Calculator för att ange aktivitetens värde.