Statistiska beräkningar i A/Bn-tester

I den här artikeln beskrivs de detaljerade statistiska beräkningar som används vid manuella A/Bn-tester i Adobe Target. Definitioner finns för Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Liftoch Confidence.

Genomsnittlig prestanda

I följande avsnitt förklaras beräkningarna som användes i föregående bild.

Kampanjer för konverteringsgrad och intäkter per besökare

Följande illustrationer Conversion Rate, Confidence Interval of Conversion Rateoch antalet Conversions i en Target rapport. Den första raden visar till exempel att för upplevelse A: Conversion Rate är 25,81 % med en Confidence Interval av ±7,7 % och 32 konverteringar registrerades. Med tanke på att 124 besökare såg upplevelsen motsvarar detta 32/124 = 25,81 %.

{width="25%"}

konverteringsgraden eller medelvärde, μ_ν för varje upplevelse ν i ett försök definieras som förhållandet mellan summan av mätvärdet och antalet enheter som tilldelats mätvärdet, N_ν:

{width="125px"}

Här,

Confidence Interval of Mean/Conversion Rate

Konfidensintervallet för konverteringsgraden definieras intuitivt som ett intervall av möjliga konverteringsgrader som överensstämmer med underliggande data.

När du kör experiment är konverteringsgraden för en viss upplevelse en uppskattning av konverteringsgraden "true". För att kvantifiera osäkerheten i denna uppskattning Target använder ett konfidensintervall. Target alltid rapporterar ett 95% konfidensintervall, vilket innebär att i slutet av 95% av de beräknade konfidensintervallen inkluderar den verkliga konverteringsgraden för upplevelsen.

Ett 95-procentigt konfidensintervall för konverteringsgraden μ_ν definieras som värdeintervallet:

{width="30%"}

Där standardfelet för medelvärdet definieras som

{width="75px"}

Om en opartisk uppskattning av provets standardavvikelse används:

{width="200px"}

När kampanjen är en kampanj med konverteringsgrad (dvs. konverteringsmåttet är binärt), minskar standardfelet till:

{width="150px"}

Lyft

Följande illustrationer Lift och Confidence Interval of Lift i en Target Rapport. Siffran representerar medelvärdet av lyftomfånget och pilen reflekterar om lyften är positiv eller negativ. Pilen visas i grått tills förtroendet passerar 95%. När förtroendet passerat tröskelvärdet är pilen grön eller röd baserat på en positiv eller negativ lyft.

{width="35%"}

Lyft mellan upplevelser ν och kontrollupplevelsen ν₀ är relativ delta i konverteringsgrader, definierat som

{width="15%"}

Om de enskilda konverteringssatserna är de som anges ovan. Enklare,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Om kontrollupplevelsens konverteringsgrad ν₀ är 0, det finns ingen hiss.

Confidence Interval of Lift

Kartongdiagrammet i Average Lift and Confidence Interval kolumn representerar medelvärdet och 95 % Confidence Interval of Lift. Kartongen är grå om konfidensintervallet för en viss okontrollupplevelse överlappar konfidensintervallet för kontrollupplevelsen. Kartongen är grön eller röd när intervallet för den givna upplevelsens konfidensintervall är över eller under konfidensintervallet för kontrollupplevelsen.

Standardfelet mellan en upplevelse ν och kontrollupplevelsen ν₀ definieras som:

{width="35%"}

Därefter är 95% konfidensintervallet för lyften:

{width="40%"}

Den här beräkningen använder metoden "Delta" och beskrivs mer ingående i det här dokumentet

Confidence

I den sista kolumnen visas förtroendet för Target rapport. Förtroendet hos en upplevelse är en sannolikhet (anges som en procentandel) att få ett resultat som är lika högt som det som observeras, med tanke på att nollhypotesen är sann. När det gäller p-värden visas det förtroende som 1 - p-värde. Intuitivt innebär ett högre förtroende att det är mindre troligt att upplevelsen av kontroll och icke-kontroll har samma konverteringsgrad.

I Target, en tvåsidig Welch's t-test utförs mellan testupplevelsen och kontrollupplevelsen för att testa om metoderna för test- och kontrollupplevelser är desamma. eftersom vi vanligtvis inte vet om provstorlekar och variationer i två grupper är desamma innan vi kör experimentet, och Target gör det även möjligt för er att skicka olika mängder trafik till varje upplevelse, vi antar inte att variansen för varje upplevelse är lika. Welchs t-test väljs alltså istället för Students t-test.

För att utföra Welchs t-test börjar vi med att beräkna t-värdet och antalet frihetsgrader och sedan köra ett tvåsidigt t-test för att generera p-värdet. Slutligen beräknar vi förtroendet baserat på p-värde.

The t-statistik definieras som skillnaden mellan medelvärdet av två oberoende slumpmässiga variabler, ν och ν₀, dividerat med standardfelet för skillnaden:

{width="100px"}

Plats μ_v och μ_v0 är ν och ν₀ och standardfelet för skillnaden mellan μ_v och μ_v0 ges av:

{width="150px"}

Plats σ²_v och σ²_v0 är skillnaderna mellan två upplevelser ν och ν₀ och N_v och N_v0 är samplingsstorlekar för ν och ν₀ respektive.

För Welchs t-test beräknas frihetsgraden enligt följande:

{width="180px"}

Och frihetsgraden för ν och ν₀ definieras som:

{width="100px"}

{width="100px"}

Sedan kan p-värdet beräknas från området i bakgrunden av t-distribution:

{width="20%"}

Slutligen rapporterade förtroendet för Target definieras som:

{width="20%"}

Utföra beräkningar offline

The hämtad CSV-rapport innehåller endast rådata och omfattar inte beräknade värden, t.ex. intäkter per besökare, lyft eller förtroende som används för A/B-tester.

Ladda ned Target Slutför konfidensberäkning Excel-fil som anger aktivitetens värde.