Statistische berekeningen voor A/Bn-tests
In dit artikel worden de gedetailleerde statistische berekeningen beschreven die in handmatige A/Bn-tests in Adobe Target worden gebruikt. Definities worden opgegeven voor Conversion Rate , Confidence Interval of Conversion Rate , Lift , Confidence Interval for Lift en Confidence .
Gemiddelde prestaties
In de volgende sectie worden de berekeningen beschreven die in de vorige illustratie zijn gebruikt.
Omzetsnelheid en inkomsten per bezoeker (RPV)-campagnes
De volgende afbeelding toont Conversion Rate , Confidence Interval of Conversion Rate en het aantal Conversions in een Target -rapport. De eerste regel toont bijvoorbeeld dat voor Experience A: de waarde Conversion Rate 25,81% is, waarbij een Confidence Interval van ±7,7% en 32 conversies zijn opgenomen. Aangezien 124 bezoekers de ervaring hebben gezien, komt dit overeen met 32/124 = 25,81%.
De omzettingspercentage of gemiddelde, ν , voor elke ervaring ν in een experiment wordt bepaald als verhouding van de som metrisch aan het aantal eenheden die aan metrisch, worden toegewezen N ν:
Hier,
-
Y ν is de waarde van metrisch voor elke eenheid i, die aan een bepaalde ervaring ν is toegewezen.
-
De som over eenheden i hangt van de keus van tellingsmethodologie af.
- Als Visitors wordt gebruikt als de telmethode, is elke eenheid een unieke bezoeker die wordt gedefinieerd als een unieke deelnemer aan de activiteit gedurende de levensduur van de activiteit.
- Als Visits wordt gebruikt als de telmethode, is elke eenheid een uniek bezoek dat wordt gedefinieerd als een unieke deelnemer aan een ervaring tijdens een Target -sessie (met een unieke
sessionId). WanneersessionIdverandert, of de bezoeker de omzettingsstap bereikt, wordt een nieuw bezoek geteld. - Als Activity Impressions wordt gebruikt als de telmethode, is elke eenheid een unieke indruk die wordt gedefinieerd als elke keer dat een bezoeker een pagina van de activiteit laadt.
Confidence Interval of Mean/Conversion Rate
Het betrouwbaarheidsinterval van de omrekeningskoers wordt intuïtief gedefinieerd als een bereik van mogelijke omrekeningskoersen dat consistent is met de onderliggende gegevens.
Wanneer het runnen van experimenten, is de omzettingspercentage voor een bepaalde ervaring een schatting van de "ware"omzettingspercentage. Target gebruikt een betrouwbaarheidsinterval om de onzekerheid in deze schatting te kwantificeren. Target geeft altijd een 95%-betrouwbaarheidsinterval weer, wat betekent dat uiteindelijk 95% van de berekende betrouwbaarheidsintervallen de werkelijke conversiesnelheid van de ervaring bevat.
Er wordt ook een "Vertrouwensnummer" gerapporteerd naast de huidige leidende of winnende ervaring. Dit cijfer wordt alleen gerapporteerd als de Confidence -ervaring van de regelaar ten minste 60% bereikt. Als er twee ervaringen in de activiteit aanwezig zijn, geeft dit aantal het betrouwbaarheidsniveau aan dat de ervaring beter presteert dan de andere ervaring. Als de activiteit meer dan twee ervaringen bevat, geeft dit aantal het betrouwbaarheidsniveau aan dat de ervaring beter presteert dan de gedefinieerde ervaring bij "Besturing". Als de "Controle"ervaring het winnen is, wordt geen "Vertrouwen"cijfer gemeld.
Een 95% betrouwbaarheidsinterval van omzettingspercentage wordt ν bepaald als waaier van waarden:
Wanneer de standaardfout voor het gemiddelde wordt gedefinieerd als
Wanneer een onpartijdige schatting van de standaardafwijking van het monster wordt gebruikt:
Wanneer de campagne een campagne van het omzettingspercentage is (d.w.z., is de omzettings metrisch binair), vermindert de standaardfout tot:
Optillen
De volgende afbeelding toont Lift en Confidence Interval of Lift in een Target -rapport. Het getal vertegenwoordigt het gemiddelde van het bereik van de liftgrenzen en de pijl geeft aan of de lift positief of negatief is. De pijl wordt grijs weergegeven totdat het vertrouwen 95% bereikt. Als het vertrouwen de drempel bereikt, is de pijl groen of rood op basis van een positieve of negatieve lift.
De lift tussen een ervaring ν, en de controleervaring ν 0 is de relatieve "delta"in omzettingspercentages, die zoals worden bepaald
Indien de afzonderlijke omrekeningskoersen overeenkomen met de hierboven omschreven waarden. Eenvoudiger,
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Als de omzettingspercentage van de controleervaring ν 0 0 is, is er geen lift.
Confidence Interval of Lift
De grafiek van het kavel in de Average Lift and Confidence Interval kolom vertegenwoordigt de gemiddelde waarde en 95% Confidence Interval of Lift. Het veld is grijs wanneer het betrouwbaarheidsinterval van een bepaalde ervaring met niet-besturing overlapt met het betrouwbaarheidsinterval van de controleervaring. Het kader is groen of rood wanneer het bereik van het betrouwbaarheidsinterval van een bepaalde ervaring boven of onder het betrouwbaarheidsinterval van de ervaring ligt.
De standaardfout van de lift tussen een ervaring ν, en de controleervaring ν 0 wordt bepaald als:
Vervolgens is het 95% betrouwbaarheidsinterval van de lift:
Deze berekening gebruikt de "Delta"methode, en wordt beschreven meer in detail in dit document
Confidence
In de laatste kolom ziet u het vertrouwen in een Target -rapport. Het vertrouwen van een ervaring is een kans (uitgedrukt als een percentage) om een resultaat te verkrijgen dat even extreem is als het resultaat dat wordt waargenomen, gezien de nulhypothese waar is. In termen van p-waarden, is het getoonde vertrouwen 1 - p-waarde. Intuïtief betekent een hoger vertrouwen dat het minder waarschijnlijk is dat de controle- en niet-controleervaring gelijke omrekeningskoersen hebben.
In Target, wordt een twee-staart lelzen t-test uitgevoerd tussen de testervaring en de controleervaring om te testen als de middelen van test en controleervaringen het zelfde zijn. Omdat we meestal niet weten of de grootte en variaties van de monsters van twee groepen hetzelfde zijn voordat we het experiment uitvoeren. Target geeft u ook de mogelijkheid om ongelijke percentages van het verkeer naar elke ervaring te sturen. Daarom gaan we er niet van uit dat de variantie voor elke ervaring gelijk is. Welch's t-test wordt dus gekozen in plaats van de t-test van Student.
Om de t-test van Welch uit te voeren, beginnen we eerst de t-statistiek en de vrijheidsgraden te berekenen en vervolgens een t-test met twee trappen uit te voeren om de p-waarde te genereren. Tot slot berekenen we het vertrouwen op basis van p-waarde.
t - statistiek wordt bepaald om het verschil van de middelen van om het even welke twee onafhankelijke willekeurige variabelen te zijn, ν en ν 0, die door de standaardfout van het verschil wordt verdeeld:
Waar μ v en μ v0 de middelen van ν en ν 0 respectievelijk, en de standaardfout van het verschil tussen wordt /12 en /v0 door gegeven:
Waar σ 2 v en σ 2 v 0 zijn de varianties van twee ervaringen ν en ν 0 respectievelijk, en N v en N 8} v 0 is steekproefgrootte voor ν en ν 0 respectievelijk.
Voor de T-test van Welch wordt de vrijheidsgraad als volgt berekend:
En graad van vrijheid voor ν en ν 0 worden bepaald als:
Dan kan de p-waarde van het gebied in de staarten van worden gegevens verwerkt t - distributie:
Tot slot wordt het in Target gerapporteerde vertrouwen gedefinieerd als:
Berekeningen offline uitvoeren
Het gedownloade rapport CSVomvat slechts ruwe gegevens en omvat geen berekende metriek, zoals opbrengst per bezoeker, lift, of vertrouwen dat voor tests A/B wordt gebruikt.
Om deze statistische hoeveelheden gegevens te verwerken, download het Target Volledige dossier van Excel van de Rekenmachine van het Vertrouwenom de waarde van de activiteit in te voeren.