Statistische berekeningen voor A/Bn-tests
In dit artikel worden de gedetailleerde statistische berekeningen beschreven die in de handmatige A/Bn-tests in Adobe Target. Definities worden gegeven voor Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift, en Confidence.
Gemiddelde prestaties
In de volgende sectie worden de berekeningen beschreven die in de vorige illustratie zijn gebruikt.
Omzetsnelheid en inkomsten per bezoeker (RPV)-campagnes
In de volgende afbeelding ziet u Conversion Rate, Confidence Interval of Conversion Rateen het aantal Conversions in een Target verslag. De eerste regel toont bijvoorbeeld dat voor Experience A: de Conversion Rate is 25,81% met a Confidence Interval van ±7,7% en 32 omzettingen werden geregistreerd. Aangezien 124 bezoekers de ervaring hebben gezien, komt dit overeen met 32/124 = 25,81%.
de omrekeningskoers of gemiddelde, μν, voor elke ervaring ν in een experiment wordt gedefinieerd als een verhouding tussen de som van de metrische waarden en het aantal eenheden dat aan die meting is toegewezen; Nν:
Hier,
-
Yν is de waarde van metrisch voor elke eenheid i, die is toegewezen aan een bepaalde ervaring ν.
-
De som over eenheden i hangt af van de keuze van de telmethode.
- Indien Visitors wordt gebruikt als telmethode, is elke eenheid een unieke bezoeker die wordt gedefinieerd als een unieke deelnemer aan de activiteit gedurende de levensduur van de activiteit.
- Indien Visits wordt gebruikt als telmethode, is elke eenheid een uniek bezoek dat wordt gedefinieerd als een unieke deelnemer aan een ervaring tijdens een Target sessie (met een unieke
sessionId). Wanneer desessionIdwanneer de bezoeker de conversiestap bereikt, wordt een nieuw bezoek geteld. - Indien Activity Impressions wordt gebruikt als telmethode, is elke eenheid een unieke indruk die wordt gedefinieerd als elke keer dat een bezoeker een pagina van de activiteit laadt.
Confidence Interval of Mean/Conversion Rate
Het betrouwbaarheidsinterval van de omrekeningskoers wordt intuïtief gedefinieerd als een bereik van mogelijke omrekeningskoersen dat consistent is met de onderliggende gegevens.
Bij het uitvoeren van experimenten is de conversiesnelheid voor een bepaalde ervaring een schatten van de werkelijke omrekeningskoers. Om de onzekerheid in deze raming te kwantificeren, Target gebruikt een betrouwbaarheidsinterval. Target er wordt altijd een betrouwbaarheidsinterval van 95% gerapporteerd, wat betekent dat uiteindelijk 95% van de berekende betrouwbaarheidsintervallen de werkelijke omrekeningskoers van de ervaring bevat.
Een 95% betrouwbaarheidsinterval van de omrekeningskoers μν wordt gedefinieerd als het waardebereik:
Wanneer de standaardfout voor het gemiddelde wordt gedefinieerd als
Wanneer een onpartijdige schatting van de standaardafwijking van het monster wordt gebruikt:
Wanneer de campagne een campagne van het omzettingspercentage is (d.w.z., is de omzettings metrisch binair), vermindert de standaardfout tot:
Optillen
In de volgende afbeelding ziet u Lift en Confidence Interval of Lift in een Target Rapport. Het getal vertegenwoordigt het gemiddelde van het bereik van de liftgrenzen en de pijl geeft aan of de lift positief of negatief is. De pijl wordt grijs weergegeven totdat het vertrouwen 95% bereikt. Als het vertrouwen de drempel bereikt, is de pijl groen of rood op basis van een positieve of negatieve lift.
De lift tussen een ervaring ν en de controleervaring ν0 is de relatieve "delta" in omrekeningskoersen, gedefinieerd als
Indien de afzonderlijke omrekeningskoersen overeenkomen met de hierboven omschreven waarden. Eenvoudiger,
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Indien de omrekeningskoers van de controleervaring ν0 0 is, er is geen lift.
Confidence Interval of Lift
De grafiek van het klokveld in de Average Lift and Confidence Interval de kolom staat voor de gemiddelde waarde en 95% Confidence Interval of Lift. Het veld is grijs wanneer het betrouwbaarheidsinterval van een bepaalde ervaring met niet-besturing overlapt met het betrouwbaarheidsinterval van de controleervaring. Het kader is groen of rood wanneer het bereik van het betrouwbaarheidsinterval van een bepaalde ervaring boven of onder het betrouwbaarheidsinterval van de ervaring ligt.
De standaardfout van de lift tussen een ervaring ν en de controleervaring ν0 wordt gedefinieerd als:
Vervolgens is het 95% betrouwbaarheidsinterval van de lift:
Deze berekening gebruikt de methode "Delta" en wordt beschreven meer in detail in dit document
Confidence
De laatste kolom toont het vertrouwen in een Target verslag. Het vertrouwen van een ervaring is een kans (uitgedrukt als een percentage) om een resultaat te verkrijgen dat even extreem is als het resultaat dat wordt waargenomen, gezien de nulhypothese waar is. Wat p-waarden betreft, wordt het weergegeven vertrouwen 1 - p-waarde. Intuïtief betekent een hoger vertrouwen dat het minder waarschijnlijk is dat de controle- en niet-controleervaring gelijke omrekeningskoersen hebben.
In Target, met twee staarten T-test van Welch tussen de testervaring en de controleervaring wordt uitgevoerd om te testen of de test- en controleervaringen hetzelfde zijn. Omdat we meestal niet weten of de grootte en variaties van de monsters van twee groepen hetzelfde zijn voordat we het experiment uitvoeren, en Target staat u ook toe om ongelijke percentages van verkeer te hebben die naar elke ervaring worden verzonden, veronderstellen wij niet dat de variantie voor elke ervaring gelijk is. Welch's t-test wordt dus gekozen in plaats van de t-test van Student.
Om de t-test van Welch uit te voeren, beginnen we eerst de t-statistiek en de vrijheidsgraden te berekenen en vervolgens een t-test met twee trappen uit te voeren om de p-waarde te genereren. Tot slot berekenen we het vertrouwen op basis van p-waarde.
De t-statistiek wordt gedefinieerd als het verschil tussen de middelen van twee onafhankelijke willekeurige variabelen; ν en ν0, gedeeld door de standaardfout van het verschil:
Wanneer μv en μv0 zijn de middelen ν en ν0 en de standaardfout van het verschil tussen μv en μv0 worden gegeven door:
Wanneer σ2v en σ2v0 de verschillen tussen twee ervaringen ν en ν0 en Nv en Nv0 zijn voorbeeldgrootten voor ν en ν0 respectievelijk.
Voor de T-test van Welch wordt de vrijheidsgraad als volgt berekend:
en de mate van vrijheid voor ν en ν0 worden gedefinieerd als:
Vervolgens kan de p-waarde worden berekend uit het gebied in de staarten van het t-distributie:
Ten slotte werd het vertrouwen in Target wordt gedefinieerd als:
Berekeningen offline uitvoeren
De gedownload CSV-rapport omvat alleen onbewerkte gegevens en omvat geen berekende meetwaarden, zoals inkomsten per bezoeker, lift of betrouwbaarheid die voor A/B-tests worden gebruikt.
Als u deze statistische hoeveelheden wilt berekenen, downloadt u de Target Complete betrouwbaarheidscalculator Excel-bestand om de waarde van de activiteit in te voeren.