Tolka autofördelningsrapporter
Tolka resultatet av en Auto-Allocate A/B-aktivitet i Adobe Target genom att undersöka viktiga indikatorer, inklusive lyft och förtroende.
Många marknadsförare gör misstag genom att i förväg deklarera en vinnande upplevelse innan resultatet visar på den tydliga vinnaren. Target gör det enklare för dig att avgöra vinnaren.
Allmän information om hur du deklarerar en vinnare finns i Tio vanliga A/B-testfall och hur du undviker dem.
Identifiera den vinnande upplevelsen section_24007470CF5B4D30A06610CE8DD23CE3
När funktionen Auto-Allocate används visas ett märke längst upp på aktivitetens sida som anger "Ingen vinnare än" tills aktiviteten når det minsta antalet konverteringar med tillräcklig säkerhet. Target
När en klar vinnare deklareras visar Target"Vinnare: Upplevelse X".
Statistiska garantier för automatisk fördelning section_7AF3B93E90BA4B80BC9FC4783B6A389C
I slutet av en A/B-aktivitet garanterar Auto-Allocate att den fastställda vinnaren har en faktisk falskt positiv nivå på 5 %. Detta innebär att bara 5 % av tiden är den bestämda vinnaren egentligen inte den bästa upplevelsen bland alla upplevelser i aktiviteten. För ett A/A-test (med identiska upplevelser) avslutar Target ett test som är mindre än 5 % av tiden. Det förväntade beteendet för ett A/A-test (med identiska upplevelser) är att det körs oavbrutet, så vinnarmärket ska aldrig visas.
Target använder inte p-value-baserad konfidens för Auto-Allocate.
Kolumnen Confidence i en Auto-Allocate-aktivitet (visas nedan) visar sannolikheten för att en upplevelse blir vinnare inom 1 % felmarginal. Algoritmen använder en minsta mätbar effekt på 1 % mellan den bästa och den näst bästa konverteringsgraden. Algoritmen använder Bernstein Innequality för att beräkna den här sannolikheten.
Normala A/B-tester beräknar tillförlitlighet baserat på p-värden. Auto-Allocate använder inte p-värden. P-värden "löst" beräknar sannolikheten för att en viss upplevelse skiljer sig från kontrollen. Dessa p-värden kan bara användas för att avgöra om en upplevelse kan skilja sig från kontrollen. Dessa värden kan inte användas för att avgöra om en upplevelse skiljer sig från en annan upplevelse (inte kontroll).
Förstå Lyft- och förtroenderapportering i Auto-Allocate-aktiviteter lift-confidence
I Auto-Allocate-aktiviteter definieras alltid den första upplevelsen (som standard Experience A) som en kontrollupplevelse på fliken Reports. Denna erfarenhet behandlas inte som en riktig statistisk kontroll i den modellering som används för att fastställa upplevelsernas resultat, men den behandlas som en referens eller baslinje för vissa siffror i rapporten.
Det numeriska"Lyft"-värdet och 95 %-gränserna för varje upplevelse beräknas alltid med referens till den definierade"Kontroll"-upplevelsen. Den definierade kontrollupplevelsen kan inte ha en lyft i förhållande till sig själv, så ett tomt "—"-värde rapporteras för den här upplevelsen. Till skillnad från i A/B-tester rapporteras inte ett negativt Lyft-värde i Auto-Allocate-tester om en upplevelse fungerar sämre än den definierade kontrollen. I stället visas "—".
De Confidence Interval staplarna som visas representerar 95 % konfidensintervall runt den genomsnittliga uppskattningen av en upplevelses konverteringsgrad. Dessa fält är också färgkodade med hänsyn till den definierade "Kontroll"-upplevelsen. "Kontrollfältet" är alltid grått. De delar av konfidensintervallen som ligger under "Kontroll" - upplevelsens konfidensintervall är röda och de delar av konfidensintervallen som ligger över "Kontroll" - upplevelsen är färgade i grönt.
En vinnare hittas när den ledande upplevelsen (95 % Confidence Interval) inte överlappar några andra upplevelser. Den vinnande upplevelsen får en grön stjärna till vänster om upplevelsenamnet och i banderollen"Vinnare". När ingen stjärna är synlig står det "Ingen vinnare än" på banderollen och ingen vinnare har hittats ännu.
Ett"konfidensnummer" rapporteras också bredvid den nuvarande ledande eller vinnande upplevelsen. Den här siffran rapporteras bara tills den ledande upplevelsen Confidence når minst 60 %. Om det finns två upplevelser i aktiviteten Auto-Allocate representerar det här talet den konfidensnivå som upplevelsen fungerar bättre än den andra. Om det finns fler än två upplevelser i aktiviteten Auto-Allocate representerar det här talet den konfidensnivå som upplevelsen fungerar bättre än den definierade Control-upplevelsen. Om"Kontroll"-upplevelsen vinner rapporteras ingen siffra för"förtroende".
Vanliga frågor section_C8E068512A93458D8C006760B1C0B6A2
Här följer svar på vanliga frågor:
Det har gått några dagar framåt. Varför visar alla konfidensvärden fortfarande 0 %?
En av följande orsaker beskriver varför 0 % visas i rapportens Confidence-kolumn för alla aktiviteter:
-
Manuella A/B-tester och Auto-Allocate använder olika statistik för att visa Confidence-värden.
Manuella A/B-tester använder p-värden som baseras på Welchs t-test. Ett P-värde är sannolikheten att hitta den observerade (eller mer extrema) skillnaden mellan en upplevelse och kontrollen, eftersom det i verkligheten inte finns någon sådan skillnad. Dessa P-värden kan bara användas för att avgöra om observerade data är konsekventa med en viss upplevelse och om kontrollen är densamma. Dessa värden kan inte användas för att avgöra om en upplevelse skiljer sig från en annan upplevelse (inte kontroll).
Auto-Allocate visar sannolikheten för att en viss upplevelse ska vara en riktig vinnare för alla upplevelser i aktiviteten. Det är bara en vinnande upplevelse (som sannolikt är vinnaren) som har ett värde som inte är noll. Alla andra är mest benägna att vara förlorare och visa 0 %.
-
Auto-Allocate börjar visa förtroende först efter att den vinnande upplevelsen fått 60 % förtroende. Dessa konfidensnivåer uppträder vanligtvis på ungefär hälften så lång tid som ett normalt A/B-test skulle ta att slutföra (även om denna tidsram inte garanteras). Om du vill avgöra hur länge ett normalt A/B-test skulle köras använder du Adobe Target Beräkna samplingsstorlek: plugin-kontrollens konverteringsgrad i "Baslinjekonvertering", "5 %" för "Lyft" och 95 % för "Förtroende". Normalt börjar förtroendet visa sig efter att varje upplevelse har fyllt 50 % av det antal samplingar som krävs per upplevelse. Då får du en uppfattning om när självförtroende börjar uppstå.
-
Om rapporten visar 0 procent över hela linjen är det sannolikt för tidigt i verksamheten.
Är"Ingen vinnare","vinnare" och"stjärna" tillgängliga för Auto-Allocate aktiviteter som använder Analytics as the reporting source (A4T)?
Märken "Ingen vinnare än" och "vinnare" är för närvarande inte tillgängliga på panelen A4T i Analysis Workspace. Dessa emblem är inte heller tillgängliga om samma rapport visas i Target. Ett stjärntecken som visas i en Target-rapport för en Auto-Allocate-aktivitet som använder A4T ska ignoreras.
Mer information om detta och andra begränsningar och anteckningar finns i Automatisk allokering i A4T-stöd för Auto-Allocate och Auto-Target aktiviteter.