Tolka autofördelningsrapporter

Tolka resultatet av en Auto-Allocate A/B-aktivitet i Adobe Target genom att undersöka viktiga indikatorer, bland annat lyft och förtroende.

Många marknadsförare gör misstag genom att i förväg deklarera en vinnande upplevelse innan resultatet visar på den tydliga vinnaren. Target gör det enklare för dig att avgöra vinnaren.

Allmän information om hur du deklarerar en vinnare finns i Tio vanliga A/B-testfall och hur man undviker dem.

Identifiera den vinnande upplevelsen section_24007470CF5B4D30A06610CE8DD23CE3

När du använder Auto-Allocate funktion, Target visar ett emblem högst upp på aktivitetens sida som anger "Ingen vinnare ännu" tills aktiviteten når det minsta antalet konverteringar med tillräcklig säkerhet.

Inget emblem för vinnare

När en klar vinnare deklareras, Target visar "Winner: Experience X."

vinnarbild

NOTE
Automatisk fördelning av aktiviteter är utformade för att hitta den bästa upplevelsen bland alla alternativ och inte bara för att göra parvisa jämförelser med kontroll.

Statistiska garantier för automatisk fördelning section_7AF3B93E90BA4B80BC9FC4783B6A389C

Efter en A/B-aktivitet Auto-Allocate garanterar att den fastställda vinnaren har en faktisk falskt positiv nivå på 5 %. Detta innebär att bara 5 % av tiden är den bestämda vinnaren egentligen inte den bästa upplevelsen bland alla upplevelser i aktiviteten. För A/A-test (med identiska upplevelser), Target avslutar ett test mindre än 5 % av tiden. Det förväntade beteendet för ett A/A-test (med identiska upplevelser) är att det körs oavbrutet, så vinnarmärket ska aldrig visas.

Target använder inte p-value-baserad säkerhet för Auto-Allocate.

The Confidence kolumn i en Auto-Allocate (se bilden nedan) visar sannolikheten för att en upplevelse blir vinnare inom 1 % felmarginal. Algoritmen använder en minsta mätbar effekt på 1 % mellan den bästa och den näst bästa konverteringsgraden. Algoritmen använder Bernstein Inequality för att beräkna denna sannolikhet.

Normala A/B-tester beräknar tillförlitlighet baserat på p-värden. Auto-Allocate använder inte p-värden. P-värden "löst" beräknar sannolikheten för att en viss upplevelse skiljer sig från kontrollen. Dessa p-värden kan bara användas för att avgöra om en upplevelse kan skilja sig från kontrollen. Dessa värden kan inte användas för att avgöra om en upplevelse skiljer sig från en annan upplevelse (inte kontroll).

IMPORTANT
Target visar en vinnare efter ett fördefinierat minsta antal konverteringar, men det slutliga beslutet att välja vinnaren ska alltid vara baserat på resultatet av Adobe Target Beräkna samplingsstorlek. Target tar inte hänsyn till en områdes grundläggande konverteringsgrad och andra viktiga aspekter som matas in i beräknaren för att fastställa aktivitetens varaktighet. Detta resulterar i Target kan visa en vinnare tidigare än vad som krävs baserat på ett minsta antal konverteringar. Mer information finns i Beräkna samplingsstorlek.

Förstå Lyft- och förtroenderapportering i Auto-Allocate verksamhet lift-confidence

I Auto-Allocate aktiviteter definieras den första upplevelsen (som standard med namnet Experience A) alltid som en"kontroll"-upplevelse på Reports -fliken. Denna erfarenhet behandlas inte som en riktig statistisk kontroll i den modellering som används för att fastställa upplevelsernas resultat, men den behandlas som en referens eller baslinje för vissa siffror i rapporten.

Det numeriska"Lyft"-värdet och 95 %-gränserna för varje upplevelse beräknas alltid med referens till den definierade"Kontroll"-upplevelsen. Den definierade kontrollupplevelsen kan inte ha en lyft i förhållande till sig själv, så ett tomt "—"-värde rapporteras för den här upplevelsen. Till skillnad från A/B-tester, Auto-Allocate om en upplevelse fungerar sämre än den definierade kontrollen rapporteras inget negativt Lyft-värde, utan "—" visas.

Visad Confidence Interval staplar representerar det 95-procentiga konfidensintervallet runt den genomsnittliga uppskattningen av en upplevelses konverteringsgrad. Dessa fält är också färgkodade med hänsyn till den definierade "Kontroll"-upplevelsen. "Kontrollfältet" är alltid grått. De delar av konfidensintervallen som ligger under "Kontroll" - upplevelsens konfidensintervall är röda och de delar av konfidensintervallen som ligger över "Kontroll" - upplevelsen är färgade i grönt.

En vinnare hittas när den ledande upplevelsen är 95 % Confidence Interval överlappar inte andra upplevelser. Den vinnande upplevelsen får en grön stjärna till vänster om upplevelsenamnet och i banderollen"Vinnare". När ingen stjärna är synlig står det "Ingen vinnare än" på banderollen och ingen vinnare har hittats ännu.

Ett"konfidensnummer" rapporteras också bredvid den nuvarande ledande eller vinnande upplevelsen. Denna siffra rapporteras endast tills den ledande upplevelsen Confidence når minst 60 %. Om det finns två upplevelser i Auto-Allocate -aktivitet, det här talet representerar konfidensnivån för att upplevelsen fungerar bättre än den andra. Om det finns fler än två upplevelser i Auto-Allocate -aktivitet, det här talet representerar den konfidensnivå som upplevelsen fungerar bättre än den definierade "Kontroll"-upplevelsen. Om"Kontroll"-upplevelsen vinner rapporteras ingen siffra för"förtroende".

Vanliga frågor section_C8E068512A93458D8C006760B1C0B6A2

Här följer svar på vanliga frågor:

Det har gått några dagar framåt. Varför visar alla konfidensvärden fortfarande 0 %?

En av följande orsaker beskriver varför 0 % visas i rapportens Confidence kolumn för alla aktiviteter:

  • Manuella A/B-tester och Auto-Allocate använd olika statistik för att visa Confidence värden.

    Manuella A/B-tester använder p-värden baserade på Welch's t-test. Ett P-värde är sannolikheten att hitta den observerade (eller mer extrema) skillnaden mellan en upplevelse och kontrollen, eftersom det i verkligheten inte finns någon sådan skillnad. Dessa P-värden kan bara användas för att avgöra om observerade data är konsekventa med en viss upplevelse och om kontrollen är densamma. Dessa värden kan inte användas för att avgöra om en upplevelse skiljer sig från en annan upplevelse (inte kontroll).

    Auto-Allocate visar sannolikheten för att en viss upplevelse ska bli en riktig vinnare för alla upplevelser i aktiviteten. Det är bara en vinnande upplevelse (som sannolikt är vinnaren) som har ett värde som inte är noll. Alla andra är mest benägna att vara förlorare och visa 0 %.

  • Auto-Allocate börjar känna självförtroende först efter att den vinnande upplevelsen fått 60 % självförtroende. Dessa konfidensnivåer uppträder vanligtvis på ungefär hälften så lång tid som ett normalt A/B-test skulle ta att slutföra (även om denna tidsram inte garanteras). Om du vill avgöra hur länge ett normalt A/B-test skulle köras använder du Adobe Target Beräkna samplingsstorlek: konverteringsgraden för plugin-programmet i "Baseline conversion rate", "5%" för "Lift" och 95% för "Confidence". Normalt börjar förtroendet visa sig efter att varje upplevelse har fyllt 50 % av det antal samplingar som krävs per upplevelse. Då får du en uppfattning om när självförtroende börjar uppstå.

  • Om rapporten visar 0 procent över hela linjen är det sannolikt för tidigt i verksamheten.

Finns brickorna "Ingen vinnare", "vinnare" och "stjärna" för Auto-Allocate aktiviteter som använder Analytics as the reporting source (A4T)?

Märken "Ingen vinnare ännu" och "vinnare" finns för närvarande inte i A4T panel i Analysis Workspace. Dessa emblem är inte heller tillgängliga om samma rapport visas i Target. En "stjärna"-bricka som visas i en Target rapport för Auto-Allocate -aktivitet som använder A4T ska ignoreras.

Mer information om detta och andra begränsningar och anteckningar finns i Automatisk allokering in A4T-stöd för Auto-Allocate och Auto-Target verksamhet.

recommendation-more-help
3d9ad939-5908-4b30-aac1-a4ad253cd654