Tolka autofördelningsrapporter

Tolka resultatet av en Auto-Allocate A/B-aktivitet i Adobe Target genom att undersöka viktiga indikatorer, bland annat lyft och förtroende.

Många marknadsförare gör misstag genom att i förväg deklarera en vinnande upplevelse innan resultatet visar på den tydliga vinnaren. Vi har nu gjort det enklare för dig att avgöra vinnaren.

Identifiera den vinnande upplevelsen

När du använder Auto-Allocate funktion, Target visar ett emblem högst upp på aktivitetens sida som anger "Ingen vinnare ännu" tills aktiviteten når det minsta antalet konverteringar med tillräcklig säkerhet.

När en klar vinnare deklareras Target visar "Vinnare: Experience X."

Statistiska garantier för automatisk fördelning

Efter en A/B-aktivitet garanterar Auto-Allocate att den fastställda vinnaren har en faktisk falskt positiv nivå på 5 %. Detta innebär att bara 5 % av tiden är den bestämda vinnaren egentligen inte den bästa upplevelsen bland alla upplevelser i aktiviteten. För ett A/A-test (med identiska upplevelser) sluter vi ett test som är mindre än 5 % av tiden. Det förväntade beteendet för ett A/A-test (med identiska upplevelser) är att det körs oavbrutet, så vinnarmärket ska aldrig visas.

Vi använder inte p-value-baserad säkerhet för Automatisk allokering.

Kolumnen Konfidentiellt i en Automatisk allokering-aktivitet (se nedan) visar sannolikheten för att en upplevelse blir vinnare inom en felmarginal på 1 % (d.v.s. algoritmen använder en minsta detekterbar effekt på 1 % mellan den bästa och den näst bästa konverteringsgraden). Observera att algoritmen använder Bernstein Inequality för att beräkna denna sannolikhet.

Normala A/B-tester beräknar tillförlitlighet baserat på p-värden. Autoallokera använder inte p-värden. P-värden "löst" beräknar sannolikheten för att en viss upplevelse skiljer sig från kontrollen. Dessa p-värden kan bara användas för att avgöra om en upplevelse kan skilja sig från kontrollen. Dessa värden kan inte användas för att avgöra om en upplevelse skiljer sig från en annan upplevelse (inte kontroll).

Förstå Lyft- och förtroenderapportering i Automatisk allokering av aktiviteter

I Automatisk allokering definieras alltid den första upplevelsen (som standard med namnet Experience A) som en kontrollupplevelse på fliken Rapporter. Denna erfarenhet behandlas inte som en riktig statistisk kontroll i den modellering som används för att fastställa upplevelsernas resultat, men den behandlas som en referens eller baslinje för vissa siffror i rapporten.

Det numeriska"Lyft"-värdet och 95 %-gränserna för varje upplevelse beräknas alltid med referens till den definierade"Kontroll"-upplevelsen. Den definierade kontrollupplevelsen kan inte ha en lyft i förhållande till sig själv, så ett tomt "—"-värde rapporteras för den här upplevelsen. Till skillnad från vid A/B-tester rapporteras inte ett negativt Lyft-värde i autofördelningstester om en upplevelse fungerar sämre än den definierade kontrollen. i stället visas "—".

Fälten för konfidensintervall representerar det 95-procentiga konfidensintervallet runt den genomsnittliga uppskattningen av en upplevelses konverteringsgrad. De är också färgkodade i förhållande till den definierade "Kontroll"-upplevelsen. "Kontrollfältet" är alltid grått. De delar av konfidensintervallen som ligger under "Kontroll" - upplevelsens konfidensintervall är röda och de delar av konfidensintervallen som ligger över "Kontroll" - upplevelsen är färgade i grönt.

En vinnare blir resultatet när den ledande upplevelsens 95-procentiga konfidensintervall inte överlappar några andra upplevelser. Den vinnande upplevelsen får en grön stjärna till vänster om upplevelsenamnet och i banderollen"Vinnare". När ingen stjärna är synlig står det "Ingen vinnare än" på banderollen och ingen vinnare har hittats ännu.

Ett"konfidensnummer" rapporteras också bredvid den nuvarande ledande eller vinnande upplevelsen. Denna siffra rapporteras endast tills den ledande upplevelsens förtroende når minst 60 %. Om det finns exakt två upplevelser i Auto-Allocate-experimentet representerar den här siffran konfidensnivån att upplevelsen fungerar bättre än den andra. Om det finns fler än två upplevelser i Auto-Allocate-experimentet representerar den här siffran konfidensnivån att upplevelsen fungerar bättre än den definierade Control-upplevelsen. Om"Kontroll"-upplevelsen vinner rapporteras ingen siffra för"förtroende".

Vanliga frågor

Här följer svar på vanliga frågor:

Det har gått några dagar framåt. Varför visar alla konfidensvärden fortfarande 0 %?

En av följande orsaker beskriver varför 0 % visas i rapportens Confidence kolumn för alla aktiviteter:

• Manuella A/B-tester och automatisk fördelning använder olika statistik för att visa konfidensvärden.

  Manuella A/B-tester använder p-värden baserade på Welch's t-test. Ett P-värde är sannolikheten att hitta den observerade (eller mer extrema) skillnaden mellan en upplevelse och kontrollen, eftersom det i verkligheten inte finns någon sådan skillnad. Dessa P-värden kan bara användas för att avgöra om observerade data är konsekventa med en viss upplevelse och om kontrollen är densamma. Dessa värden kan inte användas för att avgöra om en upplevelse skiljer sig från en annan upplevelse (inte kontroll).

  Autoallokering visar sannolikheten för att en viss upplevelse ska bli en riktig vinnare för alla upplevelser i aktiviteten. Detta innebär att endast en vinnande upplevelse (som troligtvis kommer att vara vinnaren) kommer att ha ett värde som inte är noll. Alla andra är mest benägna att vara förlorare och kommer att visa 0 %.

• Automatisk allokering börjar visa självförtroende först efter att den vinnande upplevelsen fått 60 % självförtroende. Dessa konfidensnivåer uppträder vanligtvis på ungefär hälften så lång tid som ett normalt A/B-test skulle ta att slutföra (även om detta inte garanteras). Använd Adobe Target Beräkna samplingsstorlek: plug-controls konverteringsgrad i "Baseline conversion rate", "5%" för "Lift" och 95% för "Confidence". Normalt börjar förtroendet visa sig efter att varje upplevelse har fyllt 50 % av det antal samplingar som krävs per upplevelse. Då får du en uppfattning om när självförtroende kommer att börja uppstå.

• Om rapporten visar 0 procent över hela linjen är det sannolikt för tidigt i verksamheten.

Finns brickorna "Ingen vinnare", "vinnare" och "stjärna" för Auto-Allocate aktiviteter som använder Analytics as the reporting source (A4T)?

Märken "Ingen vinnare ännu" och "vinnare" finns för närvarande inte i A4T panel i Analysis Workspace. Dessa emblem är inte heller tillgängliga om samma rapport visas i Target. En "stjärna"-bricka som visas i en Target rapport för Auto-Allocate -aktivitet som använder A4T ska ignoreras.

Mer information om detta och andra begränsningar och anteckningar finns i Automatisk allokering in A4T-stöd för Auto-Allocate och Auto-Target verksamhet.

Resurser för Business.Adobe.com

Omnichannel Personalization Enterprise Governance Email Optimization Mobile Optimization Website Optimization Ab Testing