En Auto-Allocate-aktivitet i Adobe Target identifierar en vinnare bland två eller fler upplevelser och omfördelar automatiskt mer trafik till vinnaren för att öka antalet konverteringar medan testet fortsätter att köras och lära sig.
När du skapar en A/B-aktivitet med det guidade arbetsflödet i tre steg, väljer du alternativet Auto-Allocate to best experience på sidan Targeting (steg 2).
Standardtester av A/B har en inneboende kostnad. Ni måste spendera trafik för att mäta prestanda för varje upplevelse och med hjälp av analyser räkna ut den vinnande upplevelsen. Trafikfördelningen är fast även efter det att ni har insett att vissa upplevelser är bättre än andra. Det är dessutom komplicerat att ta reda på exempelstorleken, och aktiviteten måste gå hela kursen innan du kan agera på en vinnare. Och det finns fortfarande en chans att den identifierade vinnaren inte är en riktig vinnare.
En Auto-Allocate-aktivitet minskar den här kostnaden och de totala kostnaderna för att fastställa en vinnande upplevelse. Auto-Allocate övervakar målmätningsprestanda för alla upplevelser och skickar fler nya deltagare proportionellt till de högpresterande upplevelserna. Det finns tillräckligt med trafik för att utforska de andra upplevelserna. Du kan se fördelarna med testet på dina resultat, även medan aktiviteten fortfarande körs: optimering sker parallellt med inlärning.
Auto-Allocate flyttar besökare mot vinnande upplevelser gradvis, i stället för att kräva att du väntar tills en aktivitet avslutas för att avgöra en vinnare. Ni tjänar på att lyfta snabbare eftersom aktivitetsdeltagare som skulle ha skickats till mindre framgångsrika upplevelser visas som potentiella vinnare upplevelser.
Ett normalt A/B-test i Target visar endast parvisa jämförelser av utmanare med kontrollen. Om en aktivitet till exempel har upplevelser: A, B, C och D där A är kontrollen, skulle ett normalt Target A/B-test jämföra A med B, A mot C och A mot D.
I sådana tester använder de flesta produkter, inklusive Target, en Welch's t-test för att skapa ett p-value-baserat förtroende. Detta konfidensvärde används sedan för att avgöra om utmanaren är tillräckligt olik kontrollen. Target utför dock inte automatiskt de implicita jämförelser (B jämfört med C, B jämfört med D och C jämfört med D) som krävs för att hitta den bästa upplevelsen. Därför måste marknadsföraren manuellt analysera resultaten för att fastställa den"bästa" upplevelsen.
Auto-Allocate utför alla implicita jämförelser mellan upplevelser och skapar en"true"-vinnare. Det finns ingen uppfattning om"kontroll" i testet.
Auto-Allocate tilldelar nya besökare på ett intelligent sätt till upplevelser tills konfidensintervallet för den bästa upplevelsen inte överlappar konfidensintervallet för någon annan upplevelse. Vanligtvis kan den här processen generera falskt positiva resultat, men Auto-Allocate använder konfidensintervall baserat på Bernstein Inequality som kompenserar för upprepade utvärderingar. I nuläget finns det en sann vinnare. När Auto-Allocate stoppas, förutsatt att det inte finns något stort tidsberoende för besökarna som kommer till sidan, finns det minst 95 % chans att Auto-Allocate returnerar en upplevelse vars verkliga svar inte är sämre än 1 % (relativt) mindre än det verkliga svaret för den vinnande upplevelsen.
När Auto-Allocate ska användas jämfört med A/B Test eller Automated Personalization aktiviteter section_3F73B0818A634E4AAAA60A37B502BFF9
Använd Auto-Allocate när du vill optimera din aktivitet från början och identifiera de vinnande upplevelserna så snabbt som möjligt. Genom att leverera högpresterande upplevelser oftare ökar den totala aktivitetsprestandan.
Använd ett A/B-test som standard när du vill karakterisera prestandan för alla upplevelser innan du optimerar webbplatsen. Ett A/B-test hjälper dig att rangordna alla dina upplevelser, medan Auto-Allocate hittar topprestanda, men inte garanterar differentiering mellan de lägre prestandorna.
Använd Automated Personalization när du vill ha optimeringsalgoritmer av högsta komplexitet, till exempel maskininlärningsmodeller som bygger förutsägelser baserat på enskilda profilattribut. Auto-Allocate tittar på det sammanlagda beteendet för upplevelser (precis som standard-A/B-tester) och skiljer inte mellan besökare.
Viktiga fördelar med Auto-Allocate section_0913BF06F73C4794862561388BBDDFF0
Bevarar skärpan i ett A/B-test
Hittar en statistiskt signifikant vinnare snabbare än ett manuellt A/B-test
Ger högre genomsnittlig kampanjlyft än ett manuellt A/B-test
Följande termer är användbara när du diskuterar Auto-Allocate:
Flerarmad bandit: En flerarmad bandit-metod för optimering balanserar undersökande inlärning och utnyttjande av inlärningen.
Så här fungerar algoritmen section_ADB69A1C7352462D98849F2918D4FF7B
Den övergripande logiken bakom Auto-Allocate innefattar både uppmätta prestanda (till exempel konverteringsgrad) och konfidensintervall för kumulativa data. Till skillnad från ett standard-A/B-test där trafiken delas jämnt mellan upplevelser, ändrar Auto-Allocate trafiktilldelningen mellan upplevelser.
80 % av besökarna tilldelas enligt den intelligenta logik som beskrivs nedan.
20 % av besökarna är slumpmässigt tilldelade till alla upplevelser för att anpassa sig till föränderligt besökarbeteende.
Den flerbeväpnade bankstrategin gör att vissa upplevelser blir fria att utforska samtidigt som upplevelserna som fungerar väl utnyttjas. Fler nya besökare får bättre prestanda samtidigt som de behåller möjligheten att reagera på förändrade förhållanden. Dessa modeller uppdateras minst en gång i timmen för att säkerställa att modellen reagerar på de senaste data.
När fler besökare går in i aktiviteten börjar vissa upplevelser bli mer framgångsrika och mer trafik skickas till de framgångsrika upplevelserna. 20 % av trafiken fortsätter att trafikeras slumpmässigt för att utforska alla upplevelser. Om en av de lågpresterande upplevelserna börjar prestera bättre tilldelas den upplevelsen mer trafik. Eller om framgången för en högpresterande aktivitet minskar, fördelas mindre trafik till den upplevelsen. Om en händelse till exempel får besökarna att leta efter olika uppgifter på mediewebbplatsen, eller om en helgförsäljning på din butikswebbplats ger olika resultat.
Följande bild visar hur algoritmen kan fungera under ett test med fyra upplevelser (klicka för att expandera teckningen):
Bilden visar hur den trafik som tilldelats varje upplevelse fortskrider under flera omgångar av aktivitetens livstid tills en klar vinnare har fastställts.
Ansökningstillfälle
Beskrivning
{width="200" modal="regular"}
Varmrunda (0): Under uppvärmningsomgången tilldelas varje upplevelse lika mycket trafik tills varje upplevelse i aktiviteten har minst 1 000 besökare och 50 konverteringar.
Upplev A=25 %
Upplevelse B=25 %
Upplev C=25 %
Upplevelse D=25 %
När varje upplevelse har fått 1 000 besökare och 50 konverteringar startar Target automatisk trafikallokering. Alla allokeringar sker i runda och två upplevelser väljs ut för varje runda. Bara två upplevelser går vidare till nästa runda: D och C. Att gå framåt innebär att de två upplevelserna tilldelas 80 % av trafiken. De andra två upplevelserna fortsätter att delta, men får endast en del av den slumpmässiga trafiktilldelningen på 20 % när nya besökare kommer in i aktiviteten. Alla allokeringar uppdateras varje timme (visas med avrundningar längs x-axeln ovan). Efter varje omgång jämförs de kumulativa uppgifterna.
{width="200" modal="regular"}
Rund 1: Under denna runda tilldelas 80 % av trafiken till upplevelserna C och D (40 % vardera). 20 % av trafiken fördelas slumpmässigt till upplevelserna A, B, C och D (5 % var). Under denna runda fungerar upplevelsen A bra.
Algoritmen väljer upplevelsen D för att gå vidare till nästa omgång eftersom den har den högsta konverteringsgraden (vilket anges i varje aktivitets vertikala skala).
Algoritmen väljer upplevelsen A för att gå vidare eftersom den har den högsta övre gränsen för Bernsteins 95-procentiga konfidensintervall för de återstående upplevelserna.
Upplevelserna D och A går framåt.
{width="200" modal="regular"}
Rund 2: Under denna runda tilldelas 80 % av trafiken till upplevelserna A och D (40 % vardera). 20 % av trafiken fördelas slumpmässigt, vilket innebär att A, B, C och D var och en får 5 % av trafiken. Under denna runda fungerar upplevelse B bra.
Algoritmen väljer upplevelsen D för att gå vidare till nästa omgång eftersom den har den högsta konverteringsgraden (vilket anges i varje aktivitets vertikala skala).
Algoritmen väljer upplevelsen B för att gå vidare eftersom den har den högsta övre gränsen för Bernsteins 95-procentiga konfidensintervall för de återstående upplevelserna.
Upplevelserna D och B går framåt.
{width="200" modal="regular"}
Rund 3: Under denna runda tilldelas 80 % av trafiken till upplevelserna B och D (40 % vardera). 20 % av trafiken fördelas slumpmässigt, vilket innebär att A, B, C och D var och en får 5 % av trafiken. Under denna runda fortsätter upplevelse D att fungera bra och upplevelsen C fungerar bra.
Algoritmen väljer upplevelsen D för att gå vidare till nästa omgång eftersom den har den högsta konverteringsgraden (vilket anges i varje aktivitets vertikala skala).
Algoritmen väljer upplevelsen C för att gå vidare eftersom den har den högsta övre gränsen för Bernsteins 95-procentiga konfidensintervall för de återstående upplevelserna.
Upplevelserna D och C går framåt.
{width="200" modal="regular"}
Rund 4: Under denna runda tilldelas 80 % av trafiken till upplevelserna C och D (40 % vardera). 20 % av trafiken fördelas slumpmässigt, vilket innebär att A, B, C och D var och en får 5 % av trafiken. Under denna runda fungerar upplevelse C bra.
Algoritmen väljer upplevelsen C för att gå vidare till nästa omgång eftersom den har den högsta konverteringsgraden (vilket anges i varje aktivitets vertikala skala).
Algoritmen väljer upplevelsen D för att gå vidare eftersom den har den högsta övre gränsen för Bernsteins 95-procentiga konfidensintervall för de återstående upplevelserna.
Upplevelserna C och D går framåt.
{width="200" modal="regular"}
Rund n: När aktiviteten utvecklas börjar en högpresterande upplevelse uppstå och processen fortsätter tills det finns en vinnande upplevelse. När konfidensintervallet för upplevelsen med den högsta konverteringsgraden inte överlappar något annat upplevelseintervall, kallas det vinnaren. Ett märke visas på den vinnande aktivitetens sidaoch i listan Activity.
Algoritmen väljer upplevelsen C som den tydliga vinnaren.
I nuläget betjänar algoritmen 80 % av trafiken till upplevelsen C, medan 20 % av trafiken fortfarande betjänas slumpmässigt för alla upplevelser (A, B, C och D). C får totalt 85 % av trafiken. Om det osannolika skulle inträffa att vinnarens konfidensintervall börjar överlappa igen, kommer algoritmen att återgå till beteendet för runda 4 ovan.
Viktigt: Om du valde en vinnare manuellt tidigare i processen hade det varit enkelt att välja fel upplevelse. Av den anledningen är det bäst att vänta tills algoritmen bestämmer vinnarupplevelsen.
NOTE
Om en aktivitet bara har två upplevelser får båda upplevelserna samma trafik tills Target hittar en vinnande upplevelse med 75 % förtroende. Då fördelas två tredjedelar av trafiken till vinnaren och en tredjedel till förloraren. När upplevelsen når 95 % av förtroendet tilldelas vinnaren 90 % av trafiken och 10 % tilldelas förloraren. Target skickar alltid viss trafik till den"förlorade" upplevelsen för att undvika falskt positiva resultat i slutet (d.v.s. upprätthålla utforskande).
När en Auto-Allocate-aktivitet har aktiverats tillåts inte följande åtgärder från gränssnittet Taget:
Tänk på följande information när du arbetar med Auto-Allocate:
Funktionen Auto-Allocate fungerar bara med en avancerad måttinställning: Increment Count and Keep User in Activity
Följande avancerade måttinställningar stöds inte: Increment Count, Release User, Allow Reentry and Increment Count och Release User and Bar from Reentry.
Besökare som ofta återvänder kan öka upplevelsekonverteringsgraden.
Om en besökare som ser upplevelsen A returnerar ofta och konverterar flera gånger, ökar konverteringsgraden (CR) för upplevelsen A artificiellt. Jämför detta resultat med upplevelse B, där besökarna konverterar men inte återvänder ofta. Därför ser upplevelsen A bättre ut än upplevelsen B, så nya besökare är mer benägna att tilldelas A än B. Om du väljer att räkna en gång per deltagare kan CR för A och CR för B vara identiska.
Om besökarna är slumpmässigt utspridda är det troligare att deras inverkan på konverteringsgraden jämnas ut. Om du vill minska den här effekten bör du överväga att ändra metoden för målmåttet så att endast en gång per deltagare räknas.
Skillnader mellan högpresterande, inte mellan lågpresterande.
Auto-Allocate är bra på att skilja mellan högpresterande upplevelser (och att hitta en vinnare). Det kan finnas tillfällen då ni inte har tillräckligt stor differentiering mellan de underpresterande upplevelserna.
Om ni vill skapa statistiskt signifikanta skillnader mellan alla upplevelser kanske ni bör överväga att använda det manuella trafiktilldelningsläget.
Tidskorrelerade (eller sammanhangsberoende) konverteringsgrader kan förvränga allokeringsbelopp.
Vissa faktorer som kan ignoreras under ett standard-A/B-test eftersom de påverkar alla upplevelser lika, kan inte ignoreras i en Auto-Allocate-aktivitet. Algoritmen är känslig för de konverteringsgrader som observeras.
Nedan följer exempel på faktorer som kan påverka prestandan olika:
Upplevelser med varierande sammanhangsberoende relevans (tid, plats, kön och så vidare).
Exempel:
"Tack och lov att det är fredag" resulterar i högre konverteringar på fredag.
"Snabbstart på måndag" har högre konverteringsgrad på måndag.
"Redo för en vinter på östkusten" ger högre konverteringsgrad i öster- och vinterdrabbade platser.
Om du använder upplevelser med varierande kontextuell relevans kan du skeva resultatet i ett Auto-Allocate-test mer än i ett A/B-test eftersom A/B-testet analyserar resultaten under en längre period.
Upplevelser med varierande fördröjningar i konverteringen, möjligen på grund av meddelandets brådskande karaktär.
"30 % av försäljningen upphör idag" signalerar till exempel att besökaren konverterar idag, men"50 % rabatt på första köpet" skapar inte samma känsla av snabbhet.
Vanliga frågor section_0E72C1D72DE74F589F965D4B1763E5C3
Ta del av följande frågor och svar när du arbetar med Auto-Allocate-aktiviteter:
Har Analytics for Target (A4T) stöd för Auto-Allocate aktiviteter?
Omfördelas återkommande besökare automatiskt till högpresterande upplevelser?
Nej. Endast nya besökare tilldelas automatiskt. Återkommande besökare ser sin ursprungliga upplevelse för att skydda A/B-testets giltighet.
Hur behandlar algoritmen falska positiva resultat?
Algoritmen garanterar 95 % konfidensgrad eller 5 % falskt positiv frekvens om du väntar tills vinnarmärket visas.
När börjar Auto-Allocate allokera trafik?
Algoritmen börjar fungera efter att alla upplevelser i aktiviteten har minst 1 000 besökare och 50 konverteringar.
Hur aggressivt utnyttjar algoritmen?
80 % av trafiken betjänas med Auto-Allocate och 20 % av trafiken betjänas slumpmässigt. När en vinnare har identifierats går 80 % av trafiken till det, medan alla upplevelser fortsätter att få viss trafik som en del av 20 %, inklusive den vinnande upplevelsen.
Visas förlorade upplevelser överhuvudtaget?
Ja. Den multiväpnade banken ser till att minst 20 % av trafiken reserveras för att utforska förändrade mönster eller konverteringsgrader för alla upplevelser.
Vad händer med aktiviteter med långa konverteringsförseningar?
Så länge alla upplevelser som optimeras har liknande fördröjningar är beteendet detsamma som en aktivitet med en snabbare konverteringscykel. Det tar dock längre tid att nå tröskelvärdet på 50 konverteringar innan trafikallokeringsprocessen börjar.
Hur skiljer sig Auto-Allocate från Automated Personalization?
Automated Personalization använder varje besökares profilattribut för att fastställa den bästa upplevelsen. På så sätt optimeras inte bara aktiviteten, utan även personaliseras för den användaren.
Auto-Allocate är å andra sidan ett A/B-test som skapar en sammanställd vinnare (den mest populära upplevelsen, men inte nödvändigtvis den mest effektiva upplevelsen för varje besökare).
Ökar återkommande besökare konverteringsgraden på min framgångsstatistik?
För närvarande gynnar logiken besökare som snabbt konverterar eller besöker besökare oftare eftersom besökarna tillfälligt ökar den totala konverteringsgraden för den upplevelse de tillhör. Algoritmen justerar sig ofta, så ökningen av konverteringsgraden förstärks vid varje ögonblicksbild. Om webbplatsen får många besökare kan deras konverteringar öka den totala konverteringsgraden för den upplevelse de tillhör. Det finns en bra möjlighet att återkommande besökare fördelas slumpmässigt, och i så fall jämnas den sammanlagda effekten (ökad lyft) ut. Om du vill minska den här effekten bör du överväga att ändra beräkningsmetoden för framgångsmåttet så att endast en gång per deltagare räknas.
Kan jag använda beräkningsverktyget för provstorlek när jag använder Auto-Allocate för att beräkna hur lång tid det tar för aktiviteten att identifiera vinnaren?
Du kan använda den befintliga Adobe Target beräkningen av provstorlek för att få en uppskattning av hur länge testet körs. (Precis som vid traditionell A/B-testning ska du tillämpa Bonferroni-korrigering om du testar fler än två erbjudanden eller mer än ett konverteringsmått/-hypotes.) Den här räknaren är utformad för traditionell A/B-testning med fast horisont och ger endast en uppskattning. Det är valfritt att använda beräkningsverktyget för en Auto-Allocate-aktivitet eftersom Auto-Allocate deklarerar en vinnare åt dig. Du behöver inte välja en fast tidpunkt för att se på testresultaten. De angivna värdena är alltid statistiskt giltiga.
Följande interna Adobe-experiment har påträffats:
När Auto-Allocate testar exakt två upplevelser hittar en vinnare snabbare än en testning med fast horisont (det vill säga den tidsram som anges av beräknaren för provstorlek) när prestandaskalskillnaden mellan upplevelserna är stor. Auto-Allocate kan dock kräva extra tid för att identifiera en vinnare när prestandaskillnaden mellan upplevelserna är liten. I dessa fall skulle tester med fast horisont normalt ha avslutats utan ett statistiskt signifikant resultat.
När Auto-Allocate testar mer än två upplevelser hittar en vinnare snabbare än en testning med fast horisont (d.v.s. den tidsram som anges av beräknaren för samplingsstorlek) när en upplevelse är helt oberoende av andra upplevelser. När två eller flera upplevelser båda är"vinnande" jämfört med andra upplevelser, men har en nära motsvarighet till varandra, kan Auto-Allocate kräva extra tid för att avgöra vilken som är överlägsen. I dessa fall skulle tester med fast horisont normalt ha avslutats genom att dra slutsatsen att de"vinnande" upplevelserna var bättre än de lågpresterande upplevelserna, men inte ha identifierat vilken som var bäst.
Ska jag ta bort en underpresterande upplevelse från en Auto-Allocate-aktivitet för att snabba upp processen att fastställa en vinnare?
Det finns ingen anledning att ta bort en underpresterande upplevelse. Auto-Allocate levererar automatiskt högpresterande upplevelser oftare och ger sämre prestanda. Att lämna en underpresterande upplevelse i aktiviteten påverkar inte i någon större utsträckning hastigheten för att avgöra en vinnare.
20 % av besökarna tilldelas slumpmässigt alla upplevelser. Mängden trafik som ger en underpresterande upplevelse är minimal (20 % delat med antalet upplevelser).
Kan jag ändra målmåttet genom en Auto-Allocate-aktivitet? change-metric
Adobe rekommenderar inte att du ändrar målmåttet genom en aktivitet. Även om det går att ändra målmåttet under en aktivitet med användargränssnittet för Target bör du alltid starta en ny aktivitet. Adobe garanterar inte vad som händer om du ändrar målmåttet i en aktivitet efter att den har körts.
Den här rekommendationen gäller Auto-Allocate, Auto-Target och Automated Personalization aktiviteter som använder antingen Target eller Analytics (A4T) som rapportkälla.
Kan jag ändra rapportkällan mitt i vägen genom en Auto-Allocate-aktivitet? change-reporting
Adobe rekommenderar inte att du ändrar rapportkällan mitt i vägen genom en aktivitet. Även om det är möjligt att ändra rapportkällan (från Target till A4T eller tvärtom) under en aktivitet med Target-gränssnittet, bör du alltid starta en ny aktivitet. Adobe garanterar inte vad som händer om du ändrar rapportkällan i en aktivitet efter att den har körts.
Den här rekommendationen gäller Auto-Allocate, Auto-Target och Automated Personalization aktiviteter som använder antingen Target eller Analytics (A4T) som rapportkälla.
Kan jag använda alternativet Reset Report Data när jag kör en Auto-Allocate-aktivitet?
Du bör inte använda alternativet Reset Report Data för Auto-Allocate-aktiviteter. Även om synliga rapportdata tas bort, tas inte alla utbildningsposter bort från modellen Auto-Allocate. I stället för att använda alternativet Reset Report Data för Auto-Allocate-aktiviteter skapar du en ny aktivitet och inaktiverar den ursprungliga aktiviteten. (Den här vägledningen gäller även för Auto-Target- och Automated Personalization-aktiviteter.)
Hur bygger Auto-Allocate modeller med hänsyn till miljöer?
Auto-Allocate bygger modeller baserat på trafik- och konverteringsbeteenden som bara registrerats i standardmiljön. Som standard är Production standardmiljön, men standardmiljön kan ändras i Target (Administration > Miljöer).
Om en träff inträffar i en annan (icke-standardmiljö) fördelas trafiken enligt det observerade konverteringsbeteendet i standardmiljön. Resultatet av den träffen (konvertering eller icke-konvertering) registreras för rapportändamål men beaktas inte i modellen Auto-Allocate.
När du väljer en annan miljö visar rapporten trafik och konverteringar för den miljön. Den standardmiljö som valts för en rapport är det kontoövergripande standardvärde som valts. Standardmiljön kan inte anges per aktivitet.
Kan en Auto-Allocate-aktivitet justera uppslagsfönstret under ett test för att överväga att ändra trender över tid?
Kan aktiviteten till exempel ta hänsyn till december-månaden för att avgöra hur trafiken ska fördelas, i stället för att titta på besöksdata från september (när testet inleddes)?
Nej, Auto-Allocate utvärderar prestanda för hela aktiviteten.
Visar Auto-Allocate en vinnande upplevelse för en återkommande besökare om den vinnande upplevelsen skiljer sig från vad besökaren såg när han kvalificerade sig för aktiviteten?
Auto-Allocate använder fast beslutsfattande av samma skäl som A/B Test-aktiviteter är kladdiga. Trafiktilldelningen fungerar endast för nya besökare.
