Auto-Allocate översikt

An Auto-Allocate aktivitet i Adobe Target identifierar en vinnare bland två eller fler upplevelser och omfördelar automatiskt mer trafik till vinnaren för att öka antalet konverteringar medan testet fortsätter att köras och lära sig mer.

while skapa en A/B-aktivitet i det guidade arbetsflödet i tre steg väljer du Auto-Allocate to best experience på Targeting sida (steg 2).

Utmaningen

Standardtester av A/B har en inneboende kostnad. Ni måste spendera trafik för att mäta prestanda för varje upplevelse och med hjälp av analyser räkna ut den vinnande upplevelsen. Trafikfördelningen är fast även efter det att ni har insett att vissa upplevelser är bättre än andra. Det är dessutom komplicerat att ta reda på exempelstorleken, och aktiviteten måste gå hela kursen innan du kan agera på en vinnare. Och det finns fortfarande en chans att den identifierade vinnaren inte är en riktig vinnare.

Lösningen: Auto-Allocate

An Auto-Allocate -aktiviteten minskar kostnaderna och kostnaderna för att fastställa en vinnande upplevelse. Auto-Allocate övervakar målmätresultaten för alla upplevelser och skickar fler nya deltagare till högpresterande upplevelser proportionerligt. Det finns tillräckligt med trafik för att utforska de andra upplevelserna. Du kan se fördelarna med testet på dina resultat, även medan aktiviteten fortfarande körs: optimering sker parallellt med inlärning.

Auto-Allocate flyttar besökarna mot vinnande upplevelser gradvis i stället för att kräva att ni väntar tills en aktivitet upphör för att avgöra en vinnare. Ni tjänar på att lyfta snabbare eftersom aktivitetsdeltagare som skulle ha skickats till mindre framgångsrika upplevelser visas som potentiella vinnare upplevelser.

Ett normalt A/B-test Target visar endast parvisa jämförelser av utmanare med kontrollen. Om en aktivitet till exempel har en upplevelse: A, B, C och D där A är kontrollen, är en normal Target A/B-test skulle jämföra A med B, A mot C och A mot D.

I sådana tester omfattar de flesta produkter, inklusive Target, använd en Welch's t-test för att skapa p-value-based trust. Detta konfidensvärde används sedan för att avgöra om utmanaren är tillräckligt olik kontrollen. Men Target utför inte automatiskt de implicita jämförelser (B mot C, B mot D och C mot D) som krävs för att hitta den"bästa" upplevelsen. Därför måste marknadsföraren manuellt analysera resultaten för att fastställa den"bästa" upplevelsen.

Auto-Allocate utför alla implicita jämförelser mellan upplevelser och skapar en"sann" vinnare. Det finns ingen uppfattning om"kontroll" i testet.

Auto-Allocate Tilldela på ett intelligent sätt nya besökare till upplevelser tills konfidensintervallet för den bästa upplevelsen inte överlappar konfidensintervallet för någon annan upplevelse. Vanligtvis kan den här processen ge upphov till falskt positiva effekter, men Auto-Allocate använder konfidensintervall baserat på Bernstein Inequality som kompenserar för upprepade utvärderingar. I nuläget finns det en sann vinnare. När Auto-Allocate stopp, förutsatt att det inte finns något större tidsberoende för besökarna som kommer till sidan, finns det minst 95 % chans att Auto-Allocate returnerar en upplevelse vars verkliga svar inte är sämre än 1 % (relativ) än det verkliga svaret för den vinnande upplevelsen.

När ska du använda Auto-Allocate kontra A/B Test eller Automated Personalization verksamhet

• Använd Auto-Allocate när ni vill optimera er aktivitet från början och identifiera de vinnande upplevelserna så snabbt som möjligt. Genom att leverera högpresterande upplevelser oftare ökar den totala aktivitetsprestandan.
• Använd en standard A/B-test när ni vill karakterisera prestandan för alla upplevelser innan ni optimerar er webbplats. Ett A/B-test hjälper er att rangordna alla era upplevelser, medan Auto-Allocate hittar topprestandare men inte säkerställer differentiering mellan de lägre presterande.
• Använd Automated Personalization när ni vill ha optimeringsalgoritmer av högsta komplexitet, till exempel modeller för maskininlärning som bygger upp prognoser baserade på enskilda profilattribut. Auto-Allocate tittar på det samlade beteendet för upplevelser (precis som standard-A/B-tester) och skiljer inte mellan besökare.

Viktiga fördelar med Auto-Allocate

• Bevarar skärpan i ett A/B-test
• Hittar en statistiskt signifikant vinnare snabbare än ett manuellt A/B-test
• Ger högre genomsnittlig kampanjlyft än ett manuellt A/B-test

Terminologi

Följande termer är användbara vid diskussion Auto-Allocate:

Flerarmad bandit: A multiväpnad bandit en strategi för optimering som ger en balans mellan undersökande och utnyttjande av det inlärningen.

Så här fungerar algoritmen

Den övergripande logiken bakom Auto-Allocate innehåller både uppmätta prestanda (t.ex. konverteringsgrad) och konfidensintervall för kumulativa data. Till skillnad från ett vanligt A/B-test där trafiken delas jämnt mellan upplevelser, Auto-Allocate förändrar trafikfördelningen mellan upplevelser.

• 80 % av besökarna tilldelas enligt den intelligenta logik som beskrivs nedan.
• 20 % av besökarna är slumpmässigt tilldelade till alla upplevelser för att anpassa sig till föränderligt besökarbeteende.

Den flerbeväpnade bankstrategin gör att vissa upplevelser blir fria att utforska samtidigt som upplevelserna som fungerar väl utnyttjas. Fler nya besökare får bättre prestanda samtidigt som de behåller möjligheten att reagera på förändrade förhållanden. Dessa modeller uppdateras minst en gång i timmen för att säkerställa att modellen reagerar på de senaste data.

När fler besökare går in i aktiviteten börjar vissa upplevelser bli mer framgångsrika och mer trafik skickas till de framgångsrika upplevelserna. 20 % av trafiken fortsätter att trafikeras slumpmässigt för att utforska alla upplevelser. Om en av de lågpresterande upplevelserna börjar prestera bättre tilldelas den upplevelsen mer trafik. Eller om framgången för en högpresterande aktivitet minskar, fördelas mindre trafik till den upplevelsen. Om en händelse till exempel får besökarna att leta efter olika uppgifter på mediewebbplatsen, eller om en helgförsäljning på din butikswebbplats ger olika resultat.

Följande bild visar hur algoritmen kan fungera under ett test med fyra upplevelser (klicka för att expandera teckningen):

Bilden visar hur den trafik som tilldelats varje upplevelse fortskrider under flera omgångar av aktivitetens livstid tills en klar vinnare har fastställts.

Ansökningstillfälle	Beskrivning
	Varm rund (0): Under uppvärmningsomgången får varje upplevelse samma trafiktilldelning tills varje upplevelse i aktiviteten har minst 1 000 besökare och 50 konverteringar. Upplev A=25 % Upplevelse B=25 % Upplev C=25 % Upplevelse D=25 % Efter att varje upplevelse fått 1 000 besökare och 50 konverteringar, Target startar automatisk trafikallokering. Alla allokeringar sker i runda och två upplevelser väljs ut för varje runda. Det är bara två upplevelser som går vidare till nästa runda: D och C. Framåt innebär att de två upplevelserna fördelas lika mellan 80 % av trafiken. De andra två upplevelserna fortsätter att delta, men får endast en del av den slumpmässiga trafiktilldelningen på 20 % när nya besökare kommer in i aktiviteten. Alla allokeringar uppdateras varje timme (visas med avrundningar längs x-axeln ovan). Efter varje omgång jämförs de kumulativa uppgifterna.
	Ansökningstillfälle 1: Under denna runda fördelas 80 % av trafiken till upplevelserna C och D (40 % vardera). 20 % av trafiken fördelas slumpmässigt till upplevelserna A, B, C och D (5 % var). Under denna runda fungerar upplevelsen A bra. Algoritmen väljer upplevelsen D för att gå vidare till nästa omgång eftersom den har den högsta konverteringsgraden (vilket anges i varje aktivitets vertikala skala). Algoritmen väljer upplevelsen A för att gå vidare eftersom den har den högsta övre gränsen för Bernsteins 95-procentiga konfidensintervall för de återstående upplevelserna. Upplevelserna D och A går framåt.
	Ansökningstillfälle 2: Under denna runda fördelas 80 % av trafiken till upplevelserna A och D (40 % vardera). 20 % av trafiken fördelas slumpmässigt, vilket innebär att A, B, C och D var och en får 5 % av trafiken. Under denna runda fungerar upplevelse B bra. Algoritmen väljer upplevelsen D för att gå vidare till nästa omgång eftersom den har den högsta konverteringsgraden (vilket anges i varje aktivitets vertikala skala). Algoritmen väljer upplevelsen B för att gå vidare eftersom den har den högsta övre gränsen för Bernsteins 95-procentiga konfidensintervall för de återstående upplevelserna. Upplevelserna D och B går framåt.
	Ansökningstillfälle 3: Under denna runda fördelas 80 % av trafiken till upplevelserna B och D (40 % vardera). 20 % av trafiken fördelas slumpmässigt, vilket innebär att A, B, C och D var och en får 5 % av trafiken. Under denna runda fortsätter upplevelse D att fungera bra och upplevelsen C fungerar bra. Algoritmen väljer upplevelsen D för att gå vidare till nästa omgång eftersom den har den högsta konverteringsgraden (vilket anges i varje aktivitets vertikala skala). Algoritmen väljer upplevelsen C för att gå vidare eftersom den har den högsta övre gränsen för Bernsteins 95-procentiga konfidensintervall för de återstående upplevelserna. Upplevelserna D och C går framåt.
	Ansökningstillfälle 4: Under denna runda fördelas 80 % av trafiken till upplevelserna C och D (40 % vardera). 20 % av trafiken fördelas slumpmässigt, vilket innebär att A, B, C och D var och en får 5 % av trafiken. Under denna runda fungerar upplevelse C bra. Algoritmen väljer upplevelsen C för att gå vidare till nästa omgång eftersom den har den högsta konverteringsgraden (vilket anges i varje aktivitets vertikala skala). Algoritmen väljer upplevelsen D för att gå vidare eftersom den har den högsta övre gränsen för Bernsteins 95-procentiga konfidensintervall för de återstående upplevelserna. Upplevelserna C och D går framåt.
	Ansökningstillfälle n: När aktiviteten utvecklas börjar en högpresterande upplevelse uppstå, och processen fortsätter tills det finns en vinnande upplevelse. När konfidensintervallet för upplevelsen med den högsta konverteringsgraden inte överlappar något annat upplevelseintervall, kallas det vinnaren. A emblem visas på den vinnande aktivitetens sida och i Activity lista. Algoritmen väljer upplevelsen C som den tydliga vinnaren. I nuläget betjänar algoritmen 80 % av trafiken till upplevelsen C, medan 20 % av trafiken fortfarande betjänas slumpmässigt för alla upplevelser (A, B, C och D). C får totalt 85 % av trafiken. Om det osannolika skulle inträffa att vinnarens konfidensintervall börjar överlappa igen, kommer algoritmen att återgå till beteendet för runda 4 ovan. Viktigt: Om du valde en vinnare manuellt tidigare i processen hade det varit enkelt att välja fel upplevelse. Av den anledningen är det bäst att vänta tills algoritmen bestämmer vinnarupplevelsen.

Efter en Auto-Allocate Aktiviteten aktiveras, följande åtgärder från Tjärnaget-gränssnittet tillåts inte:

• Växla läget"Trafikallokering" till"Manuell"
• Ändra målmåttstyp
• Ändra alternativ iAdvanced Settings"-panel

Se hur Automatisk allokering fungerar

Mer information finns i Automatisk allokering kan ge snabbare testresultat och högre intäkter än ett manuellt test.

Caveats

Tänk på följande när du arbetar med Auto-Allocate:

The Auto-Allocate fungerar med endast en avancerad måttinställning: Increment Count and Keep User in Activity

Följande avancerade måttinställningar stöds inte: Increment Count, Release User, Allow Reentry and Increment Countoch Release User and Bar from Reentry.

Besökare som ofta återvänder kan öka upplevelsekonverteringsgraden.

Om en besökare som ser upplevelsen A returnerar ofta och konverterar flera gånger, ökar konverteringsgraden (CR) för upplevelsen A artificiellt. Jämför detta resultat med upplevelse B, där besökarna konverterar men inte återvänder ofta. Därför ser upplevelsen A bättre ut än upplevelsen B, så nya besökare är mer benägna att tilldelas A än B. Om du väljer att räkna en gång per deltagare kan CR för A och CR för B vara identiska.

Om besökarna är slumpmässigt utspridda är det troligare att deras inverkan på konverteringsgraden jämnas ut. Om du vill minska den här effekten bör du överväga att ändra metoden för målmåttet så att endast en gång per deltagare räknas.

Skillnader mellan högpresterande, inte mellan lågpresterande.

Auto-Allocate är bra på att skilja mellan högpresterande upplevelser (och att hitta en vinnare). Det kan finnas tillfällen då ni inte har tillräckligt stor differentiering mellan de underpresterande upplevelserna.

Om ni vill skapa statistiskt signifikanta skillnader mellan alla upplevelser kanske ni bör överväga att använda det manuella trafiktilldelningsläget.

Tidskorrelerade (eller sammanhangsberoende) konverteringsgrader kan förvränga allokeringsbelopp.

Vissa faktorer som kan ignoreras under ett standard-A/B-test eftersom de påverkar alla upplevelser lika, kan inte ignoreras i en Auto-Allocate aktivitet. Algoritmen är känslig för de konverteringsgrader som observeras.

Nedan följer exempel på faktorer som kan påverka prestandan olika:

• Upplevelser med varierande sammanhangsberoende relevans (tid, plats, kön och så vidare).

  Exempel:

  • "Tack och lov att det är fredag" resulterar i högre konverteringar på fredag.
  • "Snabbstart på måndag" har högre konverteringsgrad på måndag.
  • "Redo för en vinter på östkusten" ger högre konverteringsgrad i öster- och vinterdrabbade platser.

  Om du använder upplevelser med varierande kontextuell relevans kan du skeva resultatet i Auto-Allocate testa mer än i ett A/B-test eftersom A/B-testet analyserar resultaten under en längre period.

• Upplevelser med varierande fördröjningar i konverteringen, möjligen på grund av meddelandets brådskande karaktär.

  "30 % av försäljningen upphör idag" signalerar till exempel att besökaren konverterar idag, men"50 % rabatt på första köpet" skapar inte samma känsla av snabbhet.

Vanliga frågor

Se följande frågor och svar när du arbetar med Auto-Allocate verksamhet:

Gör Analytics for Target Stöd för (A4T) Auto-Allocate aktiviteter?

Ja. Mer information finns i A4T-stöd för Automatisk allokering och Automatiskt mål-aktiviteter.

Omfördelas återkommande besökare automatiskt till högpresterande upplevelser?

Nej. Endast nya besökare tilldelas automatiskt. Återkommande besökare ser sin ursprungliga upplevelse för att skydda A/B-testets giltighet.

Hur behandlar algoritmen falska positiva resultat?

Algoritmen garanterar 95 % konfidensgrad eller 5 % falskt positiv frekvens om du väntar tills vinnarmärket visas.

När gör Auto-Allocate Vill du tilldela trafik?

Algoritmen börjar fungera efter att alla upplevelser i aktiviteten har minst 1 000 besökare och 50 konverteringar.

Hur aggressivt utnyttjar algoritmen?

80 % av trafiken betjänas med Auto-Allocate och 20 % av trafiken sker slumpmässigt. När en vinnare har identifierats går 80 % av trafiken till det, medan alla upplevelser fortsätter att få viss trafik som en del av 20 %, inklusive den vinnande upplevelsen.

Visas förlorade upplevelser överhuvudtaget?

Ja. Den multiväpnade banken ser till att minst 20 % av trafiken reserveras för att utforska förändrade mönster eller konverteringsgrader för alla upplevelser.

Vad händer med aktiviteter med långa konverteringsförseningar?

Så länge alla upplevelser som optimeras har liknande fördröjningar är beteendet detsamma som en aktivitet med en snabbare konverteringscykel. Det tar dock längre tid att nå tröskelvärdet på 50 konverteringar innan trafikallokeringsprocessen börjar.

Hur Auto-Allocate skiljer från Automated Personalization?

Automated Personalization använder varje besökares profilattribut för att fastställa den bästa upplevelsen. På så sätt optimeras inte bara aktiviteten, utan även personaliseras för den användaren.

Auto-Allocateå andra sidan är ett A/B-test som ger en sammanlagd vinnare (den mest populära upplevelsen, men inte nödvändigtvis den mest effektiva upplevelsen för varje besökare).

Ökar återkommande besökare konverteringsgraden på min framgångsstatistik?

För närvarande gynnar logiken besökare som snabbt konverterar eller besöker besökare oftare eftersom besökarna tillfälligt ökar den totala konverteringsgraden för den upplevelse de tillhör. Algoritmen justerar sig ofta, så ökningen av konverteringsgraden förstärks vid varje ögonblicksbild. Om webbplatsen får många besökare kan deras konverteringar öka den totala konverteringsgraden för den upplevelse de tillhör. Det finns en bra möjlighet att återkommande besökare fördelas slumpmässigt, och i så fall jämnas den sammanlagda effekten (ökad lyft) ut. Om du vill minska den här effekten bör du överväga att ändra beräkningsmetoden för framgångsmåttet så att endast en gång per deltagare räknas.

Kan jag använda beräkningsverktyget för provstorlek när jag använder Auto-Allocate för att uppskatta hur lång tid det tar att identifiera vinnaren?

Du kan använda den befintliga Adobe Target Beräkna samplingsstorlek för att få en uppskattning av hur länge testet körs. (Precis som vid traditionell A/B-testning ska du tillämpa Bonferroni-korrigering om du testar fler än två erbjudanden eller mer än ett konverteringsmått/-hypotes.) Den här räknaren är utformad för traditionell A/B-testning med fast horisont och ger endast en uppskattning. Använda kalkylatorn för en Auto-Allocate aktiviteten är valfri eftersom Auto-Allocate förklarar en vinnare för dig. Du behöver inte välja en fast tidpunkt för att se på testresultaten. De angivna värdena är alltid statistiskt giltiga.

Intern Adobe Experimenten har hittat följande:

• När du testar exakt två upplevelser Auto-Allocate hittar en vinnare snabbare än en testning med fast horisont (d.v.s. den tidsram som anges av beräknaren för provstorlek) när prestandaskalskillnaden mellan upplevelserna är stor. Men Auto-Allocate kan kräva extra tid för att identifiera en vinnare när skillnaden mellan upplevelserna är liten. I dessa fall skulle tester med fast horisont normalt ha avslutats utan ett statistiskt signifikant resultat.
• När du testar mer än två upplevelser, Auto-Allocate hittar en vinnare snabbare än en testning med fast horisont (d.v.s. den tidsram som anges av beräkningsverktyget för samplingsstorlek) när en upplevelse är helt perfekt för alla andra upplevelser. När två eller flera upplevelser både"vinner" mot andra upplevelser men är nära sammankopplade med varandra, Auto-Allocate kan kräva extra tid för att avgöra vilken som är överlägsen. I dessa fall skulle tester med fast horisont normalt ha avslutats genom att dra slutsatsen att de"vinnande" upplevelserna var bättre än de lågpresterande upplevelserna, men inte ha identifierat vilken som var bäst.

Ska jag ta bort en underpresterande upplevelse från en Auto-Allocate för att snabba upp processen att fastställa en vinnare?

Det finns ingen anledning att ta bort en underpresterande upplevelse. Auto-Allocate levererar automatiskt högpresterande upplevelser oftare och ger sämre prestanda. Att lämna en underpresterande upplevelse i aktiviteten påverkar inte i någon större utsträckning hastigheten för att avgöra en vinnare.

20 % av besökarna tilldelas slumpmässigt alla upplevelser. Mängden trafik som ger en underpresterande upplevelse är minimal (20 % delat med antalet upplevelser).

Kan jag ändra målmåttet genom en Auto-Allocate aktivitet?

Adobe rekommenderar inte att du ändrar målmåttet på halvvägs genom en aktivitet. Även om det är möjligt att ändra målmåttet under en aktivitet med Target Gränssnittet, du bör alltid starta en ny aktivitet. Adobe garanterar inte vad som händer om du ändrar målmåttet i en aktivitet efter att den har körts.

Denna rekommendation gäller Auto-Allocate, Auto-Targetoch Automated Personalization aktiviteter som använder Target eller Analytics (A4T) som rapportkälla.

Kan jag ändra rapporteringskällan halvvägs genom en Auto-Allocate aktivitet?

Adobe rekommenderar inte att du ändrar rapportkällan mitt i vägen genom en aktivitet. Även om det är möjligt att ändra rapportkällan (från Target till A4T eller tvärtom) under en aktivitet med Target Gränssnittet, du bör alltid starta en ny aktivitet. Adobe garanterar inte vad som händer om du ändrar rapportkällan i en aktivitet efter att den har körts.

Denna rekommendation gäller Auto-Allocate, Auto-Targetoch Automated Personalization aktiviteter som använder Target eller Analytics (A4T) som rapportkälla.

Kan jag använda Reset Report Data alternativ när en Auto-Allocate aktivitet?

Använda Reset Report Data alternativ för Auto-Allocate aktiviteter föreslås inte. Även om det tar bort synliga rapportdata, tas inte alla utbildningsposter bort från Auto-Allocate modell. I stället för att använda Reset Report Data alternativ för Auto-Allocate skapar du en ny aktivitet och inaktiverar den ursprungliga aktiviteten. (Denna vägledning gäller även för Auto-Target och Automated Personalization verksamhet.)

Hur Auto-Allocate bygga modeller med avseende på miljöer?

Auto-Allocate bygger modeller som bygger på trafik- och konverteringsbeteenden som registreras endast i standardmiljön. Som standard Production är standardmiljön, men standardmiljön kan ändras i Target (Administration > Miljöer).

Om en träff inträffar i en annan (icke-standardmiljö) fördelas trafiken enligt det observerade konverteringsbeteendet i standardmiljön. Resultatet av träffen (konvertering eller icke-konvertering) registreras för rapportändamål men beaktas inte i Auto-Allocate modell.

När du väljer en annan miljö visar rapporten trafik och konverteringar för den miljön. Den standardmiljö som valts för en rapport är det kontoövergripande standardvärde som valts. Standardmiljön kan inte anges per aktivitet.

Kan Auto-Allocate Vill du att aktiviteten ska justera uppslagsfönstret under ett test för att överväga att ändra trender över tid?

Kan aktiviteten till exempel ta hänsyn till december-månaden för att avgöra hur trafiken ska fördelas, i stället för att titta på besöksdata från september (när testet inleddes)?

Nej, Auto-Allocate tar hänsyn till hur hela aktiviteten fungerar.

Gör Auto-Allocate visa en vinnande upplevelse för en återkommande besökare om den vinnande upplevelsen skiljer sig från vad besökaren såg när han kvalificerade sig för aktiviteten?

Auto-Allocate använder klisterlappsbeslut av samma skäl som A/B Test aktiviteter är kladdiga. Trafiktilldelningen fungerar endast för nya besökare.

Utbildningsvideor

I följande videofilmer finns mer information om de begrepp som beskrivs i den här artikeln.

Aktivitetsarbetsflöde - målinriktning (2:14)

Den här videon innehåller information om hur du ställer in trafikallokering.

• Tilldela en målgrupp till din aktivitet
• Begränsa trafiken uppåt eller nedåt
• Välj trafikallokeringsmetod
• Fördela trafik mellan olika upplevelser

Skapa A/B-tester (8:36)

I den här videon visas hur du skapar ett A/B-test med det guidade arbetsflödet i tre steg för Target. Auto-Allocate behandlas från 4:45.

• Skapa en A/B-aktivitet i Adobe Target
• Allokera trafik med manuell, delad eller automatisk trafikallokering

Resurser för Business.Adobe.com

Multi Armed Bandit Testing Ab Multivariate Testing Enterprise Governance Product Recommendations Mobile Optimization Website Optimization