Kom igång med innehållsexperiment get-started-experiment
Vad är ett innehållsexperiment?
Med hjälp av innehållsexperiment kan ni optimera innehåll för åtgärderna i era kampanjer.
Experiment är en uppsättning randomiserade prövningar, som i samband med onlinetestning innebär att vissa slumpmässigt utvalda användare exponeras för en viss variant av ett meddelande och en annan slumpmässigt utvald uppsättning användare för en annan behandling. När du har skickat meddelandet kan du mäta de resultatvärden du är intresserad av, till exempel öppningar av e-postmeddelanden eller klick.
Varför ska du köra Experiment?
Experimentera för att isolera de ändringar som leder till förbättringar av mätvärdena. Som framgår av bilden ovan: vissa slumpmässigt utvalda användare exponeras för varje behandlingsgrupp, vilket innebär att grupperna i genomsnitt har samma egenskaper. Skillnader i utfall kan således tolkas som att de beror på skillnader i behandlingarna, dvs. att du kan fastställa ett orsakssamband mellan de ändringar du gjort och de utfall du är intresserad av.
På så sätt kan ni fatta datadrivna beslut för att optimera era era affärsmål.
I Adobe Journey Optimizer kan du testa idéer som:
- Ämnesrad: Vilken effekt kan en ändring av tonen eller graden av personalisering av en ämnesrad få?
- Meddelandeinnehåll: Kommer en ändring av den visuella layouten för ett e-postmeddelande att resultera i fler klick på e-postmeddelandet?
Hur fungerar innehållsexperimenten? content-experiment-work
Slumpmässig tilldelning
Innehållsexperiment i Adobe Journey Optimizer använder en pseudoslumpmässig hash av besöksidentiteten för att slumpmässigt tilldela användare i målgruppen en av de behandlingar som du har definierat. Hash-mekanismen säkerställer att besökarna får samma behandling i scenarier där besökaren går in i en kampanj flera gånger.
MumurHash3 32-bitarsalgoritmen används i detalj för att hash-koda användaridentitetssträngen till en av 10 000 bucket. I ett innehållsexperiment, där 50% av all trafik tilldelas till varje behandling, får användare som hamnar i bucket 1-5 000 den första behandlingen, medan användare i bucketerna 5 001-10 000 får den andra behandlingen. Eftersom pseudoslumpmässiga hashningar används kanske den delade besökaren inte är exakt 50-50, men delningen är ändå statistiskt likvärdig med måldelningsprocenten.
Observera att du måste välja ett identitetsnamnutrymme som userId väljs från för slumpgenereringsalgoritmen när du konfigurerar varje kampanj med ett innehållsexperiment. Detta är oberoende av körningsadresserna.
Datainsamling och -analys
Vid tidpunkten för tilldelningen, dvs. när meddelandet skickas i utgående kanaler, eller när användaren går in i kampanjen i inkommande kanaler, loggas en tilldelningspost i lämplig systemdatauppsättning. Detta registrerar vilken behandling användaren har tilldelats, tillsammans med experiment- och kampanjidentifierare.
Målsättningsstatistik kan grupperas i två huvudklasser:
- Direktmått, där användaren reagerar direkt på behandlingen, t.ex. öppnar ett e-postmeddelande eller klickar på en länk.
- Indirekt eller "bottenströms"-statistik, som inträffar efter att användaren har exponerats för behandlingen.
För direkta objektiva mätvärden där Adobe Journey Optimizer spårar era meddelanden taggas slutanvändarnas svarshändelser automatiskt med kampanj- och behandlingsidentifierarna, vilket möjliggör direkt koppling av svarsmätningen med en behandling. Läs mer om spårning.
För mål som rör indirekt eller"bottendel av tratten", t.ex. inköp, är slutanvändarnas responshändelser inte taggade med kampanj- och behandlingsidentifierare, dvs. en köphändelse inträffar efter exponering för en behandling, det finns inget direkt samband mellan köpet och en tidigare behandlingstilldelning. För dessa mätvärden kopplar Adobe behandlingen till nederdelen av trattkonverteringshändelsen om:
- Användaridentiteten är densamma vid tilldelning och konverteringshändelsetid.
- Omvandlingen sker inom sju dagar efter behandlingstilldelningen.
Adobe Journey Optimizer använder sedan avancerade "närsomhelst giltiga" statistiska metoder för att tolka denna rådatarapportering, som gör att du kan tolka dina experimentella rapporter. Mer information finns på den här sidan.
Tips för att köra Experiment
När du kör Experiment är det viktigt att du följer vissa vedertagna standarder. Här följer några tips för att köra dessa experiment:
Formge en hypotes som du tänker testa och begränsa hypotesen till så få ändringar som möjligt för att avgöra vad som har påverkat leveransen.
En bra hypotes kan till exempel vara om personalisering i ämnesrader i e-postmeddelanden ger bättre öppningsfrekvens. Men även om du lägger till en ändring i meddelandeinnehållet eller i bilder kan det leda till en förvirrande slutsats.
Bestäm vilket mätvärde du vill ha som mål och om de ändringar du gör kan ha någon direkt inverkan på det här mätvärdet.
Om du till exempel ändrar innehållet i meddelandetexten påverkas inte öppningsfrekvensen för e-post.
Antalet användare som måste ingå i ditt experiment beror på vilken effektstorlek du vill identifiera, variationen eller spridningen av målmåttet samt din tolerans för falska positiva och falska negativa fel. I klassiska experiment kan du använda en exempelstorlekskalkylator för att avgöra hur länge du måste köra testet.
Statistiska metoder ger oss ett sätt att formalisera den osäkerheten. En av de viktigaste begreppen när du kör onlineexperiment är att de konverteringsgrader som observeras är förenliga med en rad underliggande sanna konverteringsgrader, vilket innebär att du måste vänta tills beräkningarna är tillräckligt exakta innan du försöker dra några slutsatser. Konfidensintervall och Förtroende hjälper oss att kvantifiera denna osäkerhet.
Tolka resultaten av dina experiment interpret-results
I detta avsnitt beskrivs Experimentrapporterna och hur man förstår de olika statistiska mängderna som presenteras.
Här följer några riktlinjer för hur du tolkar resultatet av din Content Experiment.
Observera att en fullständig beskrivning av resultaten bör beakta alla tillgängliga bevis (dvs. urvalsstorlekar, konverteringsgrader, konfidensintervall osv.), och inte bara försäkran om att resultatet är slutgiltigt eller inte. Även om resultatet ännu inte är entydigt kan det ändå finnas övertygande bevis för att en behandling skiljer sig från en annan.
Mer information om statistiska beräkningar finns på sidan.
1. Jämför normaliserade värden normalized-metrics
När du jämför prestandan för två behandlingar bör du alltid jämföra normaliserade värden för att ta hänsyn till eventuella skillnader i antalet profiler som exponeras för varje behandling.
Om experimentmålet till exempel är Unique Opens och en viss behandling visades till 10 000 profiler med 200 unika öppningar, representerar detta Conversion Rate 2 %. För icke-unika mått, t.ex. Öppnar mätvärden, visas det normaliserade måttet som Count per Profile, medan det normaliserade måttet visas som Total per Profile för kontinuerliga mätvärden som Totalt pris.
2. Fokus på konfidensintervall confidence-intervals
När du experimenterar med prov på dina profiler, representerar den konverteringsgrad som observerats för en given behandling en uppskattning av den verkliga underliggande konverteringsgraden.
Om till exempel Behandling A har Conversion Rate på 3%, medan behandling B har observerats till Conversion Rate på 2%, är behandling A en bättre prestation än behandling B? För att svara på detta måste vi först kvantifiera osäkerheten i dessa observerade konverteringsgrader.
Konfidensintervall bidrar till att kvantifiera mängden osäkerhet i de uppskattade konverteringsgraden, men bredare konfidensintervall innebär större osäkerhet. När fler profiler läggs till i experimentet blir intervallen mindre, vilket ger en mer exakt uppskattning. Konfidensintervallet representerar ett intervall av konverteringsgrader som är kompatibla med observerade data.
Om konfidensintervallen för två behandlingar knappt överlappar varandra betyder det att de två behandlingarna har olika konverteringsgrader. Men om det finns mycket överlappning mellan konfidensintervallen för två behandlingar är det mer sannolikt att de två behandlingarna har samma konverteringsgrad.
Adobe använder 95 % Anytime Valid Confidence Intervals, eller Confidence Sequences, vilket betyder att resultatet kan visas när som helst under försöket.
3. Förstå Lyft understand-lift
Sammanfattningen av experimentrapporten visar Lift over Baseline, vilket är ett mått på den procentuella förbättringen av konverteringsgraden för en given behandling över baslinjen. Definierat exakt är det skillnaden i prestanda mellan en given behandling och baslinjen, dividerat med baslinjens prestanda, uttryckt i procent.
3. Förstå förtroende understand-confidence
Även om du i första hand bör fokusera på Confidence interval för utförandet av varje behandling, så visar Adobe också förtroendet, vilket är ett sannolikhetsmått på hur mycket det finns belägg för att en viss behandling är densamma som basbehandlingen. Ett högre konfidensintervall tyder på att det inte finns tillräckligt med belägg för antagandet att behandlingar före och efter utgångsvärdet har samma resultat. Mer exakt är den säkerhet som visas en sannolikhet (uttryckt i procent) att vi skulle ha observerat en mindre skillnad i konverteringsgraden mellan en viss behandling och baslinjen, om det i själva verket inte finns någon skillnad i den verkliga underliggande konverteringsgraden. När det gäller p-värden är den konfidensnivå som visas 1 - p-värde.
Adobe använder "Anytime Valid" Confidence, och "Anytime Valid" p-värden som överensstämmer med de Confidence Sequences som beskrivs ovan.
4. Statistisk betydelse
Vid användning av Experiment anses ett resultat vara statistiskt signifikant om det var mycket osannolikt att det skulle ha observerats med en nollhypotes om att en viss behandling och baslinjen har identiska verkliga underliggande konverteringsgrader/resultat.
Adobe förklarar att en expert är entydig när förtroendet är över 95 %.
Så här gör du när du har kört en Experiment
När du har kört din Experiment finns det flera möjliga uppföljningsåtgärder:
-
Distribuera vinnande idéer
Med ett entydigt resultat kan ni ta fram denna vinnande idé, antingen genom att erbjuda alla era kunder den bästa behandlingen, eller genom att skapa nya kampanjer där strukturen för den bästa behandlingen replikeras.
Observera att det som fungerar bra på en gång kanske inte fungerar bra senare i en dynamisk miljö. -
Kör uppföljningstester
Ibland kan resultatet av dina försök vara oklart, antingen på grund av att det inte fanns tillräckligt med profiler för att upptäcka skillnader i behandlingar, eller på grund av att behandlingarna du definierade inte var tillräckligt olika.
Om den hypotes du testade fortfarande är relevant, kan det vara bäst att göra ett uppföljningstest på en större eller annan publik, eller att ändra behandlingarna så att det finns tydligare skillnader.
-
Gör djupgående analyser
Den behandling som fungerar bra för en viss målgrupp kanske inte är den bästa behandlingen för en annan målgrupp. Genom att göra djupare analyser av hur behandlingar fungerar för olika målgrupper kan du generera idéer för nya tester.
På samma sätt kan en studie av hur varje behandling fungerar med olika mätvärden också ge en mer heltäckande bild av dina experiment.
note caution CAUTION Fler analyser innebär en större risk för att upptäcka en falsk effekt eller falskt positiv.