Skapa ett innehållsexperiment content-experiment
Med Journey Optimizer Content Experiment kan ni definiera flera olika leveranssätt för att mäta vilken som fungerar bäst för er målgrupp. Du kan välja att variera leveransinnehållet eller ämnet. Intressemålgruppen fördelas slumpmässigt till varje behandling för att avgöra vilken som fungerar bäst med det angivna mätvärdet.
I exemplet nedan har leveransmålet delats upp i två grupper, som var och en representerar 45 % av målpopulationen, och en slutgruppsgrupp på 10 % som inte får leveransen.
Varje person i målgruppen får en version av ett e-postmeddelande med en ämnesrad som är en av följande två:
- en som direkt marknadsför ett 10-procentigt erbjudande på den nya samlingen och en bild.
- den andra bara ger ut ett specialerbjudande utan att ange 10 % rabatt utan någon bild.
Målet här är att se om mottagarna kommer att interagera med e-postmeddelandet beroende på det mottagna experimentet. Därför kommer vi att välja Email Opens som det primära målmåttet i den här innehållsexperimenten.
➡️ Lär dig hur du använder innehållsexperiment för att jämföra beslut med den kodbaserade upplevelsekanalen i det här användningsexemplet.
Skapa innehåll campaign-experiment
-
Börja med att skapa och konfigurera din kampanj eller resa enligt dina krav.
-
Börja personalisera behandling A från fönstret Edit content.
För den här behandlingen ska vi specificera specialerbjudandet direkt i ämnesraden och lägga till personalisering.
-
Skapa eller importera ditt ursprungliga innehåll och anpassa det efter behov.
Konfigurera ditt innehållsexperiment configure-experiment
Du kan välja mellan tre olika typer av experiment:
-
A/B experiment: Definiera trafikuppdelningen mellan behandlingar i början av testet. Prestanda utvärderas baserat på det primära mätresultat du valt, Experimentation Accelerator, och rapporterar sedan den observerade lyften mellan behandlingarna.
-
Multi-armed bandit: trafikdelning mellan behandlingar hanteras automatiskt. Var 7:e dag granskas resultatet för det primära mätvärdet och vikterna justeras därefter. Rapporteringen i Experimentation Accelerator fortsätter att visa Lyft som A/B-tester.
-
Bring your own Multi-armed bandit: trafikdelning mellan behandlingar hanteras automatiskt. Du kan bestämma när och hur den ska ändras med Experiment API:er för att justera allokeringar i realtid.
➡️ Läs mer om skillnaden mellan A/B-experiment och multiväpnade bandit-experiment
-
När ditt meddelande har anpassats klickar du på Actions på fliken Create experiment för att börja konfigurera ditt innehållsexperiment.
-
Välj den Success metric som du vill ange för ditt experiment.
I det här exemplet väljer du Email open om du vill testa om profilerna öppnar sina e-postmeddelanden om kampanjkoden finns på ämnesraden.
-
När du konfigurerar ett experiment med hjälp av InApp- eller webbkanalen och väljer Inbound Clicks, Unique Inbound Clicks, Page Views eller Unique Page Views metrics kan du med hjälp av fältet Dimensions spåra och övervaka klick och vyer på specifika sidor.
-
Om du har skapat en API-utlöst kampanj väljer du A/B Experiment i listrutan Experiment type.
-
Klicka på Add treatment för att skapa så många nya behandlingar som behövs.
note caution CAUTION Observera följande begränsningar när du skapar ett kodbaserat experiment: - Behandlingsantal: Om du skapar fler än 3-5 behandlingar kan prestanda- och gränssnittsproblem uppstå. Om du råkar ut för fel när du lägger till behandlingar kan du försöka minska antalet behandlingar eller lägga till dem stegvis tills problemet är löst.
- Reserverade nyckelord: Undvik att använda reserverade nyckelord som "holdout" i dina behandlingsnamn, eftersom detta kan orsaka mappningsfel för beslutsnoder och förhindra att experimentet fungerar korrekt.
-
Ändra Title för din behandling så att du bättre kan skilja dem åt.
-
Välj att lägga till en Holdout-grupp i leveransen. Den här gruppen kommer inte att få något innehåll från den här kampanjen.
Om du aktiverar alternativfältet tar det automatiskt 10 % av din befolkning. Du kan justera procentandelen om det behövs.
note important IMPORTANT När en utelämningsgrupp används i en åtgärd för innehållsexperimenterande gäller grupptilldelningen endast den specifika åtgärden. När åtgärden är slutförd kommer profilerna i den utelåsta gruppen att fortsätta längs vägen och kan ta emot meddelanden från andra åtgärder. Se därför till att efterföljande meddelanden inte är beroende av att ett meddelande tas emot av en profil som kan finnas i en utskicksgrupp. Om de gör det kan du behöva ta bort grupptilldelningen.
-
Du kan sedan välja att tilldela en exakt procentsats till varje Treatment eller bara växla till Distribute evenly-växlingsfältet.
-
Gör det möjligt för det automatiska skalningsförsöket att automatiskt ta fram den vinnande variationen av ditt experiment. Läs mer om hur du kan skala vinnaren
-
Klicka på Create när konfigurationen är inställd.
Observera att multiväpnat bandit-experiment endast är tillgängligt med följande:
- Inkommande kanaler
- Unitary Journeys
- API-utlösta kampanjer (både transaktionella och operativa)
- Utgående kanaler om schemat återkommer
-
När ditt meddelande har anpassats klickar du på Actions på fliken Create experiment för att börja konfigurera ditt innehållsexperiment.
-
Välj den Success metric som du vill ange för ditt experiment.
I det här exemplet väljer du Email open om du vill testa om profilerna öppnar sina e-postmeddelanden om kampanjkoden finns på ämnesraden.
-
Om du har skapat en API-utlöst kampanj väljer du Multi-armed bandit i listrutan Experiment type.
-
Klicka på Add treatment för att skapa så många nya behandlingar som behövs.
-
Ändra Title för din behandling så att du bättre kan skilja dem åt.
-
Välj att lägga till en Holdout-grupp i leveransen. Den här gruppen kommer inte att få något innehåll från den här kampanjen.
Om du aktiverar alternativfältet tar det automatiskt 10 % av din befolkning. Du kan justera procentandelen om det behövs.
note important IMPORTANT När en utelämningsgrupp används i en åtgärd för innehållsexperimenterande gäller grupptilldelningen endast den specifika åtgärden. När åtgärden är slutförd kommer profilerna i den utelåsta gruppen att fortsätta längs vägen och kan ta emot meddelanden från andra åtgärder. Se därför till att efterföljande meddelanden inte är beroende av att ett meddelande tas emot av en profil som kan finnas i en utskicksgrupp. Om de gör det kan du behöva ta bort grupptilldelningen.
Observera att ett eget multiväpnat bandit-experiment bara är tillgängligt med följande:
- Inkommande kanaler
- Unitary Journeys
- API-utlösta kampanjer (både transaktionella och operativa)
- Utgående kanaler om schemat återkommer
-
När ditt meddelande har anpassats klickar du på Actions på fliken Create experiment för att börja konfigurera ditt innehållsexperiment.
-
Välj den Success metric som du vill ange för ditt experiment.
I det här exemplet väljer du Email open om du vill testa om profilerna öppnar sina e-postmeddelanden om kampanjkoden finns på ämnesraden.
-
Om du har skapat en API-utlöst kampanj väljer du Bring your own Multi-armed bandit i listrutan Experiment type.
-
Klicka på Add treatment för att skapa så många nya behandlingar som behövs.
-
Ändra Title för din behandling så att du bättre kan skilja dem åt.
-
Välj att lägga till en Holdout-grupp i leveransen. Den här gruppen kommer inte att få något innehåll från den här kampanjen.
Om du aktiverar alternativfältet tar det automatiskt 10 % av din befolkning. Du kan justera procentandelen om det behövs.
note important IMPORTANT När en utelämningsgrupp används i en åtgärd för innehållsexperimenterande gäller grupptilldelningen endast den specifika åtgärden. När åtgärden är slutförd kommer profilerna i den utelåsta gruppen att fortsätta längs vägen och kan ta emot meddelanden från andra åtgärder. Se därför till att efterföljande meddelanden inte är beroende av att ett meddelande tas emot av en profil som kan finnas i en utskicksgrupp. Om de gör det kan du behöva ta bort grupptilldelningen.
Utforma dina behandlingar treatment-experiment
-
I fönstret Edit content väljer du din behandling B för att ändra innehållet.
Här väljer vi att inte ange erbjudandet i Subject line.
-
Klicka på Edit email body om du vill anpassa din behandling ytterligare B.
-
När du har utformat dina behandlingar klickar du på More actions för att komma åt alternativ som är relaterade till dina behandlingar: Rename, Duplicate och Delete.
-
Om det behövs kan du gå till Experiment settings-menyn och ändra din behandlingskonfiguration.
-
När meddelandeinnehållet har definierats klickar du på knappen Simulate content för att kontrollera återgivningen av leveransen och kontrollera personaliseringsinställningarna med testprofiler. Läs mer
När du har konfigurerat dina experiment kan du följa resultatet av leveransen med din rapport. Läs mer
Skala vinnaren scale-winner
- Inkommande kanaler (t.ex. webb, meddelande i appen, kodbaserad upplevelse) under alla resor och kampanjer.
- Utgående kanaler (t.ex. e-post, push-meddelanden, SMS) i API-utlösta transaktionskampanjer.
Skala vinnaren så att ni automatiskt eller manuellt kan lansera den vinnande varianten av ett experiment till er fulla publik. Den här funktionen ser till att du när en vinnare väl har fastställts kan utöka dess räckvidd och effektivitet utan att hela tiden övervaka experimentet.
Du kan välja mellan två lägen:
-
Automatisk skalning: Konfigurera inställningar för automatisk skalförändring när du skapar ditt experiment genom att välja tid och villkor för skalning av den vinnande behandlingen eller ett reservalternativ om ingen vinnare kommer.
-
Manuell skalning: Granska experimentresultat manuellt och initiera utrullningen av den vinnande behandlingen, med bibehållen fullständig kontroll över tid och beslut.
Automatisk skalning autoscaling
Med automatisk skalförändring kan du ange fördefinierade regler för när den vinnande behandlingen eller en reservbehandling ska börja, baserat på resultatet av experimentet.
Observera att när automatisk skalförändring har inträffat är manuell skalförändring inte längre tillgängligt.
Så här aktiverar du automatisk skalförändring i dina experiment:
-
Ställ in kampanjen eller resan och konfigurera ditt experiment efter behov. Läs mer
-
Aktivera alternativet för automatisk skalförändring när du ställer in ditt experiment.
-
Välj när vinnaren ska skalas:
- Så snart vinnaren hittas.
- Efter att experimentet är live för den valda tiden.
Tiden för automatisk skalförändring måste schemaläggas före experimentets slutdatum. Om det är inställt för en tid efter slutdatumet visas en valideringsvarning och kampanjen eller resan publiceras inte.
-
Välj reservbeteendet om ingen vinnare hittas efter skaltid:
- Fortsätt experimentera tills det är slut enligt schema.
- Skala den alternativa behandlingen efter en viss tid.
När alla parametrar är uppfyllda skickas din vinnande eller alternativa behandling till din målgrupp.
Manuell skalning manual-scaling
Manuell skalförändring ger dig möjlighet att granska experimentresultat och bestämma när den vinnande behandlingen ska lanseras enligt ditt eget schema.
Observera att om du skalförändrar vinnaren manuellt före den schemalagda tiden för automatisk skalförändring avbryts den automatiska skalförändringen.
Så här skalar du vinnaren av dina experiment manuellt:
-
Ställ in kampanjen eller resan och konfigurera ditt experiment efter behov. Läs mer
-
Låt experimentet löpa tills en vinnare identifieras eller statistisk signifikans uppnås.
-
Öppna din kampanjinstrumentpanel eller välj kanalaktivitet under din resa.
Granska resultaten på Content Experiment-menyn för att identifiera den bästa behandlingen.
-
Klicka på Scale treatment om du vill skicka den vinnande behandlingen till resten av publiken.
-
Välj den behandling som du vill skala i listrutan och klicka på Scale.
Observera att det kan ta upp till en timme innan behandlingen skalas. Du får ett meddelande när den manuella skalförändringsprocessen är klar.