Creare un esperimento sui contenuti content-experiment
L’esperimento sui contenuti di Journey Optimizer consente di definire più trattamenti di consegna per misurare quale offre le migliori prestazioni per il pubblico di destinazione. Puoi scegliere di variare il contenuto o l’oggetto della consegna. Il pubblico di interesse viene allocato in modo casuale a ciascun trattamento per determinare quale funziona meglio in termini di metrica specificata.
Nell’esempio seguente, l’obiettivo di consegna è stato suddiviso in due gruppi, ciascuno dei quali rappresenta il 45% della popolazione target e un gruppo di riserva del 10%, che non riceverà la consegna.
Ogni persona nel pubblico di destinazione riceverà una versione di un’e-mail, con un oggetto che corrisponde a uno dei due seguenti:
- uno promuove direttamente un’offerta del 10% sulla nuova collezione e un’immagine.
- l'altra si limita a pubblicizzare un'offerta speciale senza specificare il 10% di sconto senza alcuna immagine.
L’obiettivo qui è vedere se i destinatari interagiscono con l’e-mail a seconda dell’esperimento ricevuto. Pertanto, sceglieremo Aperture e-mail come metrica di obiettivo principale in questo esperimento sui contenuti.
➡️ Scopri come utilizzare gli esperimenti sui contenuti per confrontare le decisioni con il canale di esperienza basato sul codice in questo caso d'uso.
Creare i contenuti campaign-experiment
-
Inizia creando e configurando la tua campagna o percorso in base alle tue esigenze.
-
Dalla finestra Modifica contenuto, inizia a personalizzare il trattamento A.
Per questo trattamento, specificheremo l’offerta speciale direttamente nell’oggetto e aggiungeremo la personalizzazione.
-
Crea o importa il contenuto originale e personalizzalo in base alle esigenze.
Configurare l’esperimento sui contenuti configure-experiment
Per l’esperimento sui contenuti, puoi scegliere tra tre tipi di esperimento:
-
Esperimento A/B: definisci la suddivisione del traffico tra i trattamenti all'inizio del test. Le prestazioni vengono valutate in base alla metrica principale scelta, l’Experimentation Accelerator, quindi, riporta l’incremento osservato tra i trattamenti.
-
Slot machine: la suddivisione del traffico tra i trattamenti viene gestita automaticamente. Ogni 7 giorni, le prestazioni sulla metrica principale vengono riviste e i pesi vengono regolati di conseguenza. Il reporting in Experimentation Accelerator continua a mostrare l’Incremento, come test A/B.
-
Porta una tua slot machine: il traffico suddiviso tra i trattamenti viene gestito automaticamente. Puoi determinare quando e come deve cambiare utilizzando le API dell’esperimento per regolare le allocazioni in tempo reale.
➡️ Ulteriori informazioni sulla differenza tra esperimenti A/B e Multi-armed bandit
-
Quando il messaggio è personalizzato, dalla scheda Azioni fai clic su Crea esperimento per iniziare a configurare l'esperimento sui contenuti.
-
Seleziona la metrica di successo da impostare per l'esperimento.
Per questo esempio, seleziona E-mail aperta per verificare se i profili aprono le e-mail se il codice promozionale è nella riga dell'oggetto.
-
Quando imposti un esperimento utilizzando il canale in-app o web e scegli i clic in entrata, i clic in entrata univoci, le visualizzazioni di pagina o le metriche delle visualizzazioni di pagina univoche, il campo dimensioni ti consente di monitorare e tenere traccia con precisione dei clic e delle visualizzazioni su pagine specifiche.
-
Se hai creato una campagna attivata da API, seleziona Esperimento A/B dal menu a discesa Tipo di esperimento.
-
Fare clic su Aggiungi trattamento per creare il numero di nuovi trattamenti necessario.
note caution CAUTION Quando crei un esperimento basato su codice, tieni presente le seguenti limitazioni: - Conteggio trattamenti: la creazione di più di 3-5 trattamenti può causare problemi di prestazioni e di interfaccia. Se si verificano errori durante l’aggiunta di trattamenti, prova a ridurre il numero di trattamenti o ad aggiungerli in modo incrementale fino a quando il problema non viene risolto.
- Parole chiave riservate: evita di utilizzare parole chiave riservate come "holdout" nei nomi dei trattamenti, in quanto ciò potrebbe causare errori di mappatura del nodo decisionale e impedire il corretto funzionamento dell'esperimento.
-
Modifica il Titolo del trattamento per differenziarli meglio.
-
Scegli di aggiungere un gruppo Holdout alla consegna. Questo gruppo non riceverà alcun contenuto da questa campagna.
Se passi alla barra di attivazione, riceverai automaticamente il 10% della tua popolazione; se necessario puoi regolare questa percentuale.
note important IMPORTANT Quando un gruppo di sospensione viene utilizzato in un'azione per la sperimentazione di contenuti, l'assegnazione di sospensione si applica solo a tale azione specifica. Al termine dell’azione, i profili nel percorso di sospensione continueranno a scorrere lungo il percorso e potranno ricevere messaggi da altre azioni. Di conseguenza, assicurati che tutti i messaggi successivi non dipendano dalla ricezione di un messaggio da parte di un profilo che potrebbe trovarsi in un gruppo di attesa. In tal caso, potrebbe essere necessario rimuovere l'assegnazione di blocco. 
-
Puoi quindi scegliere di allocare una percentuale precisa a ogni Trattamento o semplicemente attivare la barra di selezione Distribuisci uniformemente.
-
Abilita l’esperimento di scalabilità automatica per distribuire automaticamente la variante vincente dell’esperimento. Ulteriori informazioni sulla scalabilità del vincitore
-
Fai clic su Crea quando la configurazione è impostata.
L’esperimento slot machine è disponibile solo con i seguenti elementi:
- Canali in entrata
- Percorsi unitari
- Campagne attivate da API (sia transazionali che operative)
- Canali in uscita se la pianificazione si ripete
-
Quando il messaggio è personalizzato, dalla scheda Azioni fai clic su Crea esperimento per iniziare a configurare l'esperimento sui contenuti.
-
Seleziona la metrica di successo da impostare per l'esperimento.
Per questo esempio, seleziona E-mail aperta per verificare se i profili aprono le e-mail se il codice promozionale è nella riga dell'oggetto.
-
Se hai creato una campagna attivata da API, seleziona Slot machine dal menu a discesa Tipo esperimento.
-
Fare clic su Aggiungi trattamento per creare il numero di nuovi trattamenti necessario.
-
Modifica il Titolo del trattamento per differenziarli meglio.
-
Scegli di aggiungere un gruppo Holdout alla consegna. Questo gruppo non riceverà alcun contenuto da questa campagna.
Se passi alla barra di attivazione, riceverai automaticamente il 10% della tua popolazione; se necessario puoi regolare questa percentuale.
note important IMPORTANT Quando un gruppo di sospensione viene utilizzato in un'azione per la sperimentazione di contenuti, l'assegnazione di sospensione si applica solo a tale azione specifica. Al termine dell’azione, i profili nel percorso di sospensione continueranno a scorrere lungo il percorso e potranno ricevere messaggi da altre azioni. Di conseguenza, assicurati che tutti i messaggi successivi non dipendano dalla ricezione di un messaggio da parte di un profilo che potrebbe trovarsi in un gruppo di attesa. In tal caso, potrebbe essere necessario rimuovere l'assegnazione di blocco. 
Tieni presente che l’esperimento Bring your own Multi-armed bandit è disponibile solo con quanto segue:
- Canali in entrata
- Percorsi unitari
- Campagne attivate da API (sia transazionali che operative)
- Canali in uscita se la pianificazione si ripete
-
Quando il messaggio è personalizzato, dalla scheda Azioni fai clic su Crea esperimento per iniziare a configurare l'esperimento sui contenuti.
-
Seleziona la metrica di successo da impostare per l'esperimento.
Per questo esempio, seleziona E-mail aperta per verificare se i profili aprono le e-mail se il codice promozionale è nella riga dell'oggetto.
-
Se hai creato una campagna attivata da API, seleziona Porta un tuo slot machine dal menu a discesa Tipo di esperimento.
-
Fare clic su Aggiungi trattamento per creare il numero di nuovi trattamenti necessario.
-
Modifica il Titolo del trattamento per differenziarli meglio.
-
Scegli di aggiungere un gruppo Holdout alla consegna. Questo gruppo non riceverà alcun contenuto da questa campagna.
Se passi alla barra di attivazione, riceverai automaticamente il 10% della tua popolazione; se necessario puoi regolare questa percentuale.
note important IMPORTANT Quando un gruppo di sospensione viene utilizzato in un'azione per la sperimentazione di contenuti, l'assegnazione di sospensione si applica solo a tale azione specifica. Al termine dell’azione, i profili nel percorso di sospensione continueranno a scorrere lungo il percorso e potranno ricevere messaggi da altre azioni. Di conseguenza, assicurati che tutti i messaggi successivi non dipendano dalla ricezione di un messaggio da parte di un profilo che potrebbe trovarsi in un gruppo di attesa. In tal caso, potrebbe essere necessario rimuovere l'assegnazione di blocco. 
Progettare i trattamenti treatment-experiment
-
Dalla finestra Modifica contenuto, seleziona il trattamento B per modificare il contenuto.
In questo caso, si sceglie di non specificare l'offerta nella riga oggetto.
-
Fai clic su Modifica corpo dell'e-mail per personalizzare ulteriormente il trattamento B.
-
Dopo aver progettato i trattamenti, fai clic su Altre azioni per accedere alle opzioni relative ai trattamenti: Rinomina, Duplica e Elimina.
-
Se necessario, accedi al menu Impostazioni esperimento per modificare la configurazione dei trattamenti.
-
Una volta definito il contenuto del messaggio, fai clic sul pulsante Simula contenuto per controllare il rendering della consegna e controlla le impostazioni di personalizzazione con i profili di test. Ulteriori informazioni
Dopo aver configurato la sperimentazione, puoi seguire il successo della consegna con il tuo rapporto. Ulteriori informazioni
Ridimensiona il vincitore scale-winner
- Canali in entrata (ad esempio, web, messaggi in-app, esperienza basata su codice) in qualsiasi percorso o campagna.
- Canali in uscita (ad esempio e-mail, notifica push, SMS) in campagne transazionali attivate da API.
Per "scalare il vincitore" si intende presentare automaticamente o manualmente la variante vincente di un esperimento a tutto il pubblico. Questa funzione assicura che, una volta determinato il vincitore, sia possibile amplificarne la portata e l'efficacia senza monitorare costantemente l'esperimento.
Puoi scegliere tra due modalità:
-
Ridimensionamento automatico: configura le impostazioni di ridimensionamento automatico durante la creazione dell'esperimento scegliendo il momento e le condizioni per il ridimensionamento del trattamento vincente o un'opzione di fallback se non emerge alcun vincitore.
-
Ridimensionamento manuale: rivedi manualmente i risultati dell'esperimento e avvia il rollout del trattamento vincente, mantenendo il controllo completo sui tempi e sulle decisioni.
Ridimensionamento automatico autoscaling
Il ridimensionamento automatico consente di impostare regole predefinite per il momento in cui eseguire il rollout del trattamento vincente o di un fallback, in base ai risultati dell’esperimento.
Si noti che, una volta eseguito il ridimensionamento automatico, il ridimensionamento manuale non è più disponibile.
Per abilitare la scalabilità automatica negli esperimenti:
-
Imposta la campagna o il percorso e configura l’esperimento in base alle esigenze. Ulteriori informazioni
-
Abilita l’opzione di scalabilità automatica durante la configurazione dell’esperimento.
-
Seleziona quando ridimensionare il vincitore:
- Non appena viene trovato il vincitore.
- Dopo l’esperimento è attivo per il tempo selezionato.
Il tempo di ridimensionamento automatico deve essere pianificato prima della data di fine dell’esperimento. Se è impostato per un periodo di tempo successivo alla data di fine, verrà visualizzato un avviso di convalida e la campagna o il percorso non verrà pubblicato.
-
Scegli il comportamento di fallback se non viene trovato alcun vincitore in base al tempo di scala:
- Continua l’esperimento fino alla fine come pianificato.
- Ridimensionare il trattamento alternativo dopo un tempo specificato.
Una volta soddisfatti tutti i parametri, il trattamento vincente o alternativo viene inviato al pubblico.
Ridimensionamento manuale manual-scaling
La scalabilità manuale consente di esaminare i risultati dell’esperimento e di decidere quando distribuire il trattamento vincente secondo la propria pianificazione.
Se si ridimensiona manualmente il vincitore prima del tempo di scalabilità automatica programmato, la scalabilità automatica viene annullata.
Per ridimensionare manualmente il vincitore degli esperimenti:
-
Imposta la campagna o il percorso e configura l’esperimento in base alle esigenze. Ulteriori informazioni
-
Consenti l’esecuzione dell’esperimento fino a quando non viene identificato un vincitore o non viene raggiunta la significatività statistica.
-
Apri il dashboard della campagna o seleziona l’attività del canale nel percorso.
Rivedi i risultati nel menu Esperimento contenuti per identificare il trattamento dalle prestazioni migliori.
-
Fai clic su Scala trattamento per inviare il trattamento vincente al resto del pubblico.
-
Selezionare il trattamento da scalare dal menu a discesa e fare clic su Scala.
Si noti che la modifica in scala del trattamento può richiedere fino a un’ora. Riceverai una notifica al termine del processo di ridimensionamento manuale.