Utilizzare la sperimentazione dei percorsi experimentation
La sperimentazione consente di testare percorsi diversi in base a una suddivisione casuale per determinare quale funziona meglio in base a metriche di successo predefinite.
Per impostare la sperimentazione dei percorsi in un percorso, segui i passaggi riportati di seguito.
Supponiamo che tu voglia confrontare tre percorsi:
- un percorso con un messaggio e-mail;
- un secondo percorso con un nodo Wait di due giorni e un'e-mail;
- un terzo percorso con un’e-mail e quindi un messaggio SMS.
-
Dalla sezione Orchestrazione, trascina l'attività Ottimizza nell'area di lavoro del percorso.
-
Aggiungi un’etichetta facoltativa che può essere utile per identificare l’attività nei rapporti e nei registri della modalità di test.
-
Selezionare Esperimento dall'elenco a discesa Metodo.
-
Fai clic su Crea esperimento.
-
Seleziona la metrica di successo da impostare per l'esperimento. Ulteriori informazioni sulle metriche disponibili e su come configurare l'elenco in questa sezione.
-
Seleziona il tipo di esperimento per l'esperimento del percorso:
-
Esperimento A/B: definire la suddivisione del traffico tra i trattamenti all'inizio del test. Le prestazioni vengono valutate in base alla metrica principale scelta; il reporting mostra l’incremento osservato tra i trattamenti.
-
Slot multi-armed: il traffico suddiviso tra i trattamenti viene gestito automaticamente. Ogni 7 giorni, le prestazioni sulla metrica principale vengono riviste e i pesi vengono regolati di conseguenza. Il reporting continua a mostrare l’incremento, come per i test A/B.
➡️ Ulteriori informazioni sulla differenza tra esperimenti A/B e Multi-armed bandit
-
-
Puoi scegliere di aggiungere un gruppo Holdout alla consegna. Questo gruppo non entrerà in alcun percorso da questo esperimento.
note note NOTE Il passaggio alla barra di attivazione occuperà automaticamente il 10% della popolazione. Se necessario, puoi regolare questa percentuale. -
Puoi allocare una percentuale precisa a ogni Trattamento o semplicemente attivare la barra di selezione Distribuisci uniformemente.
-
Abilita l’esperimento di scalabilità automatica per distribuire automaticamente la variante vincente dell’esperimento. Ulteriori informazioni sulla scalabilità del vincitore
-
Fai clic su Crea.
-
Definisci gli elementi desiderati per ogni ramo risultante dall’esperimento, ad esempio:
-
Trascina e rilascia un'attività E-mail nel primo ramo (Trattamento A).
-
Trascina e rilascia un'attività Wait di due giorni sul primo ramo, seguita da un'attività Email (Trattamento B).
-
Trascina e rilascia un'attività E-mail nel terzo ramo, seguito da un'attività SMS (Trattamento C).
-
-
Facoltativamente, utilizzare Aggiungi un percorso alternativo in caso di timeout o errore per definire un'azione di fallback. Ulteriori informazioni
-
Pubblica il tuo percorso.
Una volta che il percorso è attivo, gli utenti vengono assegnati in modo casuale per seguire percorsi diversi. Journey Optimizer tiene traccia del percorso più performante e fornisce informazioni fruibili.
Segui il successo del tuo percorso con il rapporto Percorsi Path Experiment (Esperimento percorso ). Ulteriori informazioni
Casi di utilizzo dell’esperimento uc-experiment
Gli esempi seguenti mostrano come utilizzare l'attività Ottimizza con il metodo Esperimento per determinare quale percorso funziona meglio nel complesso.
Verifica se l’invio del primo messaggio tramite e-mail rispetto agli SMS determina conversioni più elevate.
➡️ Utilizza il tasso di conversione come metrica di successo (ad esempio: acquisti, iscrizioni).
Esegui un esperimento per verificare se l’invio di un’e-mail rispetto a tre e-mail in una settimana comporta più acquisti.
➡️ Utilizza gli acquisti o il tasso di annullamento dell'iscrizione come metrica di successo.
Confronta un’attesa di 24 ore con un’attesa di 72 ore prima di un follow-up per determinare quale tempistica massimizza il coinvolgimento.
➡️ Utilizza il tasso di click-through o i ricavi come metrica di successo.
Ridimensiona il vincitore scale-winner
Per "scalare il vincitore" si intende presentare automaticamente o manualmente la variante vincente di un esperimento a tutto il pubblico. Questa funzione assicura che, una volta determinato il vincitore, sia possibile amplificarne la portata e l'efficacia senza monitorare costantemente l'esperimento.
Puoi scegliere tra due modalità:
-
Ridimensionamento automatico: configura le impostazioni di ridimensionamento automatico durante la creazione dell'esperimento scegliendo il momento e le condizioni per il ridimensionamento del trattamento vincente o un'opzione di fallback se non emerge alcun vincitore.
-
Ridimensionamento manuale: rivedi manualmente i risultati dell'esperimento e avvia il rollout del trattamento vincente, mantenendo il controllo completo sui tempi e sulle decisioni.
Ridimensionamento automatico autoscaling
Il ridimensionamento automatico consente di impostare regole predefinite per il momento in cui eseguire il rollout del trattamento vincente o di un fallback, in base ai risultati dell’esperimento.
Si noti che, una volta eseguito il ridimensionamento automatico, il ridimensionamento manuale non è più disponibile.
Per abilitare la scalabilità automatica negli esperimenti:
-
Imposta il percorso e configura l’esperimento in base alle esigenze. Ulteriori informazioni
-
Abilita l’opzione di scalabilità automatica durante la configurazione dell’esperimento.
-
Seleziona quando ridimensionare il vincitore:
- Non appena viene trovato il vincitore.
- Dopo l’esperimento è attivo per il tempo selezionato.
Il tempo di ridimensionamento automatico deve essere pianificato prima della data di fine dell’esperimento. Se è impostato per un periodo di tempo successivo alla data di fine, verrà visualizzato un avviso di convalida e il percorso non verrà pubblicato.
-
Scegli il comportamento di fallback se non viene trovato alcun vincitore in base al tempo di scala:
- Continua l’esperimento fino alla fine come pianificato.
- Ridimensionare il trattamento alternativo dopo un tempo specificato.
Una volta soddisfatti tutti i parametri, il trattamento vincente o alternativo viene inviato al pubblico.
Ridimensionamento manuale manual-scaling
La scalabilità manuale consente di esaminare i risultati dell’esperimento e di decidere quando distribuire il trattamento vincente secondo la propria pianificazione.
Se si ridimensiona manualmente il vincitore prima del tempo di scalabilità automatica programmato, la scalabilità automatica viene annullata.
Per ridimensionare manualmente il vincitore degli esperimenti:
-
Imposta il percorso e configura l’esperimento in base alle esigenze. Ulteriori informazioni
-
Consenti l’esecuzione dell’esperimento fino a quando non viene identificato un vincitore o non viene raggiunta la significatività statistica.
-
Apri il percorso e seleziona l'attività Ottimizza che contiene l'esperimento del percorso.
Esaminare i risultati nella visualizzazione Esperimento percorso per identificare il trattamento dalle prestazioni migliori.
-
Fai clic su Scala trattamento per inviare il trattamento vincente al resto del pubblico.
-
Selezionare il trattamento da scalare dal menu a discesa e fare clic su Scala.
Si noti che la modifica in scala del trattamento può richiedere fino a un’ora. Riceverai una notifica al termine del processo di ridimensionamento manuale.