In questa pagina: scopri come impostare la sperimentazione dei percorsi con l’attività Ottimizza per testare diversi percorsi di percorso utilizzando esperimenti A/B o slot machine, identificare il trattamento dalle prestazioni migliori in base alla metrica di successo e scalare il vincitore.
La sperimentazione consente di testare percorsi diversi in base a una suddivisione casuale per determinare quale funziona meglio in base a metriche di successo predefinite.
Per impostare la sperimentazione dei percorsi in un percorso, segui i passaggi riportati di seguito.
Supponiamo che tu voglia confrontare tre percorsi:
- un percorso con un messaggio e-mail;
- un secondo percorso con un nodo Wait di due giorni e un’e-mail;
- un terzo percorso con un’e-mail e quindi un messaggio SMS.
-
Dalla sezione Orchestrazione, trascina l’attività Ottimizza nell’area di lavoro del percorso.
-
Aggiungi un’etichetta facoltativa che può essere utile per identificare l’attività nei rapporti e nei registri della modalità di test.
-
Selezionare Esperimento dall’elenco a discesa Metodo.
-
Fai clic su Crea esperimento.
-
Seleziona la metrica di successo da impostare per l’esperimento. Ulteriori informazioni sulle metriche disponibili e su come configurare l’elenco in questa sezione.
-
Seleziona il tipo di esperimento per l’esperimento del percorso:
-
Esperimento A/B: definire la suddivisione del traffico tra i trattamenti all’inizio del test. Le prestazioni vengono valutate in base alla metrica principale scelta; il reporting mostra l’incremento osservato tra i trattamenti.
-
Slot multi-armed: il traffico suddiviso tra i trattamenti viene gestito automaticamente. Ogni 7 giorni, le prestazioni sulla metrica principale vengono riviste e i pesi vengono regolati di conseguenza. Il reporting continua a mostrare l’incremento, come per i test A/B.
➡️ Ulteriori informazioni sulla differenza tra esperimenti A/B e Multi-armed bandit
-
-
Puoi scegliere di aggiungere un gruppo Holdout alla consegna. Questo gruppo non entrerà in alcun percorso da questo esperimento.
note NOTE Il passaggio alla barra di attivazione occuperà automaticamente il 10% della popolazione. Se necessario, puoi regolare questa percentuale. -
Puoi allocare una percentuale precisa a ogni Trattamento o semplicemente attivare la barra di selezione Distribuisci uniformemente.
-
Abilita l’esperimento di scalabilità automatica per distribuire automaticamente la variante vincente dell’esperimento. Ulteriori informazioni sulla scalabilità del vincitore
-
Fai clic su Crea.
-
Definisci gli elementi desiderati per ogni ramo risultante dall’esperimento, ad esempio:
-
Trascina e rilascia un’attività E-mail nel primo ramo (Trattamento A).
-
Trascina e rilascia un’attività Wait di due giorni sul primo ramo, seguita da un’attività Email (Trattamento B).
-
Trascina e rilascia un’attività E-mail nel terzo ramo, seguito da un’attività SMS (Trattamento C).
-
-
Facoltativamente, utilizzare Aggiungi un percorso alternativo in caso di timeout o errore per definire un’azione di fallback. Ulteriori informazioni
-
Pubblica il tuo percorso.
Una volta che il percorso è attivo, gli utenti vengono assegnati in modo casuale per seguire percorsi diversi. Journey Optimizer tiene traccia del percorso più performante e fornisce informazioni fruibili.
Segui il successo del tuo percorso con il rapporto Percorsi Path Experiment (Esperimento percorso ). Ulteriori informazioni
Assegnazione percorso al rientro del percorso path-assignment
L’assegnazione del percorso è permanente per un profilo che si trova in più ingressi nella stessa versione del percorso. Ad esempio, se un profilo entra in un percorso il giorno 1 e viene assegnato al percorso A e poi entra di nuovo nel percorso 2, verrà nuovamente assegnato al percorso A. Ciò garantisce un’esperienza coerente per l’utente ed è necessario per reportistica e analisi statisticamente valide.
Tuttavia, le assegnazioni sono persistenti solo all’interno di una determinata versione del percorso. Dopo aver pubblicato una nuova versione del percorso, la randomizzazione cambia e un profilo può essere assegnato a un percorso diverso.
Se in un percorso sono presenti più attività di sperimentazione su percorsi, ogni attività applica un’assegnazione casuale indipendente.
Casi di utilizzo dell’esperimento uc-experiment
Gli esempi seguenti mostrano come utilizzare l’attività Ottimizza con il metodo Esperimento per determinare quale percorso funziona meglio nel complesso.
Verifica se l’invio del primo messaggio tramite e-mail rispetto agli SMS determina conversioni più elevate.
➡️ Utilizza il tasso di conversione come metrica di successo (ad esempio: acquisti, iscrizioni).
Esegui un esperimento per verificare se l’invio di un’e-mail rispetto a tre e-mail in una settimana comporta più acquisti.
➡️ Utilizza gli acquisti o il tasso di annullamento dell’iscrizione come metrica di successo.
Confronta un’attesa di 24 ore con un’attesa di 72 ore prima di un follow-up per determinare quale tempistica massimizza il coinvolgimento.
➡️ Utilizza il tasso di click-through o i ricavi come metrica di successo.
Ridimensiona il vincitore scale-winner
Per “scalare il vincitore” si intende presentare automaticamente o manualmente la variante vincente di un esperimento a tutto il pubblico. Questa funzione assicura che, una volta determinato il vincitore, sia possibile amplificarne la portata e l’efficacia senza monitorare costantemente l’esperimento.
Puoi scegliere tra due modalità:
-
Ridimensionamento automatico: configura le impostazioni di ridimensionamento automatico durante la creazione dell’esperimento scegliendo il momento e le condizioni per il ridimensionamento del trattamento vincente o un’opzione di fallback se non emerge alcun vincitore.
-
Ridimensionamento manuale: rivedi manualmente i risultati dell’esperimento e avvia il rollout del trattamento vincente, mantenendo il controllo completo sui tempi e sulle decisioni.
Ridimensionamento automatico autoscaling
Il ridimensionamento automatico consente di impostare regole predefinite per il momento in cui eseguire il rollout del trattamento vincente o di un fallback, in base ai risultati dell’esperimento.
Si noti che, una volta eseguito il ridimensionamento automatico, il ridimensionamento manuale non è più disponibile.
Per abilitare la scalabilità automatica negli esperimenti:
-
Imposta il percorso e configura l’esperimento in base alle esigenze. Ulteriori informazioni
-
Abilita l’opzione di scalabilità automatica durante la configurazione dell’esperimento.
-
Seleziona quando ridimensionare il vincitore:
- Non appena viene trovato il vincitore.
- Dopo l’esperimento è attivo per il tempo selezionato.
Il tempo di ridimensionamento automatico deve essere pianificato prima della data di fine dell’esperimento. Se è impostato per un periodo di tempo successivo alla data di fine, verrà visualizzato un avviso di convalida e il percorso non verrà pubblicato.
-
Scegli il comportamento di fallback se non viene trovato alcun vincitore in base al tempo di scala:
- Continua l’esperimento fino alla fine come pianificato.
- Ridimensionare il trattamento alternativo dopo un tempo specificato.
Una volta soddisfatti tutti i parametri, il trattamento vincente o alternativo viene inviato al pubblico.
Ridimensionamento manuale manual-scaling
La scalabilità manuale consente di esaminare i risultati dell’esperimento e di decidere quando distribuire il trattamento vincente secondo la propria pianificazione.
Se si ridimensiona manualmente il vincitore prima del tempo di scalabilità automatica programmato, la scalabilità automatica viene annullata.
Per ridimensionare manualmente il vincitore degli esperimenti:
-
Imposta il percorso e configura l’esperimento in base alle esigenze. Ulteriori informazioni
-
Consenti l’esecuzione dell’esperimento fino a quando non viene identificato un vincitore o non viene raggiunta la significatività statistica.
-
Apri il percorso e seleziona l’attività Ottimizza che contiene l’esperimento del percorso.
Esaminare i risultati nella visualizzazione Esperimento percorso per identificare il trattamento dalle prestazioni migliori.
-
Fai clic su Scala trattamento per inviare il trattamento vincente al resto del pubblico.
-
Selezionare il trattamento da scalare dal menu a discesa e fare clic su Scala.
Si noti che la modifica in scala del trattamento può richiedere fino a un’ora. Riceverai una notifica al termine del processo di ridimensionamento manuale.
Questa sezione contiene informazioni strutturate che supportano l’interpretazione, il recupero e la risposta alle domande relative a questo argomento.
Per una comprensione completa, queste informazioni devono essere unite alla documentazione su questa pagina. Nessuna delle due origini è progettata per essere indipendente; la pagina descrive la funzione, mentre questa sezione fornisce un contesto aggiuntivo che aiuta a non ambiguare la terminologia, le finalità, l’applicabilità e i vincoli.
- TL;DR: In questa pagina viene illustrato come configurare ed eseguire la sperimentazione dei percorsi nei percorsi Adobe Journey Optimizer utilizzando i metodi A/B o Multi-armed Bandit e come ridimensionare il trattamento vincente in modo automatico o manuale.
Intenti:
- Configurare un esperimento A/B o Percorso slot machine in un percorso
- Definire le metriche di successo per valutare le prestazioni dell’esperimento
- Allocare il traffico tra i percorsi di trattamento in modo uniforme o in base a una percentuale personalizzata
- Aggiungi un gruppo di attesa per escludere una parte del pubblico da tutti i trattamenti
- Abilita il ridimensionamento automatico per distribuire automaticamente il trattamento vincente
- Ridimensiona manualmente il trattamento vincente dopo aver esaminato i risultati dell’esperimento
Glossario:
- Ottimizza attività: attività di area di lavoro del percorso utilizzata per dividere i profili in percorsi diversi per la sperimentazione o il targeting di (specifico per prodotto)
- Trattamento: una variante a singolo percorso in un esperimento su un percorso (ad esempio, Trattamento A, Trattamento B) (specifico per prodotto)
- Metrica di successo: KPI utilizzato per valutare quale trattamento funziona meglio in un esperimento (specifico per prodotto)
- Slot machine: tipo di esperimento in cui la suddivisione del traffico viene regolata automaticamente ogni 7 giorni in base alle prestazioni della metrica principale (specifico per prodotto)
- Scalabilità del vincitore: funzionalità che esegue il rollout del trattamento vincente per l’intero pubblico rimanente, in modo automatico o manuale (specifico per prodotto)
- Gruppo di attesa: un segmento del pubblico escluso da tutti i trattamenti dell’esperimento, utilizzato come gruppo di controllo (specifico per prodotto)
Guardrail:
- Il vincitore è disponibile solo per percorsi unitari (evento-attivato e qualificazione del pubblico); non è disponibile per percorsi Read Audience.
- Il tempo di scalabilità automatica deve essere pianificato prima della data di fine dell’esperimento, altrimenti il percorso non pubblicherà.
- Dopo il ridimensionamento automatico, il ridimensionamento manuale non è più disponibile.
- Il ridimensionamento manuale del vincitore prima del tempo di ridimensionamento automatico pianificato annulla il ridimensionamento automatico.
- La desquamazione del trattamento può richiedere fino a un’ora.
Terminologia:
- Nome canonico: Path Experimentation — Acronimo: none — varianti: percorsi experiment, A/B path test
- Sinonimi: “Ottimizza attività” = “attività esperimento” = “attività suddivisione percorso”
- Non confondere: “esperimento A/B” ≠ “slot machine” (A/B ha una suddivisione fissa del traffico; slot machine regola dinamicamente i pesi ogni 7 giorni)
Domande frequenti:
- D: Qual è la differenza tra esperimento A/B e slot machine? — L’esperimento A/B utilizza una suddivisione fissa del traffico definita all’inizio, mentre Multi-armed bandit regola automaticamente il peso del traffico ogni 7 giorni in base alle prestazioni della metrica principale.
- Q: posso usare il metodo Scale the Winner in un percorso Read Audience? — No; Scala il vincitore è disponibile solo per percorsi unitari (evento-attivato e qualificazione del pubblico).
- D: cosa succede se non viene trovato alcun vincitore in base al tempo di scalabilità automatica? — È possibile configurare un fallback: continuare l’esperimento fino alla sua fine pianificata oppure scalare un trattamento alternativo dopo un periodo di tempo specificato.
- Q: come viene distribuito il traffico se non si configurano manualmente le percentuali di trattamento? — È possibile attivare l’interruttore Distribuisci uniformemente per suddividere il traffico equamente tra tutti i trattamenti.
- Q: posso modificare un esperimento di percorso dopo la pubblicazione del percorso? — Il percorso entra in modalità di sola lettura dopo la pubblicazione; per apportare modifiche, creare una nuova versione del percorso.