Campaign Standard: consegne di test A/B ancora in sospeso mentre è selezionato il vincitore

Questo articolo descrive il motivo per cui il test A/B viene concluso prima che tutte le varianti vengano distribuite ai destinatari.

Descrizione description

Le consegne di test A/B in un flusso di lavoro sono state impostate per inviare cinque consegne e scegliere un vincitore in base a criteri selezionati. Tuttavia, i registri di invio mostravano lo stato "In sospeso", mentre l’interfaccia utente mostra che è stato scelto un vincitore ("A") e il pubblico rimanente ha ricevuto le e-mail. Questa discrepanza ha sollevato dubbi sul fatto che tutti i destinatari abbiano ricevuto i messaggi in modo accurato.

Risoluzione resolution

La causa principale in questo caso era correlata al fatto che il flusso di lavoro è stato completato o è stato interrotto prima del completamento della consegna.

I messaggi sono stati inviati e l’elaborazione delle risposte è iniziata, ma poiché la durata dell’attività di consegna è determinata dal flusso di lavoro, l’elaborazione è stata interrotta a metà strada per tutte le consegne incluse.

È importante che questo tipo di flusso di lavoro con consegne di test A/B continui a funzionare fino a quando le metriche non saranno soddisfacenti.

Ciò è dovuto alla natura delle consegne del test A/B, in quanto hanno più fasi nel flusso.

Fino a quando non vengono elaborati tutti i messaggi, che sono stati confermati come ricevuti, aperti, non recapitati, su cui è stato fatto clic, ecc., la consegna non deve essere interrotta.

Se il cliente deve utilizzare un flusso di lavoro per le consegne di test A/B, esegui gli stessi flussi di lavoro a tempo indefinito, ad esempio. per una settimana, ad esempio.

Inoltre, sarebbe opportuno scaglionare le consegne stesse e non la tariffa oraria dei messaggi quando viene eseguito un test A/B, oppure creare un flusso di lavoro separato per ciascuna consegna.