Pannello Sperimentazione

Il pannello Experimentation consente agli analisti di confrontare diverse varianti di esperienza utente, marketing o messaggistica per determinare quale sia meglio per determinare un risultato specifico. Puoi valutare l’incremento e l’affidabilità di ogni esperimento A/B da qualsiasi piattaforma di sperimentazione: online, offline, dalle soluzioni di Adobe, come Target o Journey Optimizer e persino da dati BYO (risorse disponibili).

Ulteriori informazioni sull’integrazione tra Adobe Customer Journey Analytics e Adobe Target.

Controllo degli accessi

Il pannello Sperimentazione è disponibile per l’utilizzo da parte di tutti gli utenti di Customer Journey Analytics (CJA). Non sono necessari diritti di amministratore o altre autorizzazioni. Tuttavia, i prerequisiti richiedono azioni che solo gli amministratori possono eseguire.

Funzioni nelle metriche calcolate

Sono disponibili due funzioni avanzate: Incremento e Affidabilità. Per ulteriori informazioni, consulta Riferimento - Funzioni avanzate.

Prerequisiti

Per utilizzare il pannello di sperimentazione, assicurati di seguire i seguenti prerequisiti:

Creare una connessione ai set di dati dell’esperimento

Lo schema di dati consigliato prevede che i dati dell’esperimento siano in un array di oggetti che contiene i dati dell’esperimento e della variante in due dimensioni separate. Entrambe le dimensioni devono trovarsi in un singolo array di oggetti. Se i dati dell’esperimento sono inclusi in una singola dimensione (con dati di esperimento e variante in una stringa delimitata), puoi utilizzare l’impostazione sottostringa nelle visualizzazioni dati per dividerla in due per l’utilizzo nel pannello.

Dopo che i dati dell’esperimento sono stati acquisiti in Adobe Experience Platform, crea una connessione in Customer Journey Analytics a uno o più set di dati dell’esperimento.

Metodologia statistica di Adobe

Per fornire un’inferenza statistica facilmente interpretabile e sicura, Adobe ha adottato una metodologia statistica basata sulle sequenze di affidabilità valide in qualsiasi momento.

Una sequenza di affidabilità è un analogico sequenziale di un intervallo di affidabilità. Per capire quale sia una sequenza di affidabilità, immagina di ripetere gli esperimenti cento volte. Poi, calcola una stima della metrica di business media (ad esempio il tasso di apertura di un’e-mail) e la relativa sequenza associata di affidabilità al 95% per ogni nuovo utente che entra nell’esperimento.

Una sequenza con affidabilità al 95% includerà il valore “vero” relativo alla metrica di business in 95 dei 100 esperimenti eseguiti. (Un intervallo di affidabilità al 95% può essere calcolato una sola volta per esperimento al fine di fornire la stessa garanzia di copertura al 95% e non con ogni singolo nuovo utente). Le sequenze di affidabilità consentono quindi di monitorare continuamente gli esperimenti, senza aumentare i tassi di errore di tipo falso positivo, ovvero permettono di “sbirciare” nei risultati.

Interpretare dimensioni non randomizzate

Customer Journey Analytics consente agli analisti di selezionare qualsiasi dimensione come esperimento. Tuttavia, come viene interpretata un’analisi in cui la dimensione scelta come esperimento non è quella per cui le persone sono randomizzate?

Ad esempio, considera un annuncio visualizzato da una persona. Potresti essere interessato a misurare il cambiamento di una metrica (ad esempio, il ricavo medio) se decidi di mostrare alle persone annuncio B invece di annuncio A. L’effetto causale della visualizzazione dell’annuncio B invece che dell’annuncio A, è di fondamentale importanza per giungere a una decisione di marketing. Questo effetto causale può essere misurato come il ricavo medio sull’intera popolazione, se sostituisci lo status quo di mostrare l’annuncio A con la strategia alternativa di mostrare l’annuncio B.

Il test A/B è lo standard d’oro all’interno del settore per misurare obiettivamente gli effetti di tali interventi. La ragione fondamentale per cui un test A/B dà luogo a una stima causale è dovuta alla randomizzazione delle persone nel ricevere una delle possibili varianti.

Ora, considera una dimensione che non viene ottenuta tramite la randomizzazione, per esempio, lo Stato USA di una persona. Le persone provengono principalmente da due stati, New York e California. I ricavi medi delle vendite di un marchio di abbigliamento invernale relativi ai due Stati possono essere diversi a causa delle differenze climatiche di tali aree geografiche. In una situazione del genere, le condizioni climatiche possono essere il vero fattore causale delle vendite di abbigliamento invernale e non il fatto che gli stati di tali aree geografiche delle persone siano diversi.

Il pannello di sperimentazione in Customer Journey Analytics ti permette di analizzare dati come la differenza dei ricavi medi in base agli stati delle persone. In una situazione del genere, il risultato non ha un’interpretazione causale. Tuttavia, tale analisi può essere ancora interessante. Può fornire una stima (insieme a misure di incertezza) della differenza tra i ricavi medi in base agli stati delle persone. Questo valore viene anche indicato come Test dell’ipotesi statistica. Il risultato di questa analisi può essere interessante, ma non necessariamente fruibile. Semplicemente perché non hai randomizzato e talvolta non puoi randomizzare le persone a uno dei possibili valori della dimensione.

L’illustrazione seguente contrasta queste situazioni:

Quando desideri misurare l’impatto dell’intervento X sull’esito Y, è possibile che la vera causa di entrambi sia il fattore di confondimento C. Se i dati non vengono ottenuti randomizzando le persone su X, l’impatto è più difficile da misurare e l’analisi tiene esplicitamente conto di C. La randomizzazione interrompe la dipendenza di X da C permettendo di misurare l’effetto di X su Y, senza dover essere preoccupati sulle altre variabili.