Pannello Sperimentazione

Il pannello Experimentation consente agli analisti di confrontare diverse varianti di esperienza utente, marketing o messaggistica per determinare quale sia meglio per determinare un risultato specifico. Puoi valutare l’incremento e l’affidabilità di qualsiasi esperimento A/B da qualsiasi piattaforma di sperimentazione: online, offline, dalle soluzioni di Adobe, Adobe Journey Optimizer e persino da dati BYO (risorse disponibili).

Controllo degli accessi

Il pannello Sperimentazione è disponibile per l’utilizzo da parte di tutti gli utenti di Customer Journey Analytics (CJA). Non sono necessari diritti di amministratore o altre autorizzazioni. Tuttavia, la configurazione (passaggi 1 e 2 di seguito) richiede azioni che solo gli amministratori possono eseguire.

Passaggio 1: creare una connessione per i set di dati dell’esperimento

Lo schema di dati consigliato prevede che i dati dell’esperimento siano in un array Oggetto che contiene i dati dell’esperimento e della variante in due dimensioni separate. Se i dati dell’esperimento sono inclusi in una singola dimensione con dati di esperimento e variante in una stringa delimitata, puoi utilizzare l’impostazione sottostringa nelle visualizzazioni dati per dividerle in due e utilizzarle nel pannello.

Dopo che i dati dell’esperimento sono stati acquisiti in Adobe Experience Platform, crea una connessione in CJA a uno o più set di dati per l’esperimento.

Passaggio 2: aggiungere etichette di contesto alle visualizzazioni dati

Nelle impostazioni delle visualizzazioni dati di CJA, gli amministratori possono aggiungere etichette di contesto a una dimensione o a una metrica e i servizi CJA come il pannello Experimentation possono utilizzare tali etichette per i loro scopi. Per il pannello Sperimentazione vengono utilizzate due etichette predefinite:

• Experimentation Experiment
• Experimentation Variant

Nella visualizzazione dati che contiene dati di sperimentazione, scegli due dimensioni, una con i dati di sperimentazione e una con i dati della variante. Quindi assegna a queste dimensioni le etichette Experiment e Variant.

Se queste etichette non sono presenti, il pannello Sperimentazione non funziona, in quanto non ci saranno esperimenti su cui lavorare.

Passaggio 3: configurare il pannello Sperimentazione

1. Nell’area di lavoro di CJA, trascina il pannello Sperimentazione in un progetto.

1. Configura le impostazioni di input del pannello.

   Impostazione	Definizione
   Experiment	Un set di varianti di un’esperienza che sono state esposte agli utenti finali per determinare quale è meglio mantenere per sempre. Un esperimento è costituito da due o più varianti, una delle quali è considerata la variante di controllo. Questa impostazione è precompilata con le dimensioni a cui è stata applicata l’etichetta Experiment nelle visualizzazioni dati e i dati relativi all’esperimento degli ultimi 3 mesi.
   Control Variant	Una delle due o più modifiche nell’esperienza di un utente finale che vengono confrontate allo scopo di identificare l’alternativa migliore. Una variante deve essere selezionata come controllo; una sola variante può essere considerata come variante di controllo. Questa impostazione è precompilata con le dimensioni a cui è stata applicata l’etichetta Variant nelle visualizzazioni dati. Questa impostazione richiama i dati delle varianti associati all’esperimento.
   Success Metrics	La metrica o le metriche con cui un utente confronta le varianti. La variante con il risultato più auspicabile per la metrica di conversione (più alto o più basso) è indicata come la “variante con le prestazioni migliori” di un esperimento. Puoi aggiungere fino a 5 metriche.
   Normalizing Metric	La base (People, Sessions oppure Events) su cui verrà eseguito un test. Ad esempio, un test può confrontare i tassi di conversione di diverse varianti in cui il valore Conversion rate è calcolato come Conversions per session o Conversions per person.
   Date Range	L’intervallo di date viene impostato automaticamente in base al primo hit ricevuto in CJA per l’esperimento selezionato. Se necessario, puoi limitare o espandere l’intervallo di date a un intervallo temporale più specifico.

2. Fai clic su Build.

Passaggio 4: visualizzare l’output del pannello

Il pannello Sperimentazione restituisce set completi di dati e visualizzazioni per consentirti di comprendere meglio le prestazioni degli esperimenti. Nella parte superiore del pannello viene visualizzata una riga di riepilogo per ricordarti le impostazioni selezionate per il pannello. In qualsiasi momento, puoi modificare il pannello facendo clic sull’icona Modifica a forma di matita, in alto a destra.

Viene inoltre visualizzato un riepilogo testuale che indica se l’esperimento è conclusivo o meno e riassume il risultato. La conclusione si basa sulla rilevanza statistica. Vedi “Metodologia statistica” di seguito. Puoi visualizzare i numeri di riepilogo per la variante con le prestazioni migliori, con i valori di incremento e affidabilità più elevati.

Per ogni metrica di successo selezionata, verrà visualizzata una tabella a forma libera e una tendenza del tasso di conversione.

Il grafico Line fornisce le prestazioni di Control rispetto a Control Variant:

Passaggio 5: interpretare i risultati

1. L’esperimento è conclusivo: ogni volta che visualizzi il rapporto sulla sperimentazione, Adobe analizza i dati accumulati nell’esperimento fino a questo punto e dichiarerà un esperimento “Conclusivo” se la soglia di affidabilità valida supera il 95% per almeno una delle varianti (applicando una correzione Bonferroni in presenza di più di due bracci, per test con più ipotesi).

2. Variante con prestazioni migliori: quando un esperimento è dichiarato conclusivo, la variante con il tasso di conversione più alto è etichettata come la “variante con le prestazioni migliori”. Questa variante deve essere la variante di controllo o linea di base oppure una delle varianti che supera la soglia del 95% di affidabilità valida in qualsiasi momento (con correzioni Bonferroni).

3. Tasso di conversione: il tasso di conversione mostrato è un rapporto tra il valore della metrica di successo e il valore della metrica di normalizzazione. Tieni presente che a volte questo può essere maggiore di 1, se la metrica non è binaria (1 o 0 per ogni unità nell’esperimento)

4. Incremento: il riepilogo del rapporto Esperimento mostra l’Incremento rispetto alla linea di base, che è una misura del miglioramento percentuale del tasso di conversione di una determinata variante rispetto alla linea di base. Più precisamente, rappresenta la differenza di prestazioni tra una determinata variante e la linea di base, divisa per le prestazioni della linea di base, espressa in percentuale.

5. Affidabilità: il valore presentato di affidabilità valida per qualsiasi momento è una misura probabilistica della quantità di prove che dimostrano che una data variante è uguale alla variante di controllo. Una maggiore affidabilità indica meno prove dell’ipotesi che le varianti di controllo e non di controllo abbiano prestazioni uguali. Più precisamente, l’affidabilità visualizzata rappresenta la probabilità (espressa in percentuale) di osservare una differenza minore nei tassi di conversione tra una data variante e il controllo, se in realtà non vi è alcuna differenza negli effettivi tassi di conversione sottostanti. In termini di valori p, l’affidabilità visualizzata è 1 - valore p.

Metodologia statistica di Adobe

Per fornire un’inferenza statistica facilmente interpretabile e sicura, Adobe ha adottato una metodologia statistica basata sulle sequenze di affidabilità valide in qualsiasi momento.

Una sequenza di affidabilità è un analogico “sequenziale” di un intervallo di affidabilità. Per capire quale sia una sequenza di affidabilità, immagina di ripetere un esperimento cento volte e di calcolare una stima della metrica di business media (ad esempio il tasso di apertura di un’e-mail) e della relativa sequenza con affidabilità al 95% per ogni nuovo utente che entra nell’esperimento.

Una sequenza con affidabilità del 95% includerà il valore “true” della metrica di business in 95 dei 100 esperimenti eseguiti. (Un intervallo di affidabilità del 95% può essere calcolato una sola volta per esperimento al fine di fornire la stessa garanzia di copertura del 95%; non con ogni nuovo utente). Le sequenze di affidabilità consentono quindi di monitorare continuamente gli esperimenti, senza aumentare i tassi di errore di tipo falso positivo, ovvero permettono di “sbirciare” nei risultati.

Nuove funzioni nelle metriche calcolate

Sono state aggiunte due nuove funzioni avanzate: Lift e Confidence. Per ulteriori informazioni, consulta Riferimento - Funzioni avanzate.

Risorse Business.Adobe.com