Calcoli statistici nei test A/Bn
Questo articolo documenta i calcoli statistici dettagliati utilizzati nei test A/Bn manuali in Adobe Target. Definizioni fornite per Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift e Confidence.
Prestazioni medie
Nella sezione seguente vengono illustrati i calcoli utilizzati nell'illustrazione precedente.
Campagne RPV (tasso di conversione e ricavo per visitatore)
Nella figura seguente sono illustrati Conversion Rate, Confidence Interval of Conversion Rate e il numero di Conversions in un report Target. Ad esempio, la prima riga mostra che per l'Esperienza A: Conversion Rate è 25,81% con una Confidence Interval di ±7,7% e sono state registrate 32 conversioni. Dato che l’esperienza è stata vista da 124 visitatori, questo equivale a 32/124 = 25,81%.
Il tasso di conversione o media, μ, per ogni esperienza ** in un esperimento è definito come un rapporto tra la somma della metrica e il numero di unità assegnate a tale metrica, N:
Qui,
-
Yi è il valore della metrica per ogni unità i, assegnata a una determinata esperienza **.
-
La somma delle unità i dipende dalla scelta della metodologia di conteggio.
- Se Visitors viene utilizzato come metodologia di conteggio, ogni unità è un visitatore univoco definito come partecipante univoco all'attività per tutta la durata dell'attività.
- Se si utilizza Visits come metodologia di conteggio, ogni unità è una visita univoca definita come partecipante univoco a un'esperienza durante una sessione di Target (con un
sessionIdunivoco). QuandosessionIdcambia o il visitatore raggiunge il passaggio di conversione, viene conteggiata una nuova visita. - Se Activity Impressions viene utilizzato come metodologia di conteggio, ogni unità è un'impression univoca definita come ogni volta che un visitatore carica una pagina dell'attività.
Confidence Interval of Mean/Conversion Rate
L’intervallo di confidenza del tasso di conversione è intuitivamente definito come un intervallo di possibili tassi di conversione coerente con i dati sottostanti.
Quando si eseguono esperimenti, il tasso di conversione per una determinata esperienza è una stima del tasso di conversione "true". Per quantificare l'incertezza in questa stima, Target utilizza un intervallo di affidabilità. Target riporta sempre un intervallo di affidabilità del 95%, il che significa che alla fine il 95% degli intervalli di affidabilità calcolati include il tasso di conversione effettivo dell'esperienza.
Un intervallo di affidabilità del 95% del tasso di conversione μ è definito come l'intervallo di valori:
Dove l’errore standard per la media è definito come
Se si utilizza una stima imparziale della deviazione standard del campione:
Quando la campagna è basata su un tasso di conversione (ad esempio, la metrica di conversione è binaria), l’errore standard si riduce a:
Incremento
La figura seguente mostra Lift e Confidence Interval of Lift in un report Target. Il numero rappresenta la media dell'intervallo dei limiti di incremento e la freccia indica se l'incremento è positivo o negativo. La freccia viene visualizzata in grigio fino a quando l’affidabilità non supera il 95%. Una volta superata la soglia di affidabilità, la freccia diventa verde o rossa in base a un incremento positivo o negativo.
L'incremento tra un'esperienza ** e l'esperienza di controllo 0 è il "delta" relativo nei tassi di conversione, definito come
Laddove i singoli tassi di conversione sono definiti sopra. Più semplicemente,
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Se il tasso di conversione dell'esperienza di controllo 0 è 0, non vi è alcun incremento.
Confidence Interval of Lift
Il grafico boxplot nella colonna Average Lift and Confidence Interval rappresenta il valore medio e il 95% Confidence Interval of Lift. Il grafico a caselle è grigio quando vi è una sovrapposizione tra l’intervallo di affidabilità di una determinata esperienza non di controllo e l’intervallo di affidabilità dell’esperienza di controllo. Il grafico a caselle è verde o rosso quando l’intervallo di affidabilità dell’esperienza fornita è superiore o inferiore all’intervallo di affidabilità dell’esperienza di controllo.
L'errore standard dell'incremento tra un'esperienza ** e l'esperienza di controllo 0 è definito come:
Quindi l’intervallo di affidabilità del 95% dell’incremento è:
Questo calcolo utilizza il metodo "Delta" ed è descritto più dettagliatamente in questo documento
Confidence
L'ultima colonna mostra l'affidabilità in un report Target. L’affidabilità di un’esperienza è una probabilità (espressa in percentuale) di ottenere un risultato estremo quanto quello osservato, data l’ipotesi nulla è vera. In termini di valori p, l'affidabilità visualizzata è 1 - valore p. Intuitivamente, una maggiore affidabilità significa che è meno probabile che l’esperienza di controllo e quella di non controllo abbiano tassi di conversione uguali.
In Target viene eseguito un test t Welch a due code tra l'esperienza di test e l'esperienza di controllo per verificare se i mezzi delle esperienze di test e di controllo sono gli stessi. Poiché di solito non sappiamo se le dimensioni del campione e le varianze di due gruppi sono uguali prima di eseguire l'esperimento e Target consente anche di avere percentuali di traffico diverse inviate a ogni esperienza, non si presume che la varianza per ogni esperienza sia uguale. Pertanto, il test t di Welch viene scelto al posto del test t di Student.
Per eseguire il test t di Welch, iniziamo prima a calcolare la statistica t e i gradi di libertà, quindi eseguiamo un test t a due code per generare il valore p. Infine, calcoliamo l’affidabilità in base al valore p.
La statistica t è definita come la differenza tra le medie di due variabili casuali indipendenti, ** e 0, divisa per l'errore standard della differenza:
Dove μv e μv0 sono le medie rispettivamente di μ e 0 e l'errore standard della differenza tra μv e μv0 è dato da:
Dove 2v e Prodotti finiti2v0 sono le varianze di due esperienze e 0 rispettivamente e Nv e Nv0 sono le dimensioni campione rispettivamente di e 24}0.
Per il test t di Welch, il grado di libertà è calcolato come segue:
E il grado di libertà per ** e 0 è definito come:
Quindi il valore p può essere calcolato dall'area nelle code della distribuzione t:
Infine, l'attendibilità segnalata in Target è definita come:
Esecuzione dei calcoli offline
Il rapporto CSV scaricato include solo dati non elaborati; non include metriche calcolate come ricavi per visitatore, incremento o affidabilità, utilizzate per i test A/B.
Per calcolare queste quantità statistiche, scarica il file Excel del Target calcolatore di affidabilità completo per immettere il valore dell'attività.