Calcoli statistici nei test A/Bn

Questo articolo documenta i calcoli statistici dettagliati utilizzati nei test A/Bn manuali in Adobe Target. Definizioni fornite per Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift e Confidence.

Prestazioni medie

Nella sezione seguente vengono illustrati i calcoli utilizzati nell'illustrazione precedente.

Campagne RPV (tasso di conversione e ricavo per visitatore)

Nella figura seguente sono illustrati Conversion Rate, Confidence Interval of Conversion Rate e il numero di Conversions in un report Target. Ad esempio, la prima riga mostra che per l'Esperienza A: Conversion Rate è 25,81% con una Confidence Interval di ±7,7% e sono state registrate 32 conversioni. Dato che l’esperienza è stata vista da 124 visitatori, questo equivale a 32/124 = 25,81%.

{width="25%"}

Il tasso di conversione o media, μ, per ogni esperienza ** in un esperimento è definito come un rapporto tra la somma della metrica e il numero di unità assegnate a tale metrica, N:

{width="125px"}

Qui,

Confidence Interval of Mean/Conversion Rate

L’intervallo di confidenza del tasso di conversione è intuitivamente definito come un intervallo di possibili tassi di conversione coerente con i dati sottostanti.

Quando si eseguono esperimenti, il tasso di conversione per una determinata esperienza è una stima del tasso di conversione "true". Per quantificare l'incertezza in questa stima, Target utilizza un intervallo di affidabilità. Target riporta sempre un intervallo di affidabilità del 95%, il che significa che alla fine il 95% degli intervalli di affidabilità calcolati include il tasso di conversione effettivo dell'esperienza.

Viene inoltre riportato un numero di "affidabilità" accanto all’esperienza attualmente leader o vincente. Questa cifra viene segnalata solo fino a quando Confidence dell'esperienza principale non raggiunge almeno il 60%. Se nell’attività sono presenti due esperienze, questo numero rappresenta il livello di affidabilità con cui le prestazioni dell’esperienza sono migliori rispetto all’altra esperienza. Se nell’attività sono presenti più di due esperienze, questo numero rappresenta il livello di affidabilità con cui le prestazioni dell’esperienza sono migliori rispetto all’esperienza di "controllo" definita. Se l’esperienza "Controllo" sta vincendo, non viene segnalato alcun valore "Affidabilità".

Un intervallo di affidabilità del 95% del tasso di conversione μ è definito come l'intervallo di valori:

{width="30%"}

Dove l’errore standard per la media è definito come

{width="75px"}

Se si utilizza una stima imparziale della deviazione standard del campione:

{width="200px"}

Quando la campagna è basata su un tasso di conversione (ad esempio, la metrica di conversione è binaria), l’errore standard si riduce a:

{width="150px"}

Incremento

La figura seguente mostra Lift e Confidence Interval of Lift in un report Target. Il numero rappresenta la media dell'intervallo dei limiti di incremento e la freccia indica se l'incremento è positivo o negativo. La freccia viene visualizzata in grigio fino a quando l’affidabilità non supera il 95%. Una volta superata la soglia di affidabilità, la freccia diventa verde o rossa in base a un incremento positivo o negativo.

{width="35%"}

L'incremento tra un'esperienza ** e l'esperienza di controllo ₀ è il "delta" relativo nei tassi di conversione, definito come

{width="15%"}

Laddove i singoli tassi di conversione sono definiti sopra. Più semplicemente,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Se il tasso di conversione dell'esperienza di controllo ₀ è 0, non vi è alcun incremento.

Confidence Interval of Lift

Il grafico boxplot nella colonna Average Lift and Confidence Interval rappresenta il valore medio e il 95% Confidence Interval of Lift. Il grafico a caselle è grigio quando vi è una sovrapposizione tra l’intervallo di affidabilità di una determinata esperienza non di controllo e l’intervallo di affidabilità dell’esperienza di controllo. Il grafico a caselle è verde o rosso quando l’intervallo di affidabilità dell’esperienza fornita è superiore o inferiore all’intervallo di affidabilità dell’esperienza di controllo.

L'errore standard dell'incremento tra un'esperienza ** e l'esperienza di controllo ₀ è definito come:

{width="35%"}

Quindi l’intervallo di affidabilità del 95% dell’incremento è:

{width="40%"}

Questo calcolo utilizza il metodo "Delta" ed è descritto più dettagliatamente in questo documento

Confidence

L'ultima colonna mostra l'affidabilità in un report Target. L’affidabilità di un’esperienza è una probabilità (espressa in percentuale) di ottenere un risultato estremo quanto quello osservato, data l’ipotesi nulla è vera. In termini di valori p, l'affidabilità visualizzata è 1 - valore p. Intuitivamente, una maggiore affidabilità significa che è meno probabile che l’esperienza di controllo e quella di non controllo abbiano tassi di conversione uguali.

In Target viene eseguito un test t Welch a due code tra l'esperienza di test e l'esperienza di controllo per verificare se i mezzi delle esperienze di test e di controllo sono gli stessi. Poiché di solito non sappiamo se le dimensioni del campione e le varianze di due gruppi sono uguali prima di eseguire l'esperimento e Target consente anche di avere percentuali di traffico diverse inviate a ogni esperienza, non si presume che la varianza per ogni esperienza sia uguale. Pertanto, il test t di Welch viene scelto al posto del test t di Student.

Per eseguire il test t di Welch, iniziamo prima a calcolare la statistica t e i gradi di libertà, quindi eseguiamo un test t a due code per generare il valore p. Infine, calcoliamo l’affidabilità in base al valore p.

La statistica t è definita come la differenza tra le medie di due variabili casuali indipendenti, ** e ₀, divisa per l'errore standard della differenza:

{width="100px"}

Dove μ_v e μ_v0 sono le medie rispettivamente di μ e ₀ e l'errore standard della differenza tra μ_v e μ_v0 è dato da:

{width="150px"}

Dove ²_v e Prodotti finiti²_v0 sono le varianze di due esperienze ​ e 0_{rispettivamente e} N v_e N *v_{0sono le dimensioni campione rispettivamente di} ​e* 24}0 .

Per il test t di Welch, il grado di libertà è calcolato come segue:

{width="180px"}

E il grado di libertà per ** e ₀ è definito come:

{width="100px"}

{width="100px"}

Quindi il valore p può essere calcolato dall'area nelle code della distribuzione t:

{width="20%"}

Infine, l'attendibilità segnalata in Target è definita come:

{width="20%"}

Esecuzione dei calcoli offline

Il rapporto CSV scaricato include solo dati non elaborati; non include metriche calcolate come ricavi per visitatore, incremento o affidabilità, utilizzate per i test A/B.

Per calcolare queste quantità statistiche, scarica il file Excel del Target calcolatore di affidabilità completo per immettere il valore dell'attività.