Calcoli statistici nei test A/Bn
Questo articolo documenta i calcoli statistici dettagliati utilizzati nei test A/Bn manuali in Adobe Target. Le definizioni vengono fornite per le metriche di decisione Tasso di conversione, Intervallo di affidabilità del tasso di conversione, Incremento, Intervallo di affidabilità per Incremento, Affidabilità e Bayesiano.
Un’attività Test A/B (Manuale) supporta due metodologie statistiche, selezionate per attività in Obiettivi e impostazioni:
-
Test t di Welch: una metodologia frequente che riporta una percentuale di affidabilità e un intervallo di affidabilità, in base a un test di ipotesi a dimensione campione fissa. Utilizzato per attività con un obiettivo primario di Ricavi o Coinvolgimento.
-
Bayesiano: riporta i risultati come probabilità, ad esempio Possibilità di controllo del battito e intervalli credibili, calcolati dalla distribuzione posteriore completa della metrica di obiettivo di ogni esperienza. Questa impostazione è disponibile solo per le attività la cui metrica obiettivo principale è Conversione.
Test t di Welch
Prestazioni medie
Nella sezione seguente vengono illustrati i calcoli utilizzati nell’illustrazione seguente.
Campagne RPV (tasso di conversione e ricavo per visitatore)
La figura seguente mostra Tasso di conversione, Intervallo di affidabilità del tasso di conversione e il numero di Conversioni in un report Target. Ad esempio, la prima riga mostra che per l’Esperienza A: il Tasso di conversione è 25,81% con un Intervallo di affidabilità di ±7,7% e sono state registrate 32 conversioni. Dato che l’esperienza è stata vista da 124 visitatori, questo equivale a 32/124 = 25,81%.
Il tasso di conversione o media, μ, per ogni esperienza ** in un esperimento è definito come un rapporto tra la somma della metrica e il numero di unità assegnate a tale metrica, N:
Qui,
-
Yi è il valore della metrica per ogni unità i, assegnata a una determinata esperienza **.
-
La somma delle unità i dipende dalla scelta della metodologia di conteggio.
- Se si utilizza Visitatori come metodologia di conteggio, ogni unità è un visitatore univoco definito come partecipante univoco all’attività per tutta la durata dell’attività.
- Se si utilizza Visite come metodologia di conteggio, ogni unità è una visita univoca definita come partecipante univoco a un’esperienza durante una sessione di Target (con un
sessionIdunivoco). QuandosessionIdcambia o il visitatore raggiunge il passaggio di conversione, viene conteggiata una nuova visita. - Se si utilizza Impression attività come metodologia di conteggio, ogni unità è un’impression univoca definita come ogni volta che un visitatore carica una pagina dell’attività.
Intervallo di affidabilità della media/Tasso di conversione
L’intervallo di confidenza del tasso di conversione è intuitivamente definito come un intervallo di possibili tassi di conversione coerente con i dati sottostanti.
Quando si eseguono esperimenti, il tasso di conversione per una determinata esperienza è una stima del tasso di conversione “true”. Per quantificare l’incertezza in questa stima, Target utilizza un intervallo di affidabilità. Target riporta sempre un intervallo di affidabilità del 95%, il che significa che alla fine il 95% degli intervalli di affidabilità calcolati include il tasso di conversione effettivo dell’esperienza.
Viene inoltre riportato un numero di “affidabilità” accanto all’esperienza attualmente leader o vincente. Questa cifra viene segnalata solo finché l’affidabilità dell’esperienza principale non raggiunge almeno il 60%. Se nell’attività sono presenti due esperienze, questo numero rappresenta il livello di affidabilità con cui le prestazioni dell’esperienza sono migliori rispetto all’altra esperienza. Se nell’attività sono presenti più di due esperienze, questo numero rappresenta il livello di affidabilità con cui le prestazioni dell’esperienza sono migliori rispetto all’esperienza di “controllo” definita. Se l’esperienza “Controllo” sta vincendo, non viene segnalato alcun valore “Affidabilità”.
Un intervallo di affidabilità del 95% del tasso di conversione μ è definito come l’intervallo di valori:
Dove l’errore standard per la media è definito come
Se si utilizza una stima imparziale della deviazione standard del campione:
Quando la campagna è basata su un tasso di conversione (ad esempio, la metrica di conversione è binaria), l’errore standard si riduce a:
Incremento
La figura seguente mostra Incremento e Intervallo di affidabilità dell’Incremento in un report Target. Il numero rappresenta la media dell’intervallo dei limiti di incremento e la freccia indica se l’incremento è positivo o negativo. La freccia viene visualizzata in grigio fino a quando l’affidabilità non supera il 95%. Una volta superata la soglia di affidabilità, la freccia diventa verde o rossa in base a un incremento positivo o negativo.
L’incremento tra un’esperienza ** e l’esperienza di controllo 0 è il “delta” relativo nei tassi di conversione, definito come
Laddove i singoli tassi di conversione sono definiti sopra. Più semplicemente,
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Se il tasso di conversione dell’esperienza di controllo 0 è 0, non vi è alcun incremento.
Confidence Interval of Lift
Il grafico boxplot nella colonna Incremento medio e intervallo di affidabilità rappresenta il valore medio e l’intervallo di affidabilità del 95% Incremento. Il grafico a caselle è grigio quando vi è una sovrapposizione tra l’intervallo di affidabilità di una determinata esperienza non di controllo e l’intervallo di affidabilità dell’esperienza di controllo. Il grafico a caselle è verde o rosso quando l’intervallo di affidabilità dell’esperienza fornita è superiore o inferiore all’intervallo di affidabilità dell’esperienza di controllo.
L’errore standard dell’incremento tra un’esperienza ** e l’esperienza di controllo 0 è definito come:
Quindi l’intervallo di affidabilità del 95% dell’incremento è:
Questo calcolo utilizza il metodo “Delta” ed è descritto più dettagliatamente in questo documento
Affidabilità
L’ultima colonna mostra l’affidabilità in un report Target. L’affidabilità di un’esperienza è una probabilità (espressa in percentuale) di ottenere un risultato estremo quanto quello osservato, data l’ipotesi nulla è vera. In termini di valori p, l’affidabilità visualizzata è 1 - valore p. Intuitivamente, una maggiore affidabilità significa che è meno probabile che l’esperienza di controllo e quella di non controllo abbiano tassi di conversione uguali.
In Target viene eseguito un test t Welch a due code tra l’esperienza di test e l’esperienza di controllo per verificare se i mezzi delle esperienze di test e di controllo sono gli stessi. Poiché di solito non sappiamo se le dimensioni del campione e le varianze di due gruppi sono uguali prima di eseguire l’esperimento e Target consente anche di avere percentuali di traffico diverse inviate a ogni esperienza, non si presume che la varianza per ogni esperienza sia uguale. Pertanto, il test t di Welch viene scelto al posto del test t di Student.
Per eseguire il test t di Welch, iniziamo prima a calcolare la statistica t e i gradi di libertà, quindi eseguiamo un test t a due code per generare il valore p. Infine, calcoliamo l’affidabilità in base al valore p.
La statistica t è definita come la differenza tra le medie di due variabili casuali indipendenti, ** e 0, divisa per l’errore standard della differenza:
Dove μv e μv0 sono le medie rispettivamente di μ e 0 e l’errore standard della differenza tra μv e μv0 è dato da:
Dove 2v e Prodotti finiti2v0 sono le varianze di due esperienze e 0 rispettivamente e Nv e Nv0 sono le dimensioni campione rispettivamente di e 24}0.
Per il test t di Welch, il grado di libertà è calcolato come segue:
E il grado di libertà per ** e 0 è definito come:
Quindi il valore p può essere calcolato dall’area nelle code della distribuzione t:
Infine, l’attendibilità segnalata in Target è definita come:
Statistiche bayesiane
Invece di calcolare un valore p da una distribuzione approssimativa, il rapporto di un’attività bayesiana esprime i risultati come probabilità, calcolate dalla distribuzione posteriore completa della metrica di obiettivo di ogni esperienza. Questo rende sicuro monitorare un report Bayesiano in modo continuo, poiché non esiste alcuna penalità statistica per il controllo dei risultati prima che venga raggiunta una dimensione di campione fissa e può convergere più velocemente su campioni più piccoli rispetto al test t di Welch.
La metodologia Bayesiana consente inoltre agli addetti al marketing di avanzare un’ipotesi basata sulla loro precedente sperimentazione e sui risultati per la variante di controllo.
La metodologia Bayesiana è disponibile solo per le attività la cui metrica obiettivo principale è Conversione, le attività con Ricavi o Coinvolgimento utilizzano sempre il test t di Welch. Per ulteriori informazioni sulla selezione di una metodologia, vedere Obiettivi e impostazioni.
Incremento medio e intervallo credibile
L’incremento medio e l’intervallo credibile misurano insieme il miglioramento delle prestazioni e la relativa incertezza in un’attività bayesiana. L’incremento medio è la variazione percentuale media tra un trattamento e il controllo, mentre l’intervallo credibile definisce l’intervallo entro il quale l’incremento reale rientra a una probabilità specificata.
Possibilità di controllo battute
Possibilità di controllo battute è la probabilità che la metrica obiettivo di un’esperienza superi l’esperienza Controllo, ad esempio “92% possibilità B batta A”. Questa è la metrica di decisione principale per un’attività Bayesiana: un’esperienza sfidante è candidata a sostituire Controllo quando la sua Possibilità di controllo battute soddisfa la soglia di decisione dell’attività.
Esecuzione dei calcoli offline
Il rapporto CSV scaricato include solo dati non elaborati; non include metriche calcolate come ricavi per visitatore, incremento o affidabilità, utilizzate per i test A/B.
Per calcolare queste quantità statistiche, scarica il file Excel del Target calcolatore di affidabilità completo per immettere il valore dell’attività.