Calcoli statistici nei test A/Bn

Questo articolo documenta i calcoli statistici dettagliati utilizzati nei test A/Bn manuali in Adobe Target. Sono fornite le definizioni necessarie Tasso di conversione, Intervallo di affidabilità del tasso di conversione, Lift, Intervallo di affidabilità per incrementoe Affidabilità.

NOTA

Le informazioni contenute in questo articolo sostituiscono il file pdf dei Calcoli di Adobe Target per test A/B precedentemente disponibile per il download su questo sito.

Rapporto di Target che mostra Tasso di conversione, Incremento medio e intervallo di affidabilitàe Affidabilità di un’attività Test A/B.

Prestazioni medie

La sezione seguente illustra i calcoli utilizzati nell'illustrazione precedente.

Campagne su tasso di conversione e ricavi per visitatore (RPV)

L'illustrazione seguente mostra Tasso di conversione, Intervallo di affidabilità del tasso di conversionee il numero di Conversioni in Target rapporto. Ad esempio, la prima riga mostra che per l’esperienza A: la Tasso di conversione è pari al 25,81% con un Intervallo di affidabilità di ±7,7% e 32 conversioni. Dato che 124 visitatori hanno visto l’esperienza, questo equivale a 32/124 = 25,81%.

il tasso di conversione o meschino, μν, per ogni esperienza ν in un esperimento è definito come un rapporto tra la somma della metrica e il numero di unità assegnate a tale metrica, Nν:

Qui,

  • Yidroid è il valore della metrica per ogni unità i, che è stato assegnato a una determinata esperienza ν.

  • La somma su unità i dipende dalla scelta della metodologia di conteggio.

    • Se Visitatori viene utilizzata come metodologia di conteggio, ogni unità è un visitatore univoco definito come un partecipante univoco nell’attività per la vita dell’attività.
    • Se Visite viene utilizzato come metodologia di conteggio, ogni unità è una visita unica definita come partecipante univoco in un’esperienza durante un Target (con un sessionId). Quando il sessionId oppure quando il visitatore raggiunge la fase di conversione, viene conteggiata una nuova visita.
    • Se Impression attività viene utilizzata come metodologia di conteggio, ogni unità è un’impression univoca definita ogni volta che un visitatore carica una pagina dell’attività.

Intervallo di affidabilità della media/Tasso di conversione

L’intervallo di affidabilità del tasso di conversione è definito in modo intuitivo come intervallo di possibili tassi di conversione coerente con i dati sottostanti.

Durante gli esperimenti, il tasso di conversione per una determinata esperienza è un stima del tasso di conversione "vero". quantificare l'incertezza di questa stima, Target utilizza un intervallo di affidabilità. Target segnala sempre un intervallo di affidabilità del 95%, il che significa che alla fine, il 95% degli intervalli di affidabilità calcolati include il tasso di conversione effettivo dell’esperienza.

Un intervallo di affidabilità del 95% del tasso di conversione μν è definito come intervallo di valori:

Se l'errore standard per la media è definito come

Se si utilizza una stima imparziale della deviazione standard del campione:

Quando la campagna è una campagna a tasso di conversione (ad esempio, la metrica di conversione è binaria), l’errore standard si riduce a:

Incremento

L'illustrazione seguente mostra Lift e Intervallo di affidabilità dell’incremento in Target Rapporto. Il numero rappresenta la media dell’intervallo dei limiti di incremento; la freccia indica se l’incremento è positivo o negativo. La freccia viene visualizzata in grigio finché l’affidabilità non supera il 95%. Dopo che l’affidabilità supera la soglia, la freccia è verde o rossa in base a un incremento positivo o negativo.

L’incremento tra un’esperienza ν e l'esperienza di controllo ν0 è il relativo "delta" nei tassi di conversione, definito come

Dove i singoli tassi di conversione sono definiti sopra. Più semplicemente,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Se il tasso di conversione dell’esperienza di controllo ν0 è 0, non c'è alcun incremento.

Confidence Interval of Lift

Il grafico a boxplot nel Incremento medio e intervallo di affidabilità rappresenta il valore medio e il 95% Intervallo di affidabilità dell’incremento. Il box plot è grigio quando vi è una sovrapposizione nell’intervallo di affidabilità di una determinata esperienza senza controllo con l’intervallo di affidabilità dell’esperienza di controllo. La boxplot è verde o rosso quando l’intervallo di affidabilità di un’esperienza è superiore o inferiore all’intervallo di affidabilità dell’esperienza di controllo.

Errore standard dell’incremento tra un’esperienza ν e l'esperienza di controllo ν0 è definito come:

media

Quindi l’intervallo di affidabilità del 95% dell’incremento è:

Questo calcolo utilizza il metodo "Delta" e viene descritto più dettagliatamente in questo documento

Affidabilità

L’ultima colonna mostra l’affidabilità in un Target rapporto. L'affidabilità di un'esperienza è una probabilità (indicata come percentuale) di ottenere un risultato meno estremo di quello osservato, data l'ipotesi null è vera. In termini di valori p, l’affidabilità visualizzata è 1 - p-value. Intuitivamente, una maggiore affidabilità significa che è meno probabile che l’esperienza di controllo e non di controllo abbia tassi di conversione uguali.

In Target, a due code Test t di Welch viene eseguita tra l’esperienza di test e l’esperienza di controllo per verificare se i mezzi di prova e di controllo sono gli stessi. Perché di solito non sappiamo se le dimensioni del campione e le varianze di due gruppi sono le stesse prima di eseguire l'esperimento, e Target consente anche di inviare percentuali di traffico diverse a ogni esperienza, non si presuppone che la varianza per ogni esperienza sia uguale. Così, il test t di Welch è scelto invece del test t di Student.

Per eseguire il test t di Welch, iniziamo prima a calcolare il valore t-statistic e i gradi di libertà, quindi eseguiamo un test t a due code per generare il valore p. Infine, calcoliamo l’affidabilità in base al valore p.

La t-statistica è definita come la differenza dei mezzi di qualsiasi due variabili casuali indipendenti, ν e ν0, diviso per l’errore standard della differenza:

Dove μv e μv0 sono i mezzi ν e ν0 e l'errore standard della differenza tra μv e μv0 sono forniti da:

Dove Þ2v e Þ2v0 sono le varianze di due esperienze ν e ν0 rispettivamente Nv e Nv0 sono dimensioni del campione per ν e ν0 rispettivamente.

Per il test t di Welch, il grado di libertà è calcolato come segue:

E grado di libertà per ν e ν0 sono definiti come:

Quindi il valore p può essere calcolato dall'area nelle code del t-distribuzione:

Infine, il clima di fiducia Target è definito come:

Esecuzione dei calcoli offline

Il rapporto CSV scaricato include solo dati non elaborati; non include metriche calcolate come ricavi per visitatore, incremento o affidabilità, utilizzate per i test A/B.

Per calcolare queste quantità statistiche, scarica il Target Calcolatore di affidabilità completo File Excel per inserire il valore dell'attività.

In questa pagina