Cálculos estatísticos em testes A/Bn

Este artigo documenta os cálculos estatísticos detalhados usados em testes A/Bn manuais no Adobe Target. As definições são fornecidas para Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift e Confidence.

Desempenho médio

A seção a seguir explica os cálculos usados na ilustração anterior.

Taxa de conversão e Campanhas de receita por visitante (RPV)

A ilustração a seguir mostra Conversion Rate, Confidence Interval of Conversion Rate e o número de Conversions em um relatório Target. Por exemplo, a primeira linha mostra que para a Experiência A: o Conversion Rate é 25,81% com um Confidence Interval de ±7,7% e 32 conversões foram registradas. Considerando que 124 visitantes visualizaram a experiência, isso equivale a 32/124 = 25,81%.

{width="25%"}

A taxa de conversão ou a média, μ_ν, para cada experiência ν em um experimento é definida como uma proporção da soma da métrica em relação ao número de unidades atribuídas a essa métrica, N_ν:

{width="125px"}

Aqui,

Confidence Interval of Mean/Conversion Rate

O intervalo de confiança da taxa de conversão é intuitivamente definido como um intervalo de taxas de conversão possíveis consistente com os dados subjacentes.

Ao executar experimentos, o índice de conversão para uma determinada experiência é uma estimativa do índice de conversão "verdadeiro". Para quantificar a incerteza nesta estimativa, Target usa um intervalo de confiança. Target sempre relata um intervalo de confiança de 95%, o que significa que, no final, 95% dos intervalos de confiança calculados incluem o verdadeiro índice de conversão da experiência.

Um intervalo de confiança de 95% da taxa de conversão μ_ν é definido como o intervalo de valores:

{width="30%"}

Quando o erro-padrão da média é definido como

{width="75px"}

Se for utilizada uma estimativa imparcial do desvio-padrão da amostra:

{width="200px"}

Quando a campanha é uma campanha de taxa de conversão (ou seja, a métrica de conversão é binária), o erro padrão se reduz a:

{width="150px"}

Aumento

A ilustração a seguir mostra Lift e Confidence Interval of Lift em um Relatório Target. O número representa a média do intervalo dos limites de aumento, e a seta reflete se o aumento é positivo ou negativo. A seta é exibida em cinza até que a confiança passe de 95%. Depois que a confiança ultrapassa o limite, a seta é verde ou vermelha com base em um aumento positivo ou negativo.

{width="35%"}

O aumento entre uma experiência ν e a experiência de controle ν₀ é o "delta" relativo em taxas de conversão, definido como

{width="15%"}

Em que as taxas de conversão individuais são as definidas acima. De maneira mais simples,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Se o índice de conversão da experiência de controle ν₀ for 0, não haverá aumento.

Confidence Interval of Lift

O gráfico boxplot na coluna Average Lift and Confidence Interval representa o valor médio e 95% Confidence Interval of Lift. O boxplot é cinza quando há qualquer sobreposição no intervalo de confiança de uma determinada experiência de não controle com o intervalo de confiança da experiência de controle. O boxplot é verde ou vermelho quando o intervalo de confiança da experiência é acima ou abaixo do intervalo de confiança da experiência de controle.

O erro padrão do aumento entre uma experiência ν e a experiência de controle ν₀ é definido como:

{width="35%"}

Em seguida, o Intervalo de confiança de 95% do aumento é:

{width="40%"}

Este cálculo usa o método "Delta" e é descrito com mais detalhes neste documento

Confidence

A última coluna mostra a confiança em um relatório Target. A confiança de uma experiência é uma probabilidade (denotada como uma porcentagem) de obter um resultado tão extremo quanto o observado, dada a hipótese nula ser verdadeira. Em termos de valores p, a confiança exibida é de 1 - valor p. Intuitivamente, maior confiança significa que é menos provável que a experiência de controle e não controle tenha taxas de conversão iguais.

Em Target, um teste t de Welch de duas caudas é executado entre a experiência de teste e a experiência de controle para testar se os meios de experiências de teste e controle são os mesmos. Como geralmente não sabemos se os tamanhos e as variações de amostra de dois grupos são os mesmos antes de executar o experimento, e o Target também permite que porcentagens desiguais de tráfego sejam enviadas para cada experiência, não pressupomos que a variação de cada experiência seja igual. Assim, o teste t de Welch é escolhido em vez do teste t de Student.

Para executar o teste t de Welch, primeiro começamos a calcular a estatística t e os graus de liberdade, em seguida, executamos um teste t de duas caudas para gerar o valor p. Por fim, calculamos a confiança com base no valor p.

A estatística t é definida como a diferença entre as médias de quaisquer duas variáveis aleatórias independentes, ν e ν₀, dividida pelo erro padrão da diferença:

{width="100px"}

Onde μ_v e μ_v0 são os meios de ν e ν_{0{10 μ{12 μ, respectivamente, e o erro padrão da diferença entre} ​µ}v e ​µ}v0 é dado por:

{width="150px"}

Onde σ²_v e σ²_v0 são as variações de duas experiências ν e ν_{0{13 ν{22 ν0}, respectivamente, e N_v e N_v0 são tamanhos de amostra para µ} e ​µ}, respectivamente.**

Para o teste t de Welch, o grau de liberdade é calculado do seguinte modo:

{width="180px"}

O grau de liberdade para ν e ν₀ é definido como:

{width="100px"}

{width="100px"}

Em seguida, o valor p pode ser calculado a partir da área na parte traseira da distribuição t:

{width="20%"}

Finalmente, a confiança relatada em Target é definida como:

{width="20%"}

Execução de cálculos offline

O download do relatório de CSV inclui apenas dados brutos e não inclui métricas calculadas, como receita por visitante, aumento ou confiança usada para testes A/B.

Para calcular essas quantidades estatísticas, baixe o arquivo do Excel Target Calculadora de Confiança Completa para inserir o valor da atividade.