Cálculos estadísticos en Pruebas A/Bn

Este artículo documenta los cálculos estadísticos detallados utilizados en las pruebas A/Bn manuales en Adobe Target. Las definiciones están previstas para Tasa de conversión, Intervalo de confianza de la tasa de conversión, Alza, Intervalo de confianza para el alzay Confianza.

Rendimiento medio

En la siguiente sección se explican los cálculos utilizados en la ilustración anterior.

Tasa de conversión e ingresos por campaña de visitante (RPV)

La siguiente ilustración muestra Tasa de conversión, Intervalo de confianza de la tasa de conversióny el número de Conversiones en un Target informe. Por ejemplo, la primera línea muestra que para la Experiencia A: el Tasa de conversión es 25,81% con un Intervalo de confianza de ±7,7% y 32 conversiones se registraron. Dado que 124 visitantes vieron la experiencia, esto equivale a 32/124 = 25,81%.

La tasa de conversión o medium, μ_ν, para cada experiencia ν en un experimento se define como una proporción de la suma de la métrica con respecto al número de unidades asignadas a esa métrica, N_ν:

Aquí,

• Y_iν es el valor de la métrica para cada unidad i, que se ha asignado a una experiencia determinada ν.

• La suma sobre unidades i depende de la elección de la metodología de contabilización.

  • If Visitantes se utiliza como metodología de contabilización, cada unidad es un visitante único definido como un participante único en la actividad durante toda la actividad.
  • If Visitas se utiliza como metodología de contabilización, cada unidad es una visita única definida como un participante único en una experiencia durante un Target sesión (con una sessionId). Cuando la variable sessionId cambia, o si el visitante llega al paso de conversión, se cuenta una nueva visita.
  • If Impresiones de actividad se utiliza como metodología de contabilización, cada unidad es una impresión única definida como cada vez que un visitante carga una página de la actividad.

Intervalo de confianza de la media/Tasa de conversión

El intervalo de confianza de la tasa de conversión se define de forma intuitiva como un intervalo de tasas de conversión posibles que sea coherente con los datos subyacentes.

Al ejecutar experimentos, la tasa de conversión de una experiencia determinada es de estimación de la tasa de conversión "true". Para cuantificar la incertidumbre de esta estimación, Target utiliza un intervalo de confianza. Target siempre informa de un intervalo de confianza del 95 %, lo que significa que al final, el 95 % de los intervalos de confianza calculados incluyen la tasa de conversión verdadera de la experiencia.

Un intervalo de confianza del 95 % de la tasa de conversión μ_ν se define como el rango de valores:

Donde el error estándar de la media se define como

Cuando se utilice una estimación imparcial de la desviación estándar de la muestra:

Cuando la campaña es una campaña de tasa de conversión (es decir, la métrica de conversión es binaria), el error estándar se reduce a:

Alza

La siguiente ilustración muestra Alza y Intervalo de confianza del alza en un Target Informe. El número representa el promedio del rango de los límites de alza y la flecha refleja si el alza es positiva o negativa. La flecha aparece en gris hasta que la confianza pasa el 95 %. Una vez que la confianza supera el umbral, la flecha es verde o roja, en función de un alza positiva o negativa.

El alza entre una experiencia ν y la experiencia de control ν₀ es el "delta" relativo en las tasas de conversión, definido como

Donde las tasas de conversión individuales son las definidas anteriormente. Más simplemente,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Si la tasa de conversión de la experiencia de control ν₀ es 0, no hay ascensor.

Confidence Interval of Lift

El gráfico de boxplot en la Intervalo de alza y confianza promedio representa el valor promedio y 95% Intervalo de confianza del alza. El gráfico del cuadro aparece en gris cuando hay alguna superposición en el intervalo de confianza de una experiencia no de control determinada con el intervalo de confianza de la experiencia de control. El gráfico del cuadro aparece en verde o rojo cuando el intervalo de confianza de una experiencia determinada está por encima o por debajo del intervalo de confianza de la experiencia de control.

El error estándar del alza entre una experiencia ν y la experiencia de control ν₀ se define como:

A continuación, el intervalo de confianza del 95 % del alza es:

Este cálculo utiliza el método "Delta" y se describe en más detalle en este documento

Confianza

La última columna muestra la confianza en un Target informe. La confianza de una experiencia es una probabilidad (indicada como porcentaje) de obtener un resultado menos extremo que el observado, dado que la hipótesis nula es verdadera. En términos de valores p, la confianza mostrada es 1 - valor p. Intuitivamente, una mayor confianza implica que es menos probable que la experiencia de control y de no control tenga tasas de conversión iguales.

En Target, un Prueba T de Welch se realiza entre la experiencia de prueba y la experiencia de control para comprobar si los medios de las experiencias de prueba y control son los mismos. Debido a que normalmente no sabemos si los tamaños de muestra y las variaciones de dos grupos son los mismos antes de ejecutar el experimento, y Target también le permite que se envíen porcentajes desiguales de tráfico a cada experiencia. no suponemos que la varianza de cada experiencia sea igual. Por lo tanto, se elige la prueba T de Welch en lugar de la prueba T de estudiante.

Para realizar la prueba T de Welch, primero empezamos a calcular la estadística t y los grados de libertad y luego ejecutamos una prueba T bidireccional para generar el valor p. Finalmente, calculamos la confianza en función del valor p.

La variable t-estadística se define como la diferencia de los medios de dos variables aleatorias independientes, ν y ν₀, dividido por el error estándar de la diferencia:

Donde μ_v y μ_v0 son los medios de ν y ν₀ respectivamente, y el error estándar de la diferencia entre μ_v y μ_v0 están dadas por:

Donde σ²_v y σ²_v0 son las variaciones de dos experiencias ν y ν₀ respectivamente, y N_v y N_v0 son tamaños de muestra para ν y ν₀ respectivamente.

Para la prueba T de Welch, el grado de libertad se calcula de la siguiente manera:

Y grado de libertad para ν y ν₀ se definen como:

A continuación, el valor p se puede calcular desde el área en la cola del t-distribución:

Por último, la confianza notificada en Target se define como:

Realización de cálculos sin conexión

El informe CSV descargado solo contiene datos sin procesar; no incluye métricas calculadas, como los ingresos por visitante, el alza o la confianza, utilizadas en las pruebas A/B.

Para calcular estas cantidades estadísticas, descargue el Target Calculadora de confianza completa Archivo de Excel para introducir el valor de la actividad.

Recursos de Business.Adobe.com