Cálculos estadísticos en Pruebas A/Bn
Este artículo documenta los cálculos estadísticos detallados utilizados en las pruebas A/Bn manuales en Adobe Target. Se proporcionan definiciones para Tasa de conversión, Intervalo de confianza de la tasa de conversión, Alza, Intervalo de confianza para el alza, y Confianza.
Rendimiento medio
En la siguiente sección se explican los cálculos utilizados en la ilustración anterior.
Campañas de tasa de conversión e ingresos por visitante (RPV)
La siguiente ilustración muestra lo siguiente Tasa de conversión, Intervalo de confianza de la tasa de conversión, y el número de Conversiones en un Target informe. Por ejemplo, la primera línea muestra lo siguiente para la Experiencia A: la Tasa de conversión es del 25,81 % con un Intervalo de confianza de ±7,7% y se registraron 32 conversiones. Dado que 124 visitantes vieron la experiencia, esto equivale a 32/124 = 25,81 %.
La tasa de conversión o malo, , para cada experiencia ** en un experimento se define como una relación entre la suma de la métrica y el número de unidades asignadas a esa métrica, N:
Aquí,
-
YibIoIoIoIo es el valor de la métrica para cada unidad i, que se ha asignado a una experiencia determinada **.
-
La suma sobre las unidades i depende de la elección de la metodología de contabilización.
- If Visitantes se utiliza como metodología de contabilización, cada unidad es un visitante único definido como un participante único en la actividad durante la duración de la actividad.
- If Visitas se utiliza como metodología de contabilización, cada unidad es una visita única definida como un participante único en una experiencia durante un Target sesión (con un único
sessionId). Si la variablesessionIdcambia, o el visitante llega al paso de conversión, se cuenta una nueva visita. - If Impresiones de actividad se utiliza como metodología de contabilización, cada unidad es una impresión única definida como cada vez que un visitante carga cualquier página de la actividad.
Intervalo de confianza de la media/Tasa de conversión
El intervalo de confianza de la tasa de conversión se define de forma intuitiva como un rango de posibles tasas de conversión que es coherente con los datos subyacentes.
Al ejecutar experimentos, la tasa de conversión de una experiencia determinada es una tasar de la tasa de conversión "verdadera". Cuantificar la incertidumbre de esta estimación. Target utiliza un intervalo de confianza. Target siempre informa de un intervalo de confianza del 95 %, lo que significa que, al final, el 95 % de los intervalos de confianza calculados incluyen la tasa de conversión real de la experiencia.
Intervalo de confianza del 95 % en la tasa de conversión se define como el rango de valores:
Donde el error estándar de la media se define como
Cuando se utilice una estimación imparcial de la desviación típica de la muestra:
Cuando la campaña es una campaña de tasa de conversión (es decir, la métrica de conversión es binaria), el error estándar se reduce a:
Alza
La siguiente ilustración muestra lo siguiente Alza y Intervalo de confianza de alza en un Target Informe. El número representa la media del rango de los límites del alza, y la flecha refleja si el alza es positiva o negativa. La flecha se muestra en gris hasta que la confianza pasa el 95 %. Una vez que la confianza ha superado el umbral, la flecha aparece en verde o en rojo según un alza positiva o negativa.
El alza entre una experiencia ** y la experiencia de control 0 es el "delta" relativo en tasas de conversión, definido como
Donde las tasas de conversión individuales son las definidas anteriormente. Más sencillamente,
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Si la tasa de conversión de la experiencia de control 0 es 0, no hay ascensor.
Confidence Interval of Lift
El gráfico de gráfico de cuadro en la variable Intervalo promedio de alza y confianza representa el valor medio y el 95 % Intervalo de confianza de alza. El gráfico del cuadro aparece en gris cuando hay alguna superposición en el intervalo de confianza de una experiencia no de control determinada con el intervalo de confianza de la experiencia de control. El gráfico del cuadro es de color verde o rojo cuando el intervalo de confianza de una experiencia determinada está por encima o por debajo del intervalo de confianza de la experiencia de control.
El error estándar del alza entre una experiencia ** y la experiencia de control 0 se define como:
A continuación, el intervalo de confianza del 95 % del alza es:
Este cálculo utiliza el método "Delta" y se describe a continuación más información en este documento
Confianza
La última columna muestra la confianza en un Target informe. La confianza de una experiencia es una probabilidad (denotada como porcentaje) de obtener un resultado tan extremo como el que se observa, dado que la hipótesis nula es cierta. En términos de valores p, la confianza mostrada es 1 - valor p. De forma intuitiva, una mayor confianza significa que es menos probable que la experiencia de control y la que no es de control tengan tasas de conversión iguales.
Entrada Target, un de dos colas Prueba T de Welch se realiza entre la experiencia de prueba y la experiencia de control para comprobar si los medios de prueba y las experiencias de control son los mismos. Porque generalmente no sabemos si los tamaños de muestra y las variaciones de dos grupos son los mismos antes de ejecutar el experimento, y Target también le permite enviar porcentajes de tráfico desiguales a cada experiencia, no suponemos que la variación de cada experiencia sea igual. Por lo tanto, se elige la prueba T de Welch en lugar de la prueba T de estudiante.
Para realizar la prueba T de Welch, primero se empieza a calcular la estadística t y los grados de libertad y, a continuación, se ejecuta una prueba T de dos colas para generar el valor p. Finalmente, calculamos la confianza en función del valor p.
El t-estadística se define como la diferencia de las medias de dos variables aleatorias independientes cualesquiera, ** y 0, dividido por el error estándar de la diferencia:
Donde v y v0 son los medios de ** y 0 y el error estándar de la diferencia entre v y v0 son dadas por:
Donde 2v y 2v0 son las variaciones de dos experiencias y 0 respectivamente, y Nv y Nv0 son tamaños de muestra para y 0 respectivamente.
Para la prueba T de Welch, el grado de libertad se calcula de la siguiente manera:
Y grado de libertad para ** y 0 se definen como:
A continuación, el valor p se puede calcular a partir del área de las colas del t-distribución:
Finalmente, la confianza comunicada en Target se define como:
Realización de cálculos sin conexión
El informe CSV descargado solo contiene datos sin procesar; no incluye métricas calculadas, como los ingresos por visitante, el alza o la confianza, utilizadas en las pruebas A/B.
Para calcular estas cantidades estadísticas, descargue el Target Calculadora de confianza completa Archivo de Excel para introducir el valor de la actividad.