Asignación automática
Una actividad de asignación automática es un tipo de prueba A/B que identifica un ganador entre dos o más experiencias. Una prueba Auto-Allocate reasigna automáticamente más tráfico al ganador para aumentar las conversiones mientras la prueba sigue ejecutándose y aprendiendo.
Las pruebas A/B estándar tienen un coste inherente. Debe invertir tráfico para medir el rendimiento de cada experiencia y utilizar el análisis para determinar la experiencia ganadora. La distribución del tráfico sigue siendo fija incluso después de reconocer que el rendimiento de algunas experiencias supera al de otras. Además, es complicado determinar el tamaño de la muestra, y la actividad debe haber finalizado para poder tomar medidas con la mejor experiencia. Y todavía hay una posibilidad de que el ganador identificado no sea un verdadero ganador.
La solución es Auto-Allocate. Auto-Allocate reduce el costo y los gastos generales de determinar una experiencia ganadora. Auto-Allocate supervisa el rendimiento de la métrica de objetivos de todas las experiencias y envía proporcionalmente a más visitantes nuevos a las experiencias de alto rendimiento. Se reserva bastante tráfico para explorar el resto de las experiencias. Puede ver los beneficios de la actividad en los resultados, incluso mientras la actividad sigue ejecutándose: la optimización se produce en paralelo con el aprendizaje.
Auto-Allocate mueve a los visitantes hacia experiencias ganadoras de forma gradual, en lugar de requerir que espere hasta que termine una actividad para determinar un ganador. Saca provecho del alza más rápidamente porque a los visitantes de la actividad a los que se ha enviado a experiencias con peor rendimiento se les muestran experiencias que potencialmente son las ganadoras.
Al usar Auto-Allocate, Target muestra un distintivo en la parte superior de la página de la actividad indicando "Ningún ganador aún" hasta que la actividad alcance el número mínimo de conversiones con suficiente confianza. Target declara la experiencia ganadora mostrando un distintivo en la parte superior de la página de la actividad.
Para obtener más información, vea Información general sobre la asignación automática.
Calculadora de tamaño de muestra del Adobe Target
Si decide utilizar una actividad A/B Test manual en lugar de Auto-Allocate, la calculadora de tamaño de muestra Target le ayudará a determinar el tamaño de muestra necesario para que la prueba se realice correctamente. Una prueba A/B manual es una prueba de horizonte fijo, por lo que la calculadora resulta útil. El uso de la calculadora para una actividad Auto-Allocate es opcional porque Auto-Allocate declara un ganador en su lugar. La calculadora le da una estimación aproximada del tamaño de la muestra necesaria. Siga leyendo para obtener más información sobre cómo usar la calculadora.
Antes de configurar su prueba A/B, acceda a la Adobe Target Calculadora de tamaño de muestra.
Es importante determinar un tamaño de muestra adecuado (número de visitantes) antes de realizar cualquier prueba A/B para establecer el tiempo que la actividad debe ejecutarse antes de evaluar los resultados. El simple seguimiento de la actividad hasta que se alcance la relevancia estadística provoca que el intervalo de confianza se subestime enormemente, lo que hace que la prueba no sea fiable. La intuición detrás de este resultado es que, en caso de que se detecte un resultado estadísticamente significativo, se detenga la prueba y se declare un ganador. Sin embargo, si el resultado no es estadísticamente significativo, la prueba puede continuar. Este procedimiento favorece enormemente un resultado positivo, que aumenta la tasa de falsos positivos y, por tanto, distorsiona el nivel de relevancia estadística de la prueba.
Este procedimiento puede dar como resultado muchos falsos positivos, lo que conduce a la implementación de ofertas que no entregan el alza predicha al final. El alza deficiente en sí es un resultado insatisfactorio, pero una consecuencia aún más grave es que, con el tiempo, la incapacidad para predecir con precisión el alza erosiona la confianza de la organización en las pruebas como práctica.
Este artículo analiza los factores que deben equilibrarse cuando se determina un tamaño de muestra e introduce una calculadora para estimar un tamaño de muestra adecuado. El cálculo del tamaño de la muestra mediante la calculadora de tamaño de muestra (vínculo proporcionado anteriormente) antes de que comience cualquier prueba A/B ayuda a garantizar que siempre se ejecuten pruebas A/B de alta calidad que cumplan con los estándares estadísticos.
Hay cinco parámetros definidos por el usuario que definen una prueba A/B. Estos parámetros están interconectados, así que cuatro de ellos están establecidos y el quinto se puede calcular:
- Relevancia estadística
- Potencia estadística
- Alza mínima fiable detectable
- Tasa de conversión de línea de base
- Número de visitantes
Para una prueba A/B, el analista fija la relevancia estadística, la eficacia estadística, el alza mínima fiable detectable y la tasa de conversión de línea de base, y el número de visitantes se calcula a partir de estos valores. Este artículo analiza estos elementos y proporciona directrices para determinar estas métricas para una prueba específica.
En la siguiente imagen se muestran los cuatro resultados posibles de una prueba A/B:
Es deseable no obtener falsos positivos ni falsos negativos. Sin embargo, la obtención de cero falsos positivos nunca puede garantizarse mediante una prueba estadística. Siempre es posible que las tendencias observadas no sean representativas de las tasas de conversión subyacentes. Por ejemplo, en una prueba para ver si las cabezas o colas en un giro de moneda era más probable, incluso con una moneda justa, se podían obtener diez cabezas en diez lanzamientos por casualidad. La relevancia y la potencia estadísticas nos permiten cuantificar las tasas de falsos positivos y falsos negativos, y mantenerlos en niveles razonables para una determinada prueba.