Calcular confianza para actividades de asignación automática manualmente

Descripción description

Entorno

Adobe Target

Problemas/Síntomas

La confianza de la actividad de asignación automática es diferente en la interfaz de usuario de Target y cuando se calcula mediante la calculadora de confianza de Excel. ¿Por qué?

Resolución resolution

Asignación automática utiliza una calculadora de confianza diferente (basada en los límites de Bernstein) en comparación con las pruebas A/B normales (que es donde se aplica la calculadora que utilizó; que utiliza una prueba T, es decir, valores p derivados de la distribución t).

Los cálculos de confianza utilizados por Asignación automática son mucho más conservadores que los utilizados por las pruebas T normales. Se hace para controlar los falsos positivos, es decir, para evitar que tomemos una determinación temprana de que un brazo es mejor que otro cuando el efecto que estamos viendo se debe a la aleatoriedad.

Por eso la confianza clásica basada en pruebas T es de > 93%, pero la confianza de asignación automática es mucho menor. También se comparte en los documentos de información general sobre la asignación automáticade.

Se requiere un nivel de confianza del 60% para las actividades de asignación automática como se menciona aquí.