Interpretar Auto-Allocate informes
Interprete los resultados de una actividad A/B de Auto-Allocate en Adobe Target mediante el examen de indicadores importantes, incluidos el alza y la confianza.
Muchos especialistas en marketing cometen el error de declarar una experiencia ganadora precipitadamente antes de que los resultados indiquen el claro ganador. Target facilita la determinación del ganador.
Para obtener información general sobre cómo declarar un ganador, consulte Diez dificultades comunes de las pruebas A/B y cómo evitarlas.
Identificación de la experiencia ganadora
Al usar la característica Auto-Allocate, Target muestra un distintivo en la parte superior de la página de la actividad indicando "Ningún ganador aún" hasta que la actividad alcance el número mínimo de conversiones con suficiente confianza.
Cuando se declara un claro ganador, Target muestra el distintivo "Ganador: Experiencia X".
NOTEGarantías estadísticas de Auto-Allocate
Al final de una actividad A/B, Auto-Allocate garantiza que el ganador determinado tenga una tasa de falsos positivos efectiva del 5%. Esto significa que solo un 5 % de las veces el ganador determinado no es realmente la mejor experiencia de todas las que participan en la actividad. Para una prueba A/A (con experiencias idénticas), Target concluye una prueba menos del 5% de las veces. El comportamiento previsto en una prueba A/A (con experiencias idénticas) es que se ejecute de forma indefinida, de modo que nunca se mostrará el distintivo de ganador.
Target no utiliza confianza basada en valor p para Auto-Allocate.
La columna Confidence de una actividad Auto-Allocate muestra la probabilidad de que una experiencia sea la ganadora dentro del margen de error del 1 %. El algoritmo utiliza un efecto detectable mínimo del 1 % entre las mejores y las segundas mejores tasas de conversión. El algoritmo usa la desigualdad de Bernstein para calcular esta probabilidad.
Las pruebas A/B normales calculan la confianza según los valores p. Auto-Allocate no utiliza valores P. Los valores p calculan de forma “flexible” la probabilidad de que una experiencia indicada sea diferente al control. Estos valores P solo pueden usarse para determinar si una experiencia es diferente al control. Estos valores no pueden usarse para determinar si una experiencia es diferente a otra experiencia (no control).
IMPORTANTComprender los informes de alza y confianza en Auto-Allocate actividades
En las actividades Auto-Allocate, la primera experiencia (con el nombre predeterminado Experiencia A) siempre se define como una experiencia de "Control" en la ficha Reports. Esta experiencia no se trata como un verdadero control estadístico en el modelado utilizado para determinar el rendimiento de las experiencias, pero se trata como una referencia o línea de base para algunas cifras en el informe.
El valor numérico "Alza" y los límites del 95 % para cada experiencia siempre se calculan con referencia a la experiencia de "Control" definida. La experiencia de "Control" definida no puede tener un alza en relación consigo misma, por lo que se comunica un valor "—" en blanco para esta experiencia. A diferencia de las pruebas A/B, en Auto-Allocate pruebas, si una experiencia tiene un rendimiento peor que el del control definido, no se comunica un valor de alza negativo; en su lugar, se muestra "—".
Las Confidence Interval barras mostradas representan el intervalo de confianza del 95 % en torno a la estimación media de la tasa de conversión de una experiencia. Estas barras también están codificadas por colores con respecto a la experiencia de "control" definida. La barra de la experiencia "Control" siempre aparece en color gris. Las partes de los intervalos de confianza situados debajo del intervalo de confianza de la experiencia "Control" se muestran en rojo y las partes de los intervalos de confianza situados encima de la experiencia "Control" en verde.
Se encuentra un ganador cuando el 95 % Confidence Interval de la experiencia principal no se superpone con ninguna otra experiencia. La experiencia ganadora se designa con un distintivo de estrella verde a la izquierda del nombre de la experiencia y en el titular "Ganador". Cuando no se ve ninguna estrella, el cartel dice "Ningún ganador aún" y aún no se ha encontrado un ganador.
También se indica un número de "Confianza" junto a la experiencia principal o ganadora actual. Esta cifra solo se registra hasta que Confidence de la experiencia principal alcance al menos el 60 %. Si hay dos experiencias presentes en la actividad Auto-Allocate, este número representa el nivel de confianza de que la experiencia está teniendo un mejor rendimiento que la otra experiencia. Si hay más de dos experiencias presentes en la actividad Auto-Allocate, este número representa el nivel de confianza de que la experiencia está teniendo un mejor rendimiento que la experiencia de "control" definida. Si la experiencia "Control" es la ganadora, no se informa de ninguna cifra "Confianza".
Preguntas frecuentes
Tenga en cuenta las siguientes respuestas a las preguntas más frecuentes:
Han pasado unos días desde que comenzó la actividad. ¿Por qué todos los valores de confianza siguen mostrando un 0 %?
Cualquiera de los siguientes motivos describe por qué el 0% se muestra en la columna Confidence del informe para todas las actividades:
-
Las pruebas A/B manuales y Auto-Allocate utilizan estadísticas diferentes para mostrar los valores de Confidence.
Las pruebas A/B manuales usan valores p basados en prueba t de Welch. Un valor P es la probabilidad de encontrar la diferencia observada (o más extrema) entre una experiencia y el control, dado que en la realidad no existe dicha diferencia. Estos valores P solo pueden utilizarse para determinar si los datos observados son coherentes con una experiencia determinada y si el control es el mismo. Estos valores no pueden usarse para determinar si una experiencia es diferente a otra experiencia (no control).
Auto-Allocate muestra la probabilidad de que una experiencia determinada sea una verdadera ganadora en todas las experiencias de la actividad. Solo una experiencia ganadora (que es la que tiene más probabilidades de ser la ganadora) tiene un valor de confianza distinto de cero. Todos los demás tienen más probabilidades de ser perdedores y mostrar 0%.
-
Auto-Allocate comienza a mostrar confianza solo después de que la experiencia ganadora recopila un 60 % de confianza. Estos niveles de confianza suelen aparecer en aproximadamente la mitad del tiempo que tardaría una prueba A/B normal en completarse (aunque este lapso de tiempo no está garantizado). Para determinar cuánto tiempo tarda en ejecutarse una prueba A/B normal, use la Adobe Target Calculadora de tamaño de muestra: introduzca la tasa de conversión de control en "Tasa de conversión de línea de base", "5%" para "Alza" y "95%" para "Confianza". Normalmente, la confianza empieza a mostrarse después de que cada experiencia haya reunido al menos un 50 % de las muestras por experiencia necesarias. Esto le da una idea de cuándo empieza a aparecer la confianza.
-
Si el informe muestra un 0 % en el panel, es probable que sea pronto para la actividad.
¿Están disponibles los distintivos "Sin ganador", "Ganador" y "estrella" para Auto-Allocate actividades que utilizan Analytics as the reporting source (A4T)?
Los distintivos "Ningún ganador aún" y "Ganador" no están disponibles actualmente en el panel A4T de Analysis Workspace. Estas insignias tampoco están disponibles si se ve el mismo informe en Target. Se debe ignorar un distintivo de "estrella" ganador que se muestra en un informe Target para una actividad Auto-Allocate que usa A4T.
Para obtener más información sobre esta y otras limitaciones y notas, consulte Asignación automática en Compatibilidad con A4T para Auto-Allocate y Auto-Target actividades.
Target
- Guía para profesionales de Adobe Target Business
- Notas de la versión de Target
- Primeros pasos
- Administración de Target
- Implementación de Target
- Integración de Target con Experience Cloud
- Actividades
- Audiencias
- Experiencias y ofertas
- Informes
- Recommendations
- Resolución de problemas de Target
- API de Target
- Recursos e información de contacto