Interpretación de informes de asignación automática
Interpretación de los resultados de un Asignación automática Actividad A/B en Adobe Target mediante el examen de indicadores importantes, incluidos el alza y la confianza.
Muchos especialistas en marketing cometen el error de declarar una experiencia ganadora precipitadamente antes de que los resultados indiquen el claro ganador. Target facilita la determinación del ganador.
Para obtener información general sobre cómo declarar un ganador, consulte Diez dificultades comunes de las pruebas A/B y cómo evitarlas.
Identificación de la experiencia ganadora section_24007470CF5B4D30A06610CE8DD23CE3
Al utilizar la función de asignación automática, Target muestra un distintivo en la parte superior de la página de la actividad indicando “Ningún ganador aún” hasta que la actividad alcance el número mínimo de conversiones con suficiente confianza.
Cuando se declara un claro ganador, Target muestra "Ganador: Experiencia X."
Garantías estadísticas de asignación automática section_7AF3B93E90BA4B80BC9FC4783B6A389C
Al final de una actividad A/B, Asignación automática garantiza que el ganador determinado tenga una tasa de falsos positivos efectiva del 5 %. Esto significa que solo un 5 % de las veces el ganador determinado no es realmente la mejor experiencia de todas las que participan en la actividad. Para un Prueba A/A (con experiencias idénticas), Target concluye una prueba menos del 5 % de las veces. El comportamiento previsto en una prueba A/A (con experiencias idénticas) es que se ejecute de forma indefinida, de modo que nunca se mostrará el distintivo de ganador.
Target no utiliza confianza basada en valor p para Asignación automática.
El Confianza en una columna Asignación automática La actividad de (que se muestra a continuación) muestra la probabilidad de que una experiencia sea la ganadora dentro del margen de error del 1 %. El algoritmo utiliza un efecto detectable mínimo del 1 % entre las mejores y las segundas mejores tasas de conversión. El algoritmo utiliza Desigualdad de Bernstein para calcular esta probabilidad.
Las pruebas A/B normales calculan la confianza según los valores p. La asignación automática no usa valores p. Los valores p calculan de forma “flexible” la probabilidad de que una experiencia indicada sea diferente al control. Estos valores P solo pueden usarse para determinar si una experiencia es diferente al control. Estos valores no pueden usarse para determinar si una experiencia es diferente a otra experiencia (no control).
Comprensión de los informes de alza y confianza en Asignación automática actividades lift-confidence
Entrada Asignación automática actividades, la primera experiencia (denominada de forma predeterminada Experiencia A) se define siempre como una experiencia de "Control" en la Informes pestaña. Esta experiencia no se trata como un verdadero control estadístico en el modelado utilizado para determinar el rendimiento de las experiencias, pero se trata como una referencia o línea de base para algunas cifras en el informe.
El valor numérico "Alza" y los límites del 95 % para cada experiencia siempre se calculan con referencia a la experiencia de "Control" definida. La experiencia de "Control" definida no puede tener un alza en relación consigo misma, por lo que se comunica un valor "—" en blanco para esta experiencia. A diferencia de las pruebas A/B, en Asignación automática En las pruebas, si una experiencia tiene un peor rendimiento que el control definido, no se comunica un valor de alza negativo; en su lugar, se muestra "—".
El mostrado Intervalo de confianza las barras representan el intervalo de confianza del 95 % en torno a la estimación media de la tasa de conversión de una experiencia. Estas barras también están codificadas por colores con respecto a la experiencia de "control" definida. La barra de la experiencia "Control" siempre aparece en color gris. Las partes de los intervalos de confianza situados debajo del intervalo de confianza de la experiencia "Control" se muestran en rojo y las partes de los intervalos de confianza situados encima de la experiencia "Control" en verde.
Se obtiene un ganador cuando la experiencia principal es del 95 % Intervalo de confianza no se superpone con ninguna otra experiencia. La experiencia ganadora se designa con un distintivo de estrella verde a la izquierda del nombre de la experiencia y en el titular "Ganador". Cuando no se ve ninguna estrella, el cartel dice "Ningún ganador aún" y aún no se ha encontrado un ganador.
También se indica un número de "Confianza" junto a la experiencia principal o ganadora actual. Esta cifra solo se registra hasta que la experiencia principal de Confianza alcanza al menos el 60%. Si hay dos experiencias presentes en la variable Asignación automática actividad, este número representa el nivel de confianza de que la experiencia está teniendo un mejor rendimiento que la otra experiencia. Si hay más de dos experiencias en el Asignación automática actividad, este número representa el nivel de confianza de que la experiencia tiene un mejor rendimiento que la experiencia de "control" definida. Si la experiencia "Control" es la ganadora, no se informa de ninguna cifra "Confianza".
Preguntas frecuentes section_C8E068512A93458D8C006760B1C0B6A2
Tenga en cuenta las siguientes respuestas a las preguntas más frecuentes:
Han pasado varios días desde que empezó la actividad. ¿Por qué todos los valores de confianza siguen en el 0 %?
Alguna de las siguientes razones describe la razón por la que se muestra un 0 % en la columna Confianza de todas las actividades en el informe:
-
Pruebas A/B manuales y Asignación automática utilizar distintas estadísticas para mostrar Confianza valores.
Las pruebas A/B manuales utilizan valores p basados en Prueba T de Welch. Un valor P es la probabilidad de encontrar la diferencia observada (o más extrema) entre una experiencia y el control, dado que en la realidad no existe dicha diferencia. Estos valores P solo pueden utilizarse para determinar si los datos observados son coherentes con una experiencia determinada y si el control es el mismo. Estos valores no pueden usarse para determinar si una experiencia es diferente a otra experiencia (no control).
Asignación automática muestra la probabilidad de que una experiencia determinada sea una ganadora real en todas las experiencias de la actividad. Solo una experiencia ganadora (que es la que tiene más probabilidades de ser la ganadora) tiene un valor de confianza distinto de cero. Todos los demás tienen más probabilidades de ser perdedores y mostrar 0%.
-
La asignación automática solo empieza a mostrar la confianza después de que la experiencia ganadora reúna un 60 % de confianza. Estos niveles de confianza suelen aparecer en aproximadamente la mitad del tiempo que tardaría una prueba A/B normal en completarse (aunque este lapso de tiempo no está garantizado). Para determinar cuánto tiempo tarda en ejecutarse una prueba A/B normal, utilice el Adobe Target Calculadora de tamaño de muestra: introduzca la tasa de conversión de control en "Tasa de conversión de línea de base", "5 %" para "Alza" y "95 %" para "Confianza". Normalmente, la confianza empieza a mostrarse después de que cada experiencia haya reunido al menos un 50 % de las muestras por experiencia necesarias. Esto le da una idea de cuándo empieza a aparecer la confianza.
-
Si el informe muestra un 0 % en el panel, es probable que sea pronto para la actividad.
¿Están disponibles los distintivos “Sin ganador”, “Ganador” y “estrella” para actividades de Asignación automática que utilizan Analytics como fuente de creación de informes (A4T)?
Las insignias "Ningún ganador aún" y "Ganador" actualmente no están disponibles en el A4T panel en Analysis Workspace. Estas insignias tampoco están disponibles si se visualiza el mismo informe en Target. Una insignia de "estrella" ganadora que se muestra en una Target informe para un Asignación automática La actividad de mediante A4T debe ignorarse.
Para obtener más información sobre esta y otras limitaciones y notas, consulte Asignación automática in Compatibilidad de A4T con Asignación automática y Segmentación automática actividades.