Panel Experimentación experimentation-panel
El panel Experimentación permite que los analistas comparen diferentes variaciones de experiencias de usuario, marketing o mensajería para determinar cuál es la mejor manera de impulsar un resultado específico. Puede evaluar el alza y la confianza de cualquier experimento A/B desde cualquier plataforma de experimentación: en línea, sin conexión, desde soluciones de Adobe como Target o Journey Optimizer, e incluso sus propios datos.
Más información sobre la integración entre Adobe Customer Journey Analytics y Adobe Target.
Control de acceso access
El panel Experimentación está disponible para su uso por parte de todos los usuarios de Customer Journey Analytics. No se requieren derechos de administrador ni otros permisos. Sin embargo, los requisitos previos requieren acciones que solo los administradores pueden realizar.
Funciones en métricas calculadas
Hay dos funciones avanzadas disponibles: Alza y Confianza. Para obtener más información, consulte Referencia: funciones avanzadas.
Requisitos previos
Para utilizar el panel de experimentación, asegúrese de seguir estos requisitos previos:
Crear conexión con conjuntos de datos del experimento
El esquema de datos recomendado es que los datos de experimentación estén en una Matriz de objetos que contiene el experimento y los datos de variante en dos dimensiones independientes. Ambas dimensiones deben estar en una matriz de objetos single. Si tiene los datos de experimentación en una sola dimensión (con datos de experimento y de variante en una cadena delimitada), puede usar la configuración subcadena en vistas de datos para dividir la dimensión en dos y usarla en el panel.
Después de ingerir los datos de experimentación en Adobe Experience Platform, cree una conexión en el Customer Journey Analytics a uno o más conjuntos de datos de experimento.
Agregar etiquetas de contexto en vistas de datos
En la configuración de vistas de datos de Customer Journey Analytics, los administradores pueden agregar etiquetas de contexto a una dimensión o métrica y los servicios de Customer Journey Analytics como el panel Experimentación pueden usarlas para sus fines. Para el panel Experimentación se utilizan dos etiquetas predefinidas:
- Experimento de experimentación
- Variante de experimento
En la vista de datos que contiene datos de experimentación, elija dos dimensiones, una con los datos de experimentación y otra con los de variante. Luego etiquete esas dimensiones con las etiquetas Experimento de experimentación y Variante de experimentación.
Sin estas etiquetas presentes, el panel Experimento no funciona, ya que no hay experimentos con los que trabajar.
En su lugar, utilice
Para usar un panel Experimentación:
-
Crear un panel de Experimentación. Para obtener información sobre cómo crear un panel, consulte Crear un panel.
-
Especifique input para el panel.
-
Observe la salida del panel.
note important IMPORTANT Si no se ha completado la configuración necesaria en las vistas de datos del Customer Journey Analytics, recibirá este mensaje antes de continuar: Configure el experimento y las dimensiones de variante en las vistas de datos.
Entrada de panel
Para usar el panel Experimentación:
-
Configure las opciones de entrada del panel:
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 Configuración Definición Intervalo de fecha El intervalo de fechas del panel Experimentación se establece automáticamente, en función del primer evento recibido en Customer Journey Analytics para el experimento seleccionado. Puede restringir o expandir el intervalo de fecha a un periodo de tiempo más específico si es necesario. Experimento Un conjunto de variaciones de una experiencia que se expusieron a los usuarios finales para determinar cuál es mejor mantener de forma perpetua. Un experimento está formado por dos o más variantes, una de las cuales se considera la de control. Esta configuración está rellenada previamente con las dimensiones que se han etiquetado con la etiqueta Experimento en las vistas de datos y con los datos de experimentación de los últimos tres meses. Variante de control Una de las dos o más alteraciones en la experiencia de un usuario final que se comparan con el fin de identificar la mejor alternativa. Se debe seleccionar una variante como control, y solo una puede considerarse la de control. Esta configuración se rellena previamente con las dimensiones que se han etiquetado con la etiqueta Variant en las vistas de datos. Esta configuración extrae los datos de variante asociados con este experimento. Métricas de éxito ➊ La métrica o métricas con las que un usuario compara variantes. La variante con el resultado más deseable para la métrica de conversión (ya sea la más alta o la más baja) se declara como la variante con mejor rendimiento de un experimento. Se pueden añadir hasta cinco filtros. Métrica de normalización ➋ La base (Personas, Sesiones o Eventos) en la que se ejecuta una prueba. Por ejemplo, una prueba puede comparar las tasas de conversión de varias variaciones en las que Tasa de conversión se calcula como Vista de página Incluir límites superior/inferior de confianza Active esta opción para mostrar los límites superior e inferior de los niveles de confianza. -
Seleccione Generar.
Salida de panel
El panel Experimentación devuelve un completo conjunto de datos y visualizaciones para ayudarle a comprender mejor el rendimiento de sus experimentos. En la parte superior del panel, se proporcionan visualizaciones de cambio de resumen para recordarle la configuración del panel que ha seleccionado. En cualquier momento, puede editar el panel seleccionando el lápiz de edición en la parte superior derecha.
También se obtiene un resumen de texto que indica si el experimento es concluyente o no y resume el resultado. La conclusión se basa en la relevancia estadística (consulte Metodología estadística). Puede ver los números de resúmenes de la variante con mejor rendimiento, con el alza y la confianza más altas.
Para cada métrica de éxito seleccionada, se muestra una visualización de tabla de forma libre y una visualización de tasa de conversión línea.
Interpretación de los resultados
-
El experimento es concluyente: cada vez que visualiza el informe de experimentación, se analizan los datos que se han acumulado en el experimento hasta este momento. El análisis declara que un experimento es concluyente cuando la confianza válida de anytime supera el umbral del 95 % para al menos una de las variantes. Con más de dos brazos, se aplica una corrección de Benjamini-Hochberg para corregir las pruebas de hipótesis múltiples.
-
Variante con mejor rendimiento: cuando se declara que un experimento es concluyente, la variante con la tasa de conversión más alta se etiqueta como la variante con mejor rendimiento. Tenga en cuenta que esta variante debe ser la de control o de línea de base, o una de las variantes que cruce el umbral de confianza válida del 95 % anytime (con correcciones de Benjamini-Hochberg aplicadas).
-
Tasa de conversión: La tasa de conversión que se muestra es una relación entre el valor de la métrica de éxito ➊ el valor de la métrica de normalización ➋. Tenga en cuenta que este valor puede ser mayor que 1, si la métrica no es binaria (1 o 0 para cada unidad en el experimento)
-
Alza: el resumen del informe de experimento muestra el alza sobre la línea de base, que es una medida de la mejora porcentual en la tasa de conversión de una variante determinada respecto a la línea de base. Definida con precisión, es la diferencia de rendimiento entre una variante determinada y la línea de base, dividida por el rendimiento de la línea de base, expresada como porcentaje.
-
Confianza: La confianza válida en cualquier momento que se muestra es una medida probabilística de cuánta evidencia existe de que una variante determinada es la misma que la de control. Una mayor confianza indica menos evidencia para el supuesto de que la variante de control y la que no es de control tienen un rendimiento igual. La confianza es una probabilidad (expresada como porcentaje) de que habría observado una diferencia menor en las tasas de conversión entre una variante determinada y la de control. Aunque en realidad no hay diferencia en las tasas de conversión subyacentes reales. En términos de valores p, la confianza mostrada es 1 - valor p.
Metodología estadística de Adobe statistics
A fin de facilitar la interpretación y la seguridad de la inferencia estadística, Adobe ha adoptado una metodología estadística basada en Secuencias de confianza válidas en cualquier momento.
Una secuencia de confianza es un análogo secuencial de un intervalo de confianza. Para entender qué es una secuencia de confianza, imaginemos que repiten sus experimentos cien veces. Y calcule una estimación de la métrica empresarial media (por ejemplo, la tasa de apertura de un correo electrónico) y su secuencia de confianza del 95 % asociada para cada nuevo usuario que entre en el experimento.
Una secuencia de confianza del 95 % incluye el valor "verdadero" de la métrica empresarial en 95 de los 100 experimentos que ejecutó. (Un intervalo de confianza del 95 % solo se podía calcular una vez por experimento para dar la misma garantía de cobertura del 95 %; no con cada nuevo usuario). Por lo tanto, las secuencias de confianza le permiten monitorizar los experimentos continuamente, sin aumentar las tasas de error de los falsos positivos, es decir, permiten "asomarse" a los resultados.
Interpretación de dimensiones no aleatorias non-randomized
El Customer Journey Analytics permite a los analistas seleccionar cualquier dimensión como experimento. Pero, ¿cómo interpreta un análisis en el que la dimensión elegida como experimento no es aquella para la que se aleatorizan las personas?
Por ejemplo, considere un anuncio que vea una persona. Puede que le interese medir el cambio en alguna métrica (por ejemplo, ingresos promedio) si decide mostrar las personas ad B en lugar de ad A. El efecto causal de mostrar el anuncio B, en lugar del anuncio A, es de importancia central para llegar a la decisión de comercialización. Este efecto causal puede medirse como el ingreso promedio en toda la población, si se sustituye el status quo de mostrar el anuncio A por la estrategia alternativa de mostrar el anuncio B.
Las pruebas A/B son el estándar de oro dentro de la industria para medir de manera objetiva los efectos de este tipo de intervenciones. La razón crítica por la que una prueba A/B da lugar a una estimación causal se debe a la aleatorización de las personas para recibir una de las posibles variantes.
Ahora, consideremos una dimensión que no se logra mediante la aleatorización, por ejemplo, el estado de EE. UU. de la persona. Las personas provienen principalmente de dos estados, Nueva York y California. Los ingresos promedio de las ventas de una marca de ropa de invierno pueden ser diferentes en los dos estados debido a las diferencias en el clima regional. En tal situación, el clima puede ser el verdadero factor causal detrás de las ventas de ropa de invierno, y no el hecho de que los estados geográficos de las personas son diferentes.
El panel de experimentación en Customer Journey Analytics permite analizar los datos como una diferencia de ingresos promedio por estados de las personas. En tal situación, el resultado no tiene una interpretación causal. Sin embargo, dicho análisis puede seguir siendo de interés. Proporciona una estimación (junto con medidas de incertidumbre) de la diferencia en los ingresos medios por estados de las personas. Este valor también se conoce como Prueba de hipótesis estadística. El resultado de este análisis puede ser interesante, pero no necesariamente procesable. Simplemente porque no ha aleatorizado y a veces no puede aleatorizar a las personas a uno de los valores posibles de la dimensión.
La siguiente ilustración contrasta estas situaciones:
Cuando se desea medir el impacto de la intervención X en el resultado Y, es posible que la causa real de ambos sea el factor de confusión C. Si los datos no se consiguen aleatorizando a las personas en X, el impacto es más difícil de medir, y el análisis explícitamente explica C. La aleatorización rompe la dependencia de X en C, lo que nos permite medir el efecto de X en Y sin tener que preocuparnos por otras variables.
Uso de métricas calculadas en experimentación use-in-experimentation
No todas las métricas calculadas son compatibles con el panel Experimentación.
Las métricas calculadas que incluyen cualquiera de las siguientes métricas o constantes no son compatibles con el panel Experimentación:
- Métricas base de un conjunto de datos de resumen
- Métricas base divididas entre sí o multiplicadas juntas (por ejemplo,
Revenue/Orders) - Constantes que se agregan o restan de una métrica base (por ejemplo,
Revenue+50) - Cualquiera de las siguientes métricas base:
- Personas
Las métricas calculadas que no son compatibles con el panel Experimentación tienen el valor En todas partes del Customer Journey Analytics (excluida la experimentación) en el campo Compatibilidad del producto al crear la métrica calculada. Para obtener información sobre cómo crear una métrica calculada, consulte Generar métricas.
Uso de métricas calculadas en el panel Experimentación
Consulte esta publicación de blog para obtener información sobre usando métricas calculadas en el panel Experimentación.