Este artículo documenta el panel Experimentación en
Consulte el panel Analytics for Target para obtener información sobre cómo analizar las actividades y experiencias de Adobe Target en
El panel Experimentación permite que los analistas comparen distintas variaciones de experiencia del usuario, marketing o mensajería para determinar cuál es la mejor opción a fin de obtener un resultado específico. Puede evaluar el alza y la confianza de cualquier experimento A/B desde cualquier plataforma de experimentación: en línea, sin conexión, desde soluciones de Adobe como Target o Journey Optimizer e incluso datos propios.
Obtenga más información sobre la integración entre Adobe Customer Journey Analytics y Adobe Target.
Control de acceso access
El panel Experimentación está disponible para su uso por parte de todos los usuarios de Customer Journey Analytics. No se requieren derechos de administrador ni otros permisos. Sin embargo, los requisitos previos requieren acciones que solo los administradores pueden realizar.
Funciones en métricas calculadas
Hay disponibles dos nuevas funciones avanzadas: Alza y Confianza. Para obtener más información, consulte Referencia: funciones avanzadas.
Requisitos previos
Para utilizar el panel de experimentación, asegúrese de seguir estos requisitos previos:
Crear conexión con conjuntos de datos del experimento
El esquema de datos recomendado es que los datos del experimentación estén en una Matriz de objetos que contiene el experimento y los datos de variante en dos dimensiones independientes. Ambas dimensiones deben estar en una sola matriz de objetos. Si tiene los datos de experimetación en una sola dimensión (con datos de experimento y de variante en una cadena delimitada), puede utilizar la configuración subcadena en vistas de datos para dividirl la dimensión en dos y usarlas en el panel.
Una vez que se hayan ingerido los datos del experimentación en Adobe Experience Platform, cree una conexión en Customer Journey Analytics a uno o más conjuntos de datos de experimento.
Añadir etiquetas de contexto en vistas de datos
En la configuración de vistas de datos de Customer Journey Analytics, los administradores pueden añadir etiquetas de contexto a una dimensión o métrica y los servicios de Customer Journey Analytics como el panel Experimentación pueden utilizarlas para sus fines. Para el panel Experimentación se utilizan dos etiquetas predefinidas:
- Experimento de experimentación
- Variante de experimento
En la vista de datos que contiene datos de experimentación, elija dos dimensiones, una con los datos de experimentación y otra con los de variante. A continuación, etiquete esas dimensiones con Experimento de experimentación y Variante de experimentación.
Sin estas etiquetas presentes, el panel Experimento no funciona, ya que no hay experimentos con los que trabajar.
Utiliza
Para usar un panel Experimentación:
-
Crea un panel Experimentación. Para obtener información sobre cómo crear un panel, consulta Crear un panel.
-
Especifica la entrada para el panel.
-
Observa la salida del panel.
note important IMPORTANT Si no se ha completado la configuración necesaria en las vistas de datos de Customer Journey Analytics, recibirá este mensaje antes de continuar: Configure el experimento y las dimensiones de la variante en las vistas de datos.
Entrada de panel
Para utilizar el panel de experimentación:
-
Realice la configuración de entrada del panel:
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 Configuración Definición Intervalo de fecha El intervalo de fechas se establece automáticamente, en función de la primera visita recibida en Customer Journey Analytics para el experimento seleccionado. Puede restringir o expandir el intervalo de fecha a un periodo de tiempo más específico si es necesario. Experimento Un conjunto de variaciones de una experiencia que se expusieron a los usuarios finales para determinar cuál es la mejor para mantener de forma perpetua. Un experimento está formado por dos o más variantes, una de las cuales se considera la de control. Esta configuración se rellena previamente con las dimensiones que llevan la etiqueta Experimento en las vistas de datos y con los datos de los tres últimos meses del experimento. Variante de control Una de las dos o más alteraciones en la experiencia de un usuario final que se comparan con el fin de identificar la mejor alternativa. Se debe seleccionar una variante como control, y solo una puede considerarse la de control. Esta configuración se rellena previamente con las dimensiones que llevan la etiqueta Variante en las vistas de datos. Esta configuración extrae los datos de variante asociados con este experimento. Métricas de éxito ➊ La métrica o métricas con las que un usuario compara variantes. La variante con el resultado más deseable para las métricas de conversión (ya sea la más alta o la más baja) se declara como la variante con mejor rendimiento de un experimento. Se pueden añadir hasta cinco filtros. Métrica de normalización ➋ La base (Cuenta global [B2B edition]{class="badge informative" title="Customer Journey Analytics B2B edition"}, Cuenta [B2B edition]{class="badge informative" title="Customer Journey Analytics B2B edition"}, Oportunidad [B2B edition]{class="badge informative" title="Customer Journey Analytics B2B edition"}, Grupo de compra [B2B edition]{class="badge informative" title="Customer Journey Analytics B2B edition"}, Personas, Sesiones o Eventos) en la que se ejecuta una prueba. Por ejemplo, una prueba puede comparar las tasas de conversión de varias variaciones en las que Tasa de conversión se calcula como Vista de página. Incluir límites superior e inferior de confianza Active esta opción para mostrar los límites superior e inferior de los niveles de confianza. -
Seleccione Generar.
Salida del panel
El panel Experimentación devuelve un completo conjunto de datos y visualizaciones para ayudarle a comprender mejor el rendimiento de sus experimentos. En la parte superior del panel, se proporcionan visualizaciones de cambio de resumen como recordatorio de la configuración del panel que ha seleccionado. En cualquier momento, puede editar el panel haciendo clic en el lápiz de edición en la parte superior derecha.
También se obtiene un resumen de texto que indica si el experimento es concluyente o no y resume el resultado. La conclusión se basa en la relevancia estadística (consulte Metodología estadística.) Puede ver los números de resumen de la variante que tienen mejor rendimiento, con la mayor subida y confianza.
Para cada métrica de éxito seleccionada, se muestra una visualización de tabla de forma libre y una visualización de línea de tasa de conversión.
Interpretación de los resultados
-
El experimento es concluyente: cada vez que se visualiza el informe de experimentación, se analizan los datos que se han acumulado en el experimento hasta este momento. El análisis declara que un experimento es concluyente cuando la confianza válida en cualquier momento supera el umbral del 95 % para al menos una de las variantes. Con más de dos instrumentos, se aplica una corrección de Benjamini-Hochberg para corregir las pruebas de hipótesis múltiples.
-
Variante con el mejor rendimiento: cuando se declara que un experimento es concluyente, la variante con la tasa de conversión más alta se identifica como la “variante con el mejor rendimiento”. Tenga en cuenta que esta variante debe ser la de control o de línea de base, o una de las variantes que supere el umbral de confianza válido del 95 % en cualquier momento (con las correcciones de Benjamini-Hochberg aplicadas).
-
Tasa de conversión: la tasa de conversión que se muestra es una relación entre el valor de la métrica de éxito ➊ y el de la métrica de normalización ➋. Tenga en cuenta que a veces este valor puede ser mayor que 1, si la métrica no es binaria (1 o 0 para cada unidad en el experimento)
-
Alza: el resumen del informe de experimento muestra el alza sobre la línea de base, que es una medida de la mejora porcentual en la tasa de conversión de una variante determinada respecto a la línea de base. Definida con precisión, es la diferencia de rendimiento entre una variante determinada y la línea de base, dividida por el rendimiento de la línea de base, expresada como porcentaje.
-
Confianza: la confianza válida en cualquier momento que se muestra es una medida probabilística de cuánta evidencia existe de que una variante determinada es la misma que la de control. Una mayor confianza indica menos evidencia para el supuesto de que la variante de control y la que no es de control tienen un rendimiento igual. La confianza es una probabilidad (expresada como porcentaje) de que habría observado una diferencia menor en las tasas de conversión entre una variante determinada y la de control. Aunque en realidad no hay diferencia en las tasas de conversión subyacentes reales. En términos de valores p, la confianza mostrada es 1 - valor p.
Metodología estadística de Adobe statistics
A fin de facilitar la interpretación y la seguridad de la inferencia estadística, Adobe ha adoptado una metodología estadística basada en Secuencias de confianza válidas en cualquier momento.
Una secuencia de confianza es un análogo secuencial de un intervalo de confianza. Para entender qué es una secuencia de confianza, imaginemos que repite sus experimentos cien veces. Y calcula una estimación de la métrica empresarial media (por ejemplo, la tasa de apertura de un correo electrónico) y su secuencia de confianza del 95 % asociada para cada nuevo usuario que entre en el experimento.
Una secuencia de confianza del 95 % incluirá el valor “verdadero” de la métrica comercial en 95 de los 100 experimentos que ejecutó. (Un intervalo de confianza del 95 % solo se podía calcular una vez por experimento para ofrecer la misma garantía de cobertura del 95 %; no con cada nuevo usuario). Por lo tanto, las secuencias de confianza le permiten monitorizar continuamente los experimentos, sin aumentar las tasas de error de los falsos positivos, es decir, permiten “asomarse” a los resultados.
Interpretar dimensiones no aleatorias non-randomized
Customer Journey Analytics permite a los analistas seleccionar cualquier dimensión como experimento. Pero, ¿cómo se interpreta un análisis en el que la dimensión elegida como experimento no es aquella para la que se aleatorizan las personas?
Por ejemplo, piense en un anuncio que vea una persona. Puede que le interese medir el cambio en alguna métrica (por ejemplo, ingresos promedio) si decide mostrar las personas el anuncio B en lugar del anuncio A. El efecto causal de mostrar el anuncio B, en lugar del anuncio A, tiene una importancia fundamental para llegar a la decisión de marketing. Este efecto causal puede medirse como el ingreso promedio en toda la población, si se sustituye el status quo de mostrar el anuncio A por la estrategia alternativa de mostrar el anuncio B.
Las pruebas A/B son el criterio de referencia dentro de la industria para medir de manera objetiva los efectos de este tipo de intervenciones. La razón fundamental por la que una prueba A/B da lugar a una estimación causal se debe a la aleatorización de las personas para recibir una de las posibles variantes.
Ahora, pensemos en una dimensión que no se logra mediante la aleatorización, por ejemplo, el estado de EE. UU. de la persona. Las personas provienen principalmente de dos estados, Nueva York y California. Los ingresos promedio de las ventas de una marca de ropa de invierno pueden ser diferentes en los dos estados debido a las diferencias en el clima regional. En esta situación, el clima puede ser el verdadero factor causal detrás de las ventas de ropa de invierno, y no el hecho de que los estados geográficos de las personas son diferentes.
El panel de experimentación de Customer Journey Analytics le permite analizar los datos como una diferencia de ingresos promedio por estados de las personas. En esta situación, el resultado no tiene una interpretación causal. Sin embargo, dicho análisis puede seguir siendo de interés. Proporciona una estimación (junto con medidas de incertidumbre) de la diferencia en los ingresos promedio por estados de las personas. Este valor también se conoce como Prueba de hipótesis estadística. El resultado de este análisis puede ser interesante, pero no necesariamente procesable. Simplemente porque no ha aleatorizado y a veces no puede aleatorizar a las personas a uno de los valores posibles de la dimensión.
La siguiente ilustración contrasta estas situaciones:
Cuando se desea medir el impacto de la intervención X en el resultado Y, es posible que la causa real de ambos sea el factor de confusión C. Si los datos no se consiguen aleatorizando a las personas en X, el impacto es más difícil de medir, y el análisis explícitamente explica C. La aleatorización rompe la dependencia de X de C, lo que nos permite medir el efecto de X en Y sin tener que preocuparnos por otras variables.
Uso de métricas calculadas en experimentación use-in-experimentation
No todas las métricas calculadas son compatibles con el panel Experimentación.
Las métricas calculadas que incluyen cualquiera de las siguientes métricas o constantes no son compatibles con el panel Experimentación:
- Métricas base de un conjunto de datos de resumen
- Métricas base divididas entre sí o multiplicadas juntas (por ejemplo,
Revenue/Orders) - Constantes que se agregan o sustraen de una métrica base (por ejemplo,
Revenue+50) - Cualquiera de las siguientes métricas base:
- Personas
Las métricas calculadas que no son compatibles con el panel Experimentación tienen el valor En todas partes en Customer Journey Analytics (excepto la experimentación) en el campo Compatibilidad del producto al crear la métrica calculada. Para obtener información sobre cómo crear una métrica calculada, consulte Generar métricas.
Uso de métricas calculadas en el panel Experimentación
Consulte esta publicación de blog para obtener información sobre el uso de métricas calculadas en el panel Experimentación.