Creación de un experimento de contenido content-experiment
El Experimento de contenido de Journey Optimizer le permite definir varios tratamientos de entrega para medir cuál ofrece el mejor rendimiento para la audiencia de destino. Puede elegir entre variar el contenido o el asunto de la entrega. La audiencia de interés se asigna aleatoriamente a cada tratamiento para determinar cuál funciona mejor en términos de la métrica especificada.
En el siguiente ejemplo, el destinatario del envío se ha dividido en dos grupos, cada uno de los cuales representa el 45 % de la población objetivo, y un grupo de exclusión del 10 %, que no reciben el envío.
Cada persona de la audiencia de destino recibe una versión de un correo electrónico, con una línea de asunto que es una de las dos siguientes:
- uno que promociona directamente una oferta del 10% en la nueva colección y una imagen.
- el otro solo anuncia una oferta especial sin especificar el 10% de descuento sin ninguna imagen.
El objetivo aquí es ver si los destinatarios interactuarán con el correo electrónico según el experimento recibido. Por lo tanto, elegiremos Aperturas de correo electrónico como métrica de objetivo principal en este experimento de contenido.
➡️ Aprenda a utilizar experimentos de contenido para comparar decisiones con el canal de experiencia basado en código en este caso de uso.
Cree su contenido campaign-experiment
-
Comience creando y configurando su campaña o recorrido según sus necesidades.
-
Desde la ventana Editar contenido, empiece a personalizar el tratamiento A.
Para este tratamiento, especificaremos la oferta especial directamente en la línea de asunto y añadiremos la personalización.
-
Cree o importe el contenido original y personalícelo según sea necesario.
Configuración del experimento de contenido configure-experiment
Para el experimento de contenido, puede elegir entre tres tipos de experimento:
-
Experimento A/B: defina la división de tráfico entre tratamientos al comienzo de la prueba. El rendimiento se evalúa en función de la métrica principal que haya elegido, la Experimentation Accelerator, a continuación, informa del alza observada entre los tratamientos.
-
Bandido multibrazo: la división del tráfico entre tratamientos se gestiona automáticamente. Cada 7 días, se revisa el rendimiento de la métrica principal y los pesos se ajustan en consecuencia. Los informes de Experimentation Accelerator siguen mostrando el alza como pruebas A/B.
-
Trae tu propio Multi-armed bandit: la división del tráfico entre los tratamientos se gestiona automáticamente. Tiene la flexibilidad para determinar cuándo y cómo debe cambiar mediante las API de Experimento para ajustar las asignaciones en tiempo real.
➡️ Más información sobre la diferencia entre los experimentos de bandidos A/B y multibrazo
-
Cuando el mensaje esté personalizado, en la ficha Acciones, haga clic en Crear experimento para comenzar a configurar el experimento de contenido.
-
Seleccione la métrica de éxito que desee establecer para su experimento.
Para este ejemplo, seleccione Correo electrónico abierto para comprobar si los perfiles abren sus mensajes de correo electrónico si el código de la promoción está en la línea de asunto.
-
Al configurar un experimento utilizando el canal en la aplicación o web y elegir los clics entrantes, los clics entrantes únicos, las vistas de página o las métricas de vistas de página únicas, el campo Dimensiones le permite rastrear y supervisar con precisión los clics y las vistas en páginas específicas.
-
Si creó una campaña activada por API, seleccione Experimento A/B de la lista desplegable Tipo de experimento.
-
Haga clic en Agregar tratamiento para crear tantos tratamientos nuevos como sea necesario.
note caution CAUTION Al crear un experimento basado en código, tenga en cuenta las siguientes limitaciones: - Recuento de tratamientos: la creación de más de 3 a 5 tratamientos puede causar problemas de rendimiento e interfaz. Si encuentra errores al añadir tratamientos, intente reducir el número de tratamientos o agréguelos gradualmente hasta que se resuelva el problema.
- Palabras clave reservadas: evite utilizar palabras clave reservadas como "holdout" en los nombres de tratamiento, ya que esto puede provocar errores de asignación de nodos de decisión e impedir que el experimento funcione correctamente.
-
Cambie Title del tratamiento para diferenciarlo mejor.
-
Elija agregar un grupo Holdout a su entrega. Este grupo no recibirá ningún contenido de esta campaña.
Al activar la barra de alternancia, se tomará automáticamente el 10% de su población, puede ajustar este porcentaje si es necesario.
note important IMPORTANT Cuando se utiliza un grupo de exclusión en una acción para la experimentación de contenido, la asignación de exclusión solo se aplica a esa acción específica. Una vez finalizada la acción, los perfiles del grupo de exclusión seguirán por la ruta del recorrido y podrán recibir mensajes de otras acciones. Por lo tanto, asegúrese de que los mensajes posteriores no dependan de la recepción de un mensaje por un perfil que pueda estar en un grupo de exclusión. Si es así, es posible que tenga que eliminar la asignación de exclusión.
-
Puede elegir asignar un porcentaje preciso a cada Tratamiento o simplemente cambiar en la barra de alternancia Distribuir uniformemente.
-
Habilite el experimento de escalado automático para desplegar automáticamente la variación ganadora del experimento. Más información sobre cómo escalar al ganador
-
Haga clic en Crear cuando se establezca la configuración.
Tenga en cuenta que el experimento Multi-armed bandit solo está disponible con lo siguiente:
- Canales entrantes
- Recorridos unitarios
- Campañas activadas por API (tanto transaccionales como operativas)
- Canales salientes si la programación se repite
-
Cuando el mensaje esté personalizado, en la ficha Acciones, haga clic en Crear experimento para comenzar a configurar el experimento de contenido.
-
Seleccione la métrica de éxito que desee establecer para su experimento.
Para este ejemplo, seleccione Correo electrónico abierto para comprobar si los perfiles abren sus mensajes de correo electrónico si el código de la promoción está en la línea de asunto.
-
Si creó una campaña activada por API, seleccione Multi-armed bandit en la lista desplegable Tipo de experimento.
-
Haga clic en Agregar tratamiento para crear tantos tratamientos nuevos como sea necesario.
-
Cambie Title del tratamiento para diferenciarlo mejor.
-
Elija agregar un grupo Holdout a su entrega. Este grupo no recibirá ningún contenido de esta campaña.
Al activar la barra de alternancia, se tomará automáticamente el 10% de su población, puede ajustar este porcentaje si es necesario.
note important IMPORTANT Cuando se utiliza un grupo de exclusión en una acción para la experimentación de contenido, la asignación de exclusión solo se aplica a esa acción específica. Una vez finalizada la acción, los perfiles del grupo de exclusión seguirán por la ruta del recorrido y podrán recibir mensajes de otras acciones. Por lo tanto, asegúrese de que los mensajes posteriores no dependan de la recepción de un mensaje por un perfil que pueda estar en un grupo de exclusión. Si es así, es posible que tenga que eliminar la asignación de exclusión.
Tenga en cuenta que Traer su propio experimento Multi-armed bandit solo está disponible con lo siguiente:
- Canales entrantes
- Recorridos unitarios
- Campañas activadas por API (tanto transaccionales como operativas)
- Canales salientes si la programación se repite
-
Cuando el mensaje esté personalizado, en la ficha Acciones, haga clic en Crear experimento para comenzar a configurar el experimento de contenido.
-
Seleccione la métrica de éxito que desee establecer para su experimento.
Para este ejemplo, seleccione Correo electrónico abierto para comprobar si los perfiles abren sus mensajes de correo electrónico si el código de la promoción está en la línea de asunto.
-
Si creó una campaña activada por API, seleccione Traer su propio bandido multibrazo en la lista desplegable Tipo de experimento.
-
Haga clic en Agregar tratamiento para crear tantos tratamientos nuevos como sea necesario.
-
Cambie Title del tratamiento para diferenciarlo mejor.
-
Elija agregar un grupo Holdout a su entrega. Este grupo no recibirá ningún contenido de esta campaña.
Al activar la barra de alternancia, se tomará automáticamente el 10% de su población, puede ajustar este porcentaje si es necesario.
note important IMPORTANT Cuando se utiliza un grupo de exclusión en una acción para la experimentación de contenido, la asignación de exclusión solo se aplica a esa acción específica. Una vez finalizada la acción, los perfiles del grupo de exclusión seguirán por la ruta del recorrido y podrán recibir mensajes de otras acciones. Por lo tanto, asegúrese de que los mensajes posteriores no dependan de la recepción de un mensaje por un perfil que pueda estar en un grupo de exclusión. Si es así, es posible que tenga que eliminar la asignación de exclusión.
Diseña tus tratamientos treatment-experiment
-
En la ventana Editar contenido, seleccione el tratamiento B para cambiar el contenido.
Aquí, elegimos no especificar la oferta en la línea de asunto.
-
Haga clic en Editar cuerpo del correo electrónico para personalizar aún más el tratamiento B.
-
Después de diseñar los tratamientos, haga clic en Más acciones para obtener acceso a las opciones relacionadas con los tratamientos: Cambiar nombre, Duplicar y Eliminar.
-
Si es necesario, accede al menú Configuración de experimentos para cambiar la configuración de los tratamientos.
-
Una vez definido el contenido del mensaje, haga clic en el botón Simular contenido para controlar la renderización del envío y comprobar la configuración de personalización con perfiles de prueba. Más información
Después de configurar la experimentación, puede realizar un seguimiento del éxito de su envío con el informe. Más información
Escalar el ganador scale-winner
- Canales entrantes (por ejemplo, web, mensaje en la aplicación o experiencia basada en código) en cualquier recorrido o campaña.
- Canales salientes (por ejemplo, correo electrónico, notificaciones push, SMS) en campañas transaccionales activadas por API.
Escalar el ganador permite desplegar automática o manualmente la variación ganadora de un experimento para todo el público. Esta función garantiza que, una vez que se determina un ganador, puede amplificar su alcance y efectividad sin monitorizar constantemente el experimento.
Puede elegir entre dos modos:
-
Escalado automático: configure las opciones de escalado automático al crear su experimento eligiendo el momento y las condiciones para escalar el tratamiento ganador o una opción de reserva si no aparece ningún ganador.
-
Escalado manual: revise manualmente los resultados del experimento e inicie el despliegue del tratamiento ganador, manteniendo un control total sobre el tiempo y las decisiones.
Escalado automático autoscaling
El escalado automático permite establecer reglas predefinidas sobre cuándo implementar el tratamiento ganador o una alternativa, en función de los resultados del experimento.
Tenga en cuenta que una vez que se ha producido el escalado automático, el escalado manual ya no está disponible.
Para habilitar el escalado automático en los experimentos:
-
Configure la campaña o el recorrido y configure el experimento según sea necesario. Más información
-
Active la opción de escalado automático al configurar el experimento.
-
Seleccione cuándo se debe escalar el ganador:
- En cuanto se encuentre el ganador.
- Después de que el experimento esté activo durante el tiempo seleccionado.
La hora de escalado automático debe programarse antes de la fecha de finalización del experimento. Si se establece para una hora después de la fecha de finalización, aparece una advertencia de validación y la campaña o el recorrido no se publican.
-
Elija el comportamiento de reserva si no se encuentra ningún ganador por tiempo de escala:
- Continuar el experimento hasta que termine según lo programado.
- Escalar el tratamiento alternativo después de un tiempo especificado.
Una vez cumplidos todos los parámetros, el tratamiento ganador o alternativo se envía a su audiencia.
Escalado manual manual-scaling
La escala manual le permite revisar los resultados de los experimentos y decidir cuándo implementar el tratamiento ganador según su propia programación.
Tenga en cuenta que si escala manualmente al ganador antes de la hora programada de escalado automático, se cancela la escala automática.
Para escalar manualmente el ganador de los experimentos:
-
Configure la campaña o el recorrido y configure el experimento según sea necesario. Más información
-
Deje que el experimento se ejecute hasta que se identifique un ganador o se alcance la relevancia estadística.
-
Abra el panel de campañas o seleccione la actividad de canal en el recorrido.
Revise los resultados en el menú Experimento de contenido para identificar el tratamiento de mayor rendimiento.
-
Haga clic en Escalar tratamiento para insertar el tratamiento ganador al resto de la audiencia.
-
Seleccione el tratamiento que desee escalar en el menú desplegable y haga clic en Escalar.
Tenga en cuenta que escalar el tratamiento puede tomar hasta una hora. Recibirá una notificación una vez que finalice el proceso de escalado manual.