Usar experimentação de caminho experimentation
A experimentação permite testar caminhos diferentes com base em uma divisão aleatória para determinar qual tem o melhor desempenho com base em métricas de sucesso predefinidas.
Para configurar a experimentação de caminho em uma jornada, siga as etapas abaixo.
Digamos que você deseje comparar três caminhos:
- um caminho com um email;
- um segundo caminho com um nó Wait de dois dias e um email;
- um terceiro caminho com um email e, em seguida, uma mensagem SMS.
-
Na seção Orquestração, arraste e solte a atividade Otimizar na tela de jornada.
-
Adicione um rótulo opcional, que pode ser útil para identificar a atividade em relatórios e logs do modo de teste.
-
Selecione Experimento na lista suspensa Método.
-
Clique em Criar experimento.
-
Selecione a Métrica de sucesso que você deseja definir para o seu experimento. Saiba mais sobre as métricas disponíveis e como configurar a lista em esta seção.
-
Selecione o Tipo de experimento para o seu experimento de caminho:
-
Experimento A/B — Defina a divisão de tráfego entre tratamentos no início do teste. O desempenho é avaliado com base na métrica primária escolhida; os relatórios mostram o aumento observado entre os tratamentos.
-
Bandit multi-armed — o tráfego dividido entre tratamentos é manipulado automaticamente. A cada 7 dias, o desempenho na métrica primária é revisado e os pesos são ajustados de acordo. Os relatórios continuam a mostrar aumento, assim como para testes A/B.
➡️ Saiba mais sobre a diferença entre experimentos A/B e Multi-armed bandit
-
-
Você pode optar por adicionar um grupo de Contenção à sua entrega. Este grupo não irá inserir nenhum caminho a partir deste experimento.
note NOTE A ativação da barra de alternância ocupará automaticamente 10% da sua população. Você pode ajustar essa porcentagem, se necessário. Quando a jornada estiver ativa, os usuários serão atribuídos aleatoriamente para percorrer caminhos diferentes. Journey Optimizer rastreia qual caminho tem melhor desempenho e fornece insights acionáveis.
Siga o sucesso da sua jornada com o relatório Experimento de caminho de Jornada. Saiba mais
Casos de uso de experimentos uc-experiment
Os exemplos a seguir mostram como usar a atividade Otimizar com o método Experimento para determinar qual caminho funciona melhor em geral.
accordion Eficácia do canal Teste se o envio da primeira mensagem por email ou por SMS gera conversões mais altas.
➡️ Use a taxa de conversão como métrica de sucesso (por exemplo: compras, inscrições).
accordion Frequência da mensagem Execute um experimento para verificar se o envio de um email contra três emails em uma semana resulta em mais compras.
➡️ Use compras ou a taxa de cancelamento de inscrição como métrica de sucesso.
accordion Tempo de espera entre as comunicações Compare uma espera de 24 horas com uma de 72 horas antes de um acompanhamento para determinar qual tempo maximiza o engajamento.
➡️ Use a taxa de click-through ou a receita como métrica de sucesso.
Dimensionar o vencedor scale-winner
note availability AVAILABILITY Para experimentos de caminho, o recurso Dimensionar o vencedor está disponível apenas em jornadas unitárias (acionadas por eventos e qualificações de público-alvo). Não está disponível para jornadas Read audience. A opção “Dimensionar o vencedor” permite implantar de forma automática ou manual a variação vencedora de um experimento em todo o seu público-alvo. Esse recurso garante que, uma vez determinado o vencedor, você possa ampliar seu alcance e eficácia sem monitorar constantemente o experimento.
Você pode escolher entre dois modos:
-
Dimensionamento automático: defina as configurações de dimensionamento automático ao criar seu experimento escolhendo o tempo e as condições para dimensionar o tratamento vencedor ou uma opção de fallback se nenhum vencedor surgir.
-
Escala Manual: analise manualmente os resultados do experimento e inicie a implantação do tratamento vencedor, mantendo o controle total sobre o tempo e as decisões.
Dimensionamento automático autoscaling
O dimensionamento automático permite definir regras predefinidas para quando implantar o tratamento vencedor ou um fallback, com base nos resultados do experimento.
Observe que após o dimensionamento automático, o dimensionamento manual não estará mais disponível.
Para ativar a escala automática em seus experimentos:
-
Defina sua jornada e configure seu experimento conforme necessário. Saiba mais
-
Ative a opção de dimensionamento automático ao configurar seu experimento.
-
Selecione quando o vencedor deve ser dimensionado:
- Assim que o vencedor for encontrado.
- Após o experimento ficar ativo pelo tempo selecionado.
A hora de dimensionamento automático deve ser agendada antes da data de término do experimento. Se for definido para um período posterior à data de término, um aviso de validação será exibido e a jornada não será publicada.
-
Escolha o comportamento de fallback se nenhum vencedor for encontrado por tempo de escala:
- Continue o experimento até que ele termine como programado.
- Dimensione o tratamento alternativo após um tempo especificado.
Depois que todos os parâmetros forem atendidos, o tratamento vencedor ou alternativo será enviado para o público-alvo.
Dimensionamento manual manual-scaling
O dimensionamento manual oferece a capacidade de analisar os resultados do experimento e decidir quando implantar o tratamento vencedor de acordo com seu próprio cronograma.
Observe que, se você dimensionar manualmente o vencedor antes do tempo de dimensionamento automático programado, a dimensionamento automático será cancelada.
Para dimensionar manualmente o vencedor de seus experimentos:
-
Defina sua jornada e configure seu experimento conforme necessário. Saiba mais
-
Deixe o experimento ser executado até que um vencedor seja identificado ou até que a significância estatística seja alcançada.
-
Abra a jornada e selecione a atividade Otimizar que contém o experimento de caminho.
Revise os resultados na exibição Experimento de caminho para identificar o tratamento com melhor desempenho.
-
Clique em Dimensionar tratamento para encaminhar o tratamento vencedor ao restante do público-alvo.
-
Selecione o tratamento que deseja dimensionar no menu suspenso e clique em Escala.
Observe que o dimensionamento do tratamento pode levar até uma hora. Você receberá uma notificação quando o processo de dimensionamento manual for concluído.
-