Usar experimentação de caminho experimentation
A experimentação permite testar caminhos diferentes com base em uma divisão aleatória para determinar qual tem o melhor desempenho com base em métricas de sucesso predefinidas.
Para configurar a experimentação de caminho em uma jornada, siga as etapas abaixo.
Digamos que você deseje comparar três caminhos:
- um caminho com um email;
- um segundo caminho com um nó Wait de dois dias e um email;
- um terceiro caminho com um email e, em seguida, uma mensagem SMS.
-
Na seção Orquestração, arraste e solte a atividade Otimizar na tela de jornada.
-
Adicione um rótulo opcional, que pode ser útil para identificar a atividade em relatórios e logs do modo de teste.
-
Selecione Experimento na lista suspensa Método.
-
Clique em Criar experimento.
-
Selecione a Métrica de sucesso que você deseja definir para o seu experimento. Saiba mais sobre as métricas disponíveis e como configurar a lista em esta seção.
-
Selecione o Tipo de experimento para o seu experimento de caminho:
-
Experimento A/B — Defina a divisão de tráfego entre tratamentos no início do teste. O desempenho é avaliado com base na métrica primária escolhida; os relatórios mostram o aumento observado entre os tratamentos.
-
Bandit multi-armed — o tráfego dividido entre tratamentos é manipulado automaticamente. A cada 7 dias, o desempenho na métrica primária é revisado e os pesos são ajustados de acordo. Os relatórios continuam a mostrar aumento, assim como para testes A/B.
➡️ Saiba mais sobre a diferença entre experimentos A/B e Multi-armed bandit
-
-
Você pode optar por adicionar um grupo de Contenção à sua entrega. Este grupo não irá inserir nenhum caminho a partir deste experimento.
note note NOTE A ativação da barra de alternância ocupará automaticamente 10% da sua população. Você pode ajustar essa porcentagem, se necessário. -
Você pode alocar uma porcentagem precisa para cada Tratamento ou simplesmente alternar na barra de alternância Distribuir uniformemente.
-
Ative o experimento de dimensionamento automático para implantar automaticamente a variação vencedora do seu experimento. Saiba mais sobre como dimensionar o vencedor
-
Clique em Criar.
-
Defina os elementos desejados para cada ramificação resultante do experimento, por exemplo:
-
Arraste e solte uma atividade Email na primeira ramificação (Tratamento A).
-
Arraste e solte uma atividade Aguardar de dois dias na primeira ramificação, seguida por uma atividade Email (Tratamento B).
-
Arraste e solte uma atividade Email na terceira ramificação, seguida por uma atividade SMS (Tratamento C).
-
-
Opcionalmente, use o Adicionar um caminho alternativo em caso de tempo limite ou erro para definir uma ação de fallback. Saiba mais
-
Publique sua jornada.
Quando a jornada estiver ativa, os usuários serão atribuídos aleatoriamente para percorrer caminhos diferentes. Journey Optimizer rastreia qual caminho tem melhor desempenho e fornece insights acionáveis.
Siga o sucesso da sua jornada com o relatório Experimento de caminho de Jornada. Saiba mais
Casos de uso de experimentos uc-experiment
Os exemplos a seguir mostram como usar a atividade Otimizar com o método Experimento para determinar qual caminho funciona melhor em geral.
Teste se o envio da primeira mensagem por email ou por SMS gera conversões mais altas.
➡️ Use a taxa de conversão como métrica de sucesso (por exemplo: compras, inscrições).
Execute um experimento para verificar se o envio de um email contra três emails em uma semana resulta em mais compras.
➡️ Use compras ou a taxa de cancelamento de inscrição como métrica de sucesso.
Compare uma espera de 24 horas com uma de 72 horas antes de um acompanhamento para determinar qual tempo maximiza o engajamento.
➡️ Use a taxa de click-through ou a receita como métrica de sucesso.
Dimensionar o vencedor scale-winner
A opção “Dimensionar o vencedor” permite implantar de forma automática ou manual a variação vencedora de um experimento em todo o seu público-alvo. Esse recurso garante que, uma vez determinado o vencedor, você possa ampliar seu alcance e eficácia sem monitorar constantemente o experimento.
Você pode escolher entre dois modos:
-
Dimensionamento automático: defina as configurações de dimensionamento automático ao criar seu experimento escolhendo o tempo e as condições para dimensionar o tratamento vencedor ou uma opção de fallback se nenhum vencedor surgir.
-
Escala Manual: analise manualmente os resultados do experimento e inicie a implantação do tratamento vencedor, mantendo o controle total sobre o tempo e as decisões.
Dimensionamento automático autoscaling
O dimensionamento automático permite definir regras predefinidas para quando implantar o tratamento vencedor ou um fallback, com base nos resultados do experimento.
Observe que após o dimensionamento automático, o dimensionamento manual não estará mais disponível.
Para ativar a escala automática em seus experimentos:
-
Defina sua jornada e configure seu experimento conforme necessário. Saiba mais
-
Ative a opção de dimensionamento automático ao configurar seu experimento.
-
Selecione quando o vencedor deve ser dimensionado:
- Assim que o vencedor for encontrado.
- Após o experimento ficar ativo pelo tempo selecionado.
A hora de dimensionamento automático deve ser agendada antes da data de término do experimento. Se for definido para um período posterior à data de término, um aviso de validação será exibido e a jornada não será publicada.
-
Escolha o comportamento de fallback se nenhum vencedor for encontrado por tempo de escala:
- Continue o experimento até que ele termine como programado.
- Dimensione o tratamento alternativo após um tempo especificado.
Depois que todos os parâmetros forem atendidos, o tratamento vencedor ou alternativo será enviado para o público-alvo.
Dimensionamento manual manual-scaling
O dimensionamento manual oferece a capacidade de analisar os resultados do experimento e decidir quando implantar o tratamento vencedor de acordo com seu próprio cronograma.
Observe que, se você dimensionar manualmente o vencedor antes do tempo de dimensionamento automático programado, a dimensionamento automático será cancelada.
Para dimensionar manualmente o vencedor de seus experimentos:
-
Defina sua jornada e configure seu experimento conforme necessário. Saiba mais
-
Deixe o experimento ser executado até que um vencedor seja identificado ou até que a significância estatística seja alcançada.
-
Abra a jornada e selecione a atividade Otimizar que contém o experimento de caminho.
Revise os resultados na exibição Experimento de caminho para identificar o tratamento com melhor desempenho.
-
Clique em Dimensionar tratamento para encaminhar o tratamento vencedor ao restante do público-alvo.
-
Selecione o tratamento que deseja dimensionar no menu suspenso e clique em Escala.
Observe que o dimensionamento do tratamento pode levar até uma hora. Você receberá uma notificação quando o processo de dimensionamento manual for concluído.