Criar um experimento de conteúdo content-experiment
O Experimento de conteúdo do Journey Optimizer permite definir vários tratamentos de delivery para medir qual tem melhor desempenho para o público-alvo. Você pode optar por variar o conteúdo ou o assunto do delivery. O público-alvo de interesse é alocado aleatoriamente para cada tratamento para determinar qual funciona melhor em termos da métrica especificada.
No exemplo abaixo, o target do delivery foi dividido em dois grupos, cada um representando 45% da população direcionada, e um grupo de controle de 10%, que não receberá o delivery.
Cada pessoa no público-alvo receberá uma versão de um email, com uma linha de assunto que é uma das duas a seguir:
- uma promovendo diretamente uma oferta de 10% na nova coleção e uma imagem.
- a outra só anuncia uma oferta especial sem especificar os 10% de desconto sem nenhuma imagem.
O objetivo aqui é ver se os recipients interagirão com o email dependendo do experimento recebido. Portanto, vamos escolher Aberturas de email como a principal métrica de meta neste Experimento de conteúdo.
➡️ Saiba como usar experimentos de conteúdo para comparar decisões com o canal de experiência baseado em código neste caso de uso.
Criar seu conteúdo campaign-experiment
-
Comece criando e configurando sua campanha ou jornada de acordo com suas necessidades.
-
Na janela Editar conteúdo, comece a personalizar o tratamento A.
Para esse tratamento, especificaremos a oferta especial diretamente na linha de assunto e adicionaremos personalização.
-
Crie ou importe seu conteúdo original e personalize-o conforme necessário.
Configurar o experimento de conteúdo configure-experiment
Para seu experimento de conteúdo, você pode escolher entre três tipos de experimento:
-
Experimento A/B: definir a divisão de tráfego entre tratamentos no início do teste. O desempenho é avaliado com base na métrica primária escolhida, o Experimentation Accelerator, e relata o aumento observado entre os tratamentos.
-
Bandit multi-armed: a divisão de tráfego entre tratamentos é manipulada automaticamente. A cada 7 dias, o desempenho na métrica primária é revisado e os pesos são ajustados de acordo. Os relatórios no Experimentation Accelerator continuam mostrando o Lift, como testes A/B.
-
Traga seu próprio bandit com vários braços: a divisão de tráfego entre tratamentos é manipulada automaticamente. Você tem a flexibilidade de determinar quando e como deve ser alterado usando as APIs de experimento para ajustar as alocações em tempo real.
➡️ Saiba mais sobre a diferença entre experimentos A/B e Multi-armed bandit
-
Quando a mensagem for personalizada, na guia Ações, clique em Criar experimento para começar a configurar o seu experimento de conteúdo.
-
Selecione a Métrica de sucesso que você deseja definir para o seu experimento.
Para este exemplo, selecione Email aberto para testar se os perfis abrem seus emails se o código promocional estiver na linha de assunto.
-
Ao configurar um experimento usando o canal no aplicativo ou na Web e escolher as métricas de Cliques de entrada, Cliques de entrada exclusivos, Exibições de página ou Métricas de Exibições de página exclusivas , o campo Dimensões permite que você rastreie e monitore com precisão os cliques e os modos de exibição em páginas específicas.
-
Se você criou uma campanha acionada por API, selecione Experimento A/B no menu suspenso Tipo de experimento.
-
Clique em Adicionar tratamento para criar quantos novos tratamentos forem necessários.
note caution CAUTION Ao criar um experimento baseado em código, observe as seguintes limitações: - Contagem de tratamentos: a criação de mais de 3 a 5 tratamentos pode causar problemas de desempenho e de interface. Se encontrar erros ao adicionar tratamentos, tente reduzir o número de tratamentos ou adicioná-los de forma incremental até que o problema seja resolvido.
- Palavras-chave reservadas: evite usar palavras-chave reservadas, como "holdout", nos nomes de tratamento, pois isso pode causar erros de mapeamento do nó de decisão e impedir que o experimento funcione corretamente.
-
Altere o Título do seu tratamento para diferenciá-los melhor.
-
Escolha adicionar um grupo de Retenção à entrega. Este grupo não receberá nenhum conteúdo desta campanha.
Se você ativar a barra de alternância ocupará automaticamente 10% da sua população, é possível ajustar essa porcentagem, se necessário.
note important IMPORTANT Quando um grupo de controle é usado em uma ação para experimentação de conteúdo, a atribuição de controle se aplica somente a essa ação específica. Depois que a ação for concluída, os perfis no grupo de controle continuarão no caminho da jornada e poderão receber mensagens de outras ações. Portanto, certifique-se de que qualquer mensagem subsequente não dependa do recebimento de uma mensagem por um perfil que possa estar em um grupo de controle. Caso o faça, talvez seja necessário remover a atribuição de controle. 
-
Você pode optar por alocar uma porcentagem precisa para cada Tratamento ou simplesmente alternar na barra de alternância Distribuir uniformemente.
-
Ative o experimento de dimensionamento automático para implantar automaticamente a variação vencedora do seu experimento. Saiba mais sobre como dimensionar o vencedor
-
Clique em Criar quando sua configuração estiver definida.
Observe que o experimento Multi-armed bandit está disponível apenas com o seguinte:
- Canais de entrada
- Jornadas unitárias
- Campanhas acionadas por API (transacionais e operacionais)
- Canais de saída se a programação estiver ocorrendo novamente
-
Quando a mensagem for personalizada, na guia Ações, clique em Criar experimento para começar a configurar o seu experimento de conteúdo.
-
Selecione a Métrica de sucesso que você deseja definir para o seu experimento.
Para este exemplo, selecione Email aberto para testar se os perfis abrem seus emails se o código promocional estiver na linha de assunto.
-
Se você criou uma campanha acionada por API, selecione Bandit de vários braços no menu suspenso Tipo de experimento.
-
Clique em Adicionar tratamento para criar quantos novos tratamentos forem necessários.
-
Altere o Título do seu tratamento para diferenciá-los melhor.
-
Escolha adicionar um grupo de Retenção à entrega. Este grupo não receberá nenhum conteúdo desta campanha.
Se você ativar a barra de alternância ocupará automaticamente 10% da sua população, é possível ajustar essa porcentagem, se necessário.
note important IMPORTANT Quando um grupo de controle é usado em uma ação para experimentação de conteúdo, a atribuição de controle se aplica somente a essa ação específica. Depois que a ação for concluída, os perfis no grupo de controle continuarão no caminho da jornada e poderão receber mensagens de outras ações. Portanto, certifique-se de que qualquer mensagem subsequente não dependa do recebimento de uma mensagem por um perfil que possa estar em um grupo de controle. Caso o faça, talvez seja necessário remover a atribuição de controle. 
Observe que o experimento Traga seu próprio bandit Multi-armed só está disponível com o seguinte:
- Canais de entrada
- Jornadas unitárias
- Campanhas acionadas por API (transacionais e operacionais)
- Canais de saída se a programação estiver ocorrendo novamente
-
Quando a mensagem for personalizada, na guia Ações, clique em Criar experimento para começar a configurar o seu experimento de conteúdo.
-
Selecione a Métrica de sucesso que você deseja definir para o seu experimento.
Para este exemplo, selecione Email aberto para testar se os perfis abrem seus emails se o código promocional estiver na linha de assunto.
-
Se você criou uma campanha acionada por API, selecione Trazer seu próprio bandit de vários braços no menu suspenso Tipo de experimento.
-
Clique em Adicionar tratamento para criar quantos novos tratamentos forem necessários.
-
Altere o Título do seu tratamento para diferenciá-los melhor.
-
Escolha adicionar um grupo de Retenção à entrega. Este grupo não receberá nenhum conteúdo desta campanha.
Se você ativar a barra de alternância ocupará automaticamente 10% da sua população, é possível ajustar essa porcentagem, se necessário.
note important IMPORTANT Quando um grupo de controle é usado em uma ação para experimentação de conteúdo, a atribuição de controle se aplica somente a essa ação específica. Depois que a ação for concluída, os perfis no grupo de controle continuarão no caminho da jornada e poderão receber mensagens de outras ações. Portanto, certifique-se de que qualquer mensagem subsequente não dependa do recebimento de uma mensagem por um perfil que possa estar em um grupo de controle. Caso o faça, talvez seja necessário remover a atribuição de controle. 
Projetar seus tratamentos treatment-experiment
-
Na janela Editar conteúdo, selecione seu tratamento B para alterar o conteúdo.
Aqui, optamos por não especificar a oferta na Linha de assunto.
-
Clique em Editar corpo do email para personalizar ainda mais seu tratamento B.
-
Após criar seus tratamentos, clique em Mais ações para acessar as opções relacionadas a seus tratamentos: Renomear, Duplicar e Excluir.
-
Se necessário, acesse o menu Configurações de experimento para alterar a configuração de tratamentos.
-
Depois que o conteúdo da mensagem for definido, clique no botão Simular conteúdo para controlar a renderização da entrega e verificar as configurações de personalização com perfis de teste. Saiba mais
Depois de configurar sua experimentação, você pode acompanhar o sucesso do delivery com seu relatório. Saiba mais
Dimensionar o vencedor scale-winner
- Canais de entrada (por exemplo, Web, mensagem no aplicativo, experiência baseada em código) em qualquer jornada ou campanha.
- Canais de saída (por exemplo, email, notificação por push, SMS) em campanhas transacionais acionadas por API.
A opção “Dimensionar o vencedor” permite implantar de forma automática ou manual a variação vencedora de um experimento em todo o seu público-alvo. Esse recurso garante que, uma vez determinado o vencedor, você possa ampliar seu alcance e eficácia sem monitorar constantemente o experimento.
Você pode escolher entre dois modos:
-
Dimensionamento automático: defina as configurações de dimensionamento automático ao criar seu experimento escolhendo o tempo e as condições para dimensionar o tratamento vencedor ou uma opção de fallback se nenhum vencedor surgir.
-
Escala Manual: analise manualmente os resultados do experimento e inicie a implantação do tratamento vencedor, mantendo o controle total sobre o tempo e as decisões.
Dimensionamento automático autoscaling
O dimensionamento automático permite definir regras predefinidas para quando implantar o tratamento vencedor ou um fallback, com base nos resultados do experimento.
Observe que após o dimensionamento automático, o dimensionamento manual não estará mais disponível.
Para ativar a escala automática em seus experimentos:
-
Configure sua campanha ou jornada e configure seu experimento conforme necessário. Saiba mais
-
Ative a opção de dimensionamento automático ao configurar seu experimento.
-
Selecione quando o vencedor deve ser dimensionado:
- Assim que o vencedor for encontrado.
- Após o experimento ficar ativo pelo tempo selecionado.
A hora de dimensionamento automático deve ser agendada antes da data de término do experimento. Se for definido para um período posterior à data de término, um aviso de validação será exibido e a campanha ou jornada não será publicada.
-
Escolha o comportamento de fallback se nenhum vencedor for encontrado por tempo de escala:
- Continue o experimento até que ele termine como programado.
- Dimensione o tratamento alternativo após um tempo especificado.
Depois que todos os parâmetros forem atendidos, o tratamento vencedor ou alternativo será enviado para o público-alvo.
Dimensionamento manual manual-scaling
O dimensionamento manual oferece a capacidade de analisar os resultados do experimento e decidir quando implantar o tratamento vencedor de acordo com seu próprio cronograma.
Observe que, se você dimensionar manualmente o vencedor antes do tempo de dimensionamento automático programado, a dimensionamento automático será cancelada.
Para dimensionar manualmente o vencedor de seus experimentos:
-
Configure sua campanha ou jornada e configure seu experimento conforme necessário. Saiba mais
-
Deixe o experimento ser executado até que um vencedor seja identificado ou até que a significância estatística seja alcançada.
-
Abra o painel da campanha ou selecione a atividade de canal na jornada.
Revise os resultados no menu Experimento de Conteúdo para identificar o tratamento de melhor desempenho.
-
Clique em Dimensionar tratamento para encaminhar o tratamento vencedor ao restante do público-alvo.
-
Selecione o tratamento que deseja dimensionar no menu suspenso e clique em Escala.
Observe que o dimensionamento do tratamento pode levar até uma hora. Você receberá uma notificação quando o processo de dimensionamento manual for concluído.