Campaign Standard: deliveries de teste A/B ainda pendentes enquanto o vencedor é selecionado

Este artigo descreve por que o teste A/B é concluído antes que todas as variantes sejam entregues aos recipients.

Descrição description

Os deliveries de Teste A/B em um fluxo de trabalho foram configurados para enviar cinco deliveries e escolher um vencedor com base nos critérios selecionados. No entanto, os logs de envio exibiam um status "Pendente", enquanto a interface mostra que um vencedor ("A") foi escolhido e o público restante recebeu seus emails. Essa discrepância levantou preocupações sobre se todos os recipients pretendidos receberam suas mensagens com precisão.

Resolução resolution

A causa raiz aqui estava relacionada ao fato de que o fluxo de trabalho foi concluído ou interrompido antes que a entrega fosse totalmente concluída.

As mensagens foram enviadas e o processamento de respostas foi iniciado, mas como a duração da atividade de delivery é determinada pelo fluxo de trabalho, o processamento parou no meio do caminho para todos os deliveries incluídos.

É importante permitir que esse tipo de fluxo de trabalho com deliveries de teste A/B continue funcionando até que as métricas sejam satisfatórias.

Isso se deve à natureza dos deliveries de teste A/B, pois eles têm várias fases no fluxo.

Até que todas as mensagens sejam processadas, reconhecidas como recebidas, abertas, devolvidas, clicadas etc., o delivery em si não deve ser interrompido.

Se o cliente precisar utilizar um fluxo de trabalho para deliveries de teste A/B, deixe os mesmos fluxos de trabalho serem executados indefinidamente, ou seja, por uma semana, por exemplo.

Também seria bom escalonar os próprios deliveries e não a taxa horária de mensagens quando o teste A/B é feito ou criar um fluxo de trabalho separado para cada um desses deliveries.