Tamanho do teste A/B direcionado muito pequeno

Descrição

Ambiente
Padrão de conteúdo

Problema/Sintomas
Se você enviar um teste A/B baseado em assunto e encontrar o tamanho do Target sinalizado como um aviso muito pequeno (nenhuma documentação menciona tamanhos de alvo mínimos). A variante vencedora foi selecionada manualmente quando os deliveries de acompanhamento não estavam selecionando um vencedor.

Extração de população de teste: 1622 mensagens para cada uma das 2 variantes (população total 32451)
O tamanho do segmento de teste é muito pequeno para testes A/B: '1622' para um mínimo recomendado de '3245'

Resolução

É para a importância do teste AB a realizar. Se a população total for inferior a 50 mil, a população de aprendizado precisa ser pelo menos 10% da população total.

Nesta página