Interpretar relatórios de autoalocação
Interprete os resultados de uma atividade A/B Auto-Allocate em Adobe Target examinando indicadores importantes, incluindo aumento e confiança.
Muitos profissionais de marketing cometem o erro de declarar prematuramente uma experiência vencedora antes dos resultados indicarem claramente o vencedor. Target facilita a identificação do vencedor.
Para obter informações gerais sobre como declarar um vencedor, consulte Dez erros comuns em testes A/B e como evitá-los.
Identificar a experiência vencedora section_24007470CF5B4D30A06610CE8DD23CE3
Ao usar o recurso Auto-Allocate, o Target exibe um emblema na parte superior da página da atividade, indicando "Ainda não há vencedor" até que a atividade atinja o número mínimo de conversões com confiança suficiente.
Quando um vencedor claro é declarado, Target exibe "Vencedor: Experiência X".
Garantias estatísticas da alocação automática section_7AF3B93E90BA4B80BC9FC4783B6A389C
No final de uma atividade A/B, Auto-Allocate garante que o vencedor determinado tenha uma taxa de 5% de falso-positivo. Isso significa que apenas 5% do tempo, o vencedor determinado não é realmente a melhor experiência entre todas as experiências na atividade. Para um teste A/A (com experiências idênticas), Target conclui um teste menos de 5% do tempo. O comportamento esperado para um teste A/A (com experiências idênticas) é para ser executado indefinidamente e, portanto, o emblema do vencedor nunca deve aparecer.
Target não usa confiança baseada no valor p para Auto-Allocate.
A coluna Confidence em uma atividade Auto-Allocate (ilustrada abaixo) exibe a probabilidade de uma experiência ser a vencedora dentro da margem de erro de 1%. O algoritmo usa um efeito mínimo detectável de 1% entre as melhores e as segundas melhores taxas de conversão. O algoritmo usa Desigualdade de Bernstein para calcular essa probabilidade.
Testes A/B normais calculam a confiança com base nos valores de p. Auto-Allocate não usa valores p. Os valores de P calculam "vagamente" a probabilidade de que uma determinada experiência seja diferente do controle. Esses valores p podem ser usados apenas para determinar se uma experiência pode ser diferente do controle. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).
Entender os relatórios de aumento e confiança em Auto-Allocate atividades lift-confidence
Em Auto-Allocate atividades, a primeira experiência (por padrão, chamada de Experiência A) é sempre definida como uma experiência de "Controle" na guia Reports. Essa experiência não é tratada como um verdadeiro controle estatístico no modelo usado para determinar o desempenho das experiências, mas é tratada como uma referência ou linha de base para alguns números no relatório.
O valor numérico "Lift" e os limites de 95% para cada experiência são sempre calculados com referência à experiência "Control" definida. A experiência de "Controle" definida não pode ter aumento relativo a si mesma. Portanto, um valor "—" em branco é relatado para essa experiência. Ao contrário dos testes A/B, em Auto-Allocate testes, se uma experiência tiver um desempenho pior do que o controle definido, um valor de aumento negativo não será relatado; em vez disso, "—" será exibido.
As Confidence Interval barras exibidas representam o intervalo de confiança de 95% em torno da estimativa média da taxa de conversão de uma experiência. Essas barras também são codificadas por cores em relação à experiência "Controle" definida. A barra de experiência "Controle" está sempre em cinza. As partes dos intervalos de confiança abaixo do intervalo de confiança da experiência "Controle" são coloridas em vermelho e as partes dos intervalos de confiança acima da experiência "Controle" são coloridas em verde.
Um vencedor é encontrado quando os 95% Confidence Interval da experiência principal não estão se sobrepondo a nenhuma outra experiência. A experiência vencedora é designada com um selo de estrela verde à esquerda do nome da experiência e no banner "Vencedor". Quando nenhuma estrela estiver visível, o banner exibirá "Ainda não há vencedor" e um vencedor ainda não foi encontrado.
Um número de "Confiança" também é relatado ao lado da experiência principal ou vencedora no momento. Este número é relatado somente até que a Confidence da experiência principal atinja pelo menos 60%. Se duas experiências estiverem presentes na atividade Auto-Allocate, esse número representará o nível de confiança de que a experiência está tendo um desempenho melhor do que a outra experiência. Se mais de duas experiências estiverem presentes na atividade Auto-Allocate, esse número representará o nível de confiança de que a experiência está tendo um desempenho melhor do que a experiência de "Controle" definida. Se a experiência de "Controle" estiver ganhando, nenhum valor de "Confiança" será relatado.
Perguntas frequentes section_C8E068512A93458D8C006760B1C0B6A2
Considere as seguintes respostas às perguntas frequentes:
Já se passaram alguns dias na atividade. Por que todos os valores de confiança ainda estão mostrando 0%?
Qualquer um dos motivos a seguir descreve por que 0% é exibido na coluna Confidence do relatório para todas as atividades:
-
Testes A/B manuais e Auto-Allocate usam estatísticas diferentes para exibir Confidence valores.
Os testes A/B manuais usam valores p com base no teste t de Welch. Um valor P é a probabilidade de encontrar a diferença observada (ou uma mais extrema) entre uma experiência e o controle, visto que, na realidade, não há essa diferença. Esses valores P podem ser usados somente para determinar se os dados observados estão consistentes, visto que a experiência e o controle são iguais. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).
Auto-Allocate mostra a probabilidade de uma determinada experiência ser um verdadeiro vencedor em todas as experiências na atividade. Somente uma experiência vencedora (que provavelmente será a vencedora) tem um valor de confiança diferente de zero. Todos os outros provavelmente serão perdedores e exibirão 0%.
-
Auto-Allocate começa a mostrar confiança somente depois que a experiência vencedora coleta 60% de confiança. Normalmente, esses níveis de confiança aparecem em cerca de metade do tempo que um teste A/B normal levaria para ser concluído (embora esse intervalo de tempo não seja garantido). Para determinar por quanto tempo um teste A/B normal seria executado, use a Adobe Target Calculadora de Tamanho da Amostra: taxa de conversão do controle de plug em "Índice de conversão da linha de base", "5%" para "Aumento" e 95% para "Confiança". Normalmente, a confiança começa a aparecer depois que cada experiência acumulou pelo menos 50% das amostras necessárias por experiência. Isso dá uma ideia de quando a confiança começa a aparecer.
-
Se o relatório mostrar 0% em todo o quadro, é provável que seja muito cedo para a atividade.
Os emblemas "Sem vencedor", "Vencedor" e "estrela" estão disponíveis para atividades de Auto-Allocate que usam Analytics as the reporting source (A4T)?
Os emblemas "Ainda não há vencedor" e "Vencedor" não estão disponíveis no painel A4T em Analysis Workspace. Essas medalhas também não estarão disponíveis se o mesmo relatório for visualizado em Target. Um emblema de "estrela" vencedor mostrado em um relatório Target para uma atividade Auto-Allocate usando A4T deve ser ignorado.
Para obter mais informações sobre esta e outras limitações e observações, consulte Alocação automática no Suporte do A4T para Auto-Allocate e Auto-Target atividades.