Interpretar relatórios de autoalocação

Interpretar os resultados de um Alocação automática Atividade A/B em Adobe Target através da análise de indicadores importantes, incluindo o incentivo e a confiança.

Muitos profissionais de marketing cometem o erro de declarar prematuramente uma experiência vencedora antes dos resultados indicarem claramente o vencedor. Agora facilitamos para você determinar o vencedor.

OBSERVAÇÃO

Para obter informações gerais sobre declaração de um vencedor, consulte Dez erros comuns em testes A/B e como evitá-los.

Identificar a experiência vencedora

Ao usar o recurso Alocação automática, o Target exibe um emblema na parte superior da página da atividade, indicando "Ainda não há vencedor" até que a atividade atinja o número mínimo de conversões com confiança suficiente.

Sem selo de Vencedor

Quando um vencedor claro é declarado, o Target exibe "Vencedor: Experiência X".

OBSERVAÇÃO

As atividades de alocação automática são projetadas para encontrar a melhor experiência entre todas as opções e não apenas para fazer comparações emparelhadas com controle.

Garantias estatísticas da alocação automática

No final de uma atividade A/B, a Alocação automática garante que o vencedor determinado tenha uma taxa de falso-positivo eficaz de 5%. Isso significa que apenas 5% do tempo, o vencedor determinado não é realmente a melhor experiência entre todas as experiências na atividade. Para um teste A/A (com experiências idênticas), concluímos um teste com menos de 5% do tempo. O comportamento esperado para um teste A/A (com experiências idênticas) é para ser executado indefinidamente e, portanto, o emblema do vencedor nunca deve aparecer.

Não usamos a confiança baseada em valor p para alocação automática.

A coluna Confiança em uma atividade de Alocação automática (ilustrada abaixo) exibe a probabilidade de uma experiência ser a vencedora com margem de erro de 1% (ou seja, o algoritmo usa um efeito mínimo detectável de 1% entre a melhor e a segunda melhor taxa de conversão). Observe que o algoritmo usa Desigualdade de Bernstein para computar esta probabilidade.

Testes A/B normais calculam a confiança com base nos valores de p. A Alocação automática não usa valores p. Os valores de P calculam "vagamente" a probabilidade de que uma determinada experiência seja diferente do controle. Esses valores p podem ser usados apenas para determinar se uma experiência pode ser diferente do controle. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).

IMPORTANTE

O Target mostra um vencedor após um número mínimo predefinido de conversões; no entanto, a decisão final de escolher o vencedor deve sempre basear-se nos resultados da Adobe Target calculadora de tamanho da amostra. O Target não considera as taxas de conversão básicas de um site e outros aspectos importantes que são alimentados pela calculadora para determinar a duração da atividade. Como resultado, o Target pode exibir um vencedor mais cedo do que o esperado com base em um número mínimo de conversões. Para obter mais informações, consulte Calculadora de tamanho da amostra.

Entender os relatórios de lift e confiança nas atividades de alocação automática

Nas atividades de Alocação automática, a primeira experiência (por padrão, chamada Experiência A) é sempre definida como uma experiência de "Controle" na guia Relatórios . Esta experiência não é tratada como um verdadeiro controle estatístico na modelagem usada para determinar o desempenho das experiências, mas é tratada como uma referência ou uma linha de base para alguns valores no relatório.

O valor numérico "Lift" e os limites de 95% para cada experiência são sempre calculados com referência à experiência "Control" definida. A experiência de "Controle" definida não pode ter incentivo em relação a si mesma, portanto, um valor "—" em branco é reportado para essa experiência. Ao contrário dos testes A/B, nos testes de alocação automática, se uma experiência tiver um desempenho pior do que o controle definido, um valor de incentivo negativo não será reportado; em vez disso, "—" é exibido.

As barras de Intervalo de confiança exibidas representam o intervalo de confiança de 95% em torno da estimativa média da taxa de conversão de uma experiência. Eles também são codificados por cores em relação à experiência "Controle" definida. A barra da experiência de "Controle" fica sempre cinza. As partes dos intervalos de confiança abaixo do intervalo de confiança da experiência de "Controle" são coloridas em vermelho e as partes dos intervalos de confiança acima da experiência de "Controle" são coloridas em verde.

Um vencedor é encontrado quando o Intervalo de confiança de 95% da experiência líder não se sobrepõe a nenhuma outra experiência. A experiência vencedora é designada com um selo de estrela verde à esquerda do nome da experiência e no banner "Vencedor". Quando nenhuma estrela é visível, o banner diz "Ainda não há vencedor" e um vencedor ainda não foi encontrado.

Um número de "Confiança" também é reportado ao lado da experiência líder ou vencedora atual. Esse número é relatado somente até que a Confiança da experiência líder atinja pelo menos 60%. Se exatamente duas experiências estiverem presentes no experimento de alocação automática, esse número representa o nível de confiança de que a experiência está tendo um desempenho melhor do que a outra experiência. Se mais de duas experiências estiverem presentes no experimento de alocação automática, esse número representa o nível de confiança de que a experiência está tendo um desempenho melhor do que a experiência de "controle" definida. Se a experiência de "Controle" estiver vencendo, nenhuma figura de "Confiança" será relatada.

Perguntas frequentes

Considere as seguintes respostas para as perguntas mais frequentes:

Já passaram alguns dias na atividade. Por que todos os valores de confiança ainda estão mostrando 0%?

Qualquer um dos motivos a seguir descreve por que 0% é exibido na coluna Confiança do relatório para todas as atividades:

  • Testes A/B manuais e Alocação automática usam estatísticas diferentes para exibir valores de confiança.

    Os testes manuais A/B usam valores p baseados no teste t de Estudante. Um valor P é a probabilidade de encontrar a diferença observada (ou uma mais extrema) entre uma experiência e o controle, visto que, na realidade, não há essa diferença. Esses valores P podem ser usados somente para determinar se os dados observados estão consistentes, visto que a experiência e o controle são iguais. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).

    A Alocação automática mostra a probabilidade de uma determinada experiência ser um verdadeiro vencedor em todas as experiências na atividade. Isso significa que apenas uma experiência vencedora (que provavelmente será a vencedora) terá um valor de confiança diferente de zero. Todos os outros são mais propensos a serem perdedores e exibirão 0%.

  • A Alocação automática começa a mostrar confiança somente após a experiência vencedora reunir 60% de confiança. Normalmente, esses níveis de confiança aparecem em cerca de metade do tempo que um teste A/B normal levaria para ser concluído (embora isso não seja garantido). Para determinar por quanto tempo um teste A/B normal seria executado, use um calculadora de tamanho da amostra: taxa de conversão do controle de plug em "Índice de conversão da linha de base", "5%" para "Aumento" e 95% para "Confiança". Normalmente, a confiança começa a aparecer depois que cada experiência acumulou pelo menos 50% das amostras necessárias por experiência. Isso lhe dará uma ideia de quando a confiança começará a aparecer.

  • Se o relatório mostrar 0% em todo o quadro, é provável que seja muito cedo para a atividade.

Os emblemas “Sem vencedor”, “Vencedor” e “estrela” estão disponíveis para atividades de Alocação automática que usam o Analytics como fonte de relatórios (A4T)?

Os emblemas "Ainda não há vencedor" e "Vencedor" não estão disponíveis no momento no A4T no painel Analysis Workspace. Esses selos também não estarão disponíveis se o mesmo relatório for visualizado em Target. Um símbolo de "estrela" vencedora exibido em um Target relatório para um Alocação automática atividade usando A4T deve ser ignorada.

Para obter mais informações sobre essa e outras limitações e observações, consulte Alocação automática em Suporte a A4T para Alocação automática e Direcionamento automático atividades.

Nesta página