Interpretar relatórios de autoalocação

Interprete os resultados de uma atividade A/B Auto-Allocate em Adobe Target examinando indicadores importantes, incluindo aumento e confiança.

Muitos profissionais de marketing cometem o erro de declarar prematuramente uma experiência vencedora antes dos resultados indicarem claramente o vencedor. Target facilita a identificação do vencedor.

Para obter informações gerais sobre como declarar um vencedor, consulte Dez erros comuns em testes A/B e como evitá-los.

Identificar a experiência vencedora section_24007470CF5B4D30A06610CE8DD23CE3

Ao usar o recurso Auto-Allocate, o Target exibe um emblema na parte superior da página da atividade, indicando "Ainda não há vencedor" até que a atividade atinja o número mínimo de conversões com confiança suficiente.

Sem selo de Vencedor

Quando um vencedor claro é declarado, Target exibe "Vencedor: Experiência X".

imagem vencedora

NOTE
As atividades de alocação automática são projetadas para encontrar a melhor experiência entre todas as opções e não apenas para fazer comparações emparelhadas com controle.

Garantias estatísticas da alocação automática section_7AF3B93E90BA4B80BC9FC4783B6A389C

No final de uma atividade A/B, Auto-Allocate garante que o vencedor determinado tenha uma taxa de 5% de falso-positivo. Isso significa que apenas 5% do tempo, o vencedor determinado não é realmente a melhor experiência entre todas as experiências na atividade. Para um teste A/A (com experiências idênticas), Target conclui um teste menos de 5% do tempo. O comportamento esperado para um teste A/A (com experiências idênticas) é para ser executado indefinidamente e, portanto, o emblema do vencedor nunca deve aparecer.

Target não usa confiança baseada no valor p para Auto-Allocate.

A coluna Confidence em uma atividade Auto-Allocate (ilustrada abaixo) exibe a probabilidade de uma experiência ser a vencedora dentro da margem de erro de 1%. O algoritmo usa um efeito mínimo detectável de 1% entre as melhores e as segundas melhores taxas de conversão. O algoritmo usa Desigualdade de Bernstein para calcular essa probabilidade.

Testes A/B normais calculam a confiança com base nos valores de p. Auto-Allocate não usa valores p. Os valores de P calculam "vagamente" a probabilidade de que uma determinada experiência seja diferente do controle. Esses valores p podem ser usados apenas para determinar se uma experiência pode ser diferente do controle. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).

IMPORTANT
Target mostra um vencedor após um número mínimo predefinido de conversões; no entanto, a decisão final de escolher o vencedor deve sempre estar nos resultados da Calculadora de Tamanho da Amostra Adobe Target. Target não considera as taxas de conversão base de um site e outros aspectos importantes que são alimentados na calculadora para determinar a duração da atividade. Como resultado, Target pode exibir um vencedor antes do garantido com base em um número mínimo de conversões. Para obter mais informações, consulte Calculadora de Tamanho da Amostra.

Entender os relatórios de aumento e confiança em Auto-Allocate atividades lift-confidence

Em Auto-Allocate atividades, a primeira experiência (por padrão, chamada de Experiência A) é sempre definida como uma experiência de "Controle" na guia Reports. Essa experiência não é tratada como um verdadeiro controle estatístico no modelo usado para determinar o desempenho das experiências, mas é tratada como uma referência ou linha de base para alguns números no relatório.

O valor numérico "Lift" e os limites de 95% para cada experiência são sempre calculados com referência à experiência "Control" definida. A experiência de "Controle" definida não pode ter aumento relativo a si mesma. Portanto, um valor "—" em branco é relatado para essa experiência. Ao contrário dos testes A/B, em Auto-Allocate testes, se uma experiência tiver um desempenho pior do que o controle definido, um valor de aumento negativo não será relatado; em vez disso, "—" será exibido.

As Confidence Interval barras exibidas representam o intervalo de confiança de 95% em torno da estimativa média da taxa de conversão de uma experiência. Essas barras também são codificadas por cores em relação à experiência "Controle" definida. A barra de experiência "Controle" está sempre em cinza. As partes dos intervalos de confiança abaixo do intervalo de confiança da experiência "Controle" são coloridas em vermelho e as partes dos intervalos de confiança acima da experiência "Controle" são coloridas em verde.

Um vencedor é encontrado quando os 95% Confidence Interval da experiência principal não estão se sobrepondo a nenhuma outra experiência. A experiência vencedora é designada com um selo de estrela verde à esquerda do nome da experiência e no banner "Vencedor". Quando nenhuma estrela estiver visível, o banner exibirá "Ainda não há vencedor" e um vencedor ainda não foi encontrado.

Um número de "Confiança" também é relatado ao lado da experiência principal ou vencedora no momento. Este número é relatado somente até que a Confidence da experiência principal atinja pelo menos 60%. Se duas experiências estiverem presentes na atividade Auto-Allocate, esse número representará o nível de confiança de que a experiência está tendo um desempenho melhor do que a outra experiência. Se mais de duas experiências estiverem presentes na atividade Auto-Allocate, esse número representará o nível de confiança de que a experiência está tendo um desempenho melhor do que a experiência de "Controle" definida. Se a experiência de "Controle" estiver ganhando, nenhum valor de "Confiança" será relatado.

Perguntas frequentes section_C8E068512A93458D8C006760B1C0B6A2

Considere as seguintes respostas às perguntas frequentes:

Já se passaram alguns dias na atividade. Por que todos os valores de confiança ainda estão mostrando 0%?

Qualquer um dos motivos a seguir descreve por que 0% é exibido na coluna Confidence do relatório para todas as atividades:

  • Testes A/B manuais e Auto-Allocate usam estatísticas diferentes para exibir Confidence valores.

    Os testes A/B manuais usam valores p com base no teste t de Welch. Um valor P é a probabilidade de encontrar a diferença observada (ou uma mais extrema) entre uma experiência e o controle, visto que, na realidade, não há essa diferença. Esses valores P podem ser usados somente para determinar se os dados observados estão consistentes, visto que a experiência e o controle são iguais. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).

    Auto-Allocate mostra a probabilidade de uma determinada experiência ser um verdadeiro vencedor em todas as experiências na atividade. Somente uma experiência vencedora (que provavelmente será a vencedora) tem um valor de confiança diferente de zero. Todos os outros provavelmente serão perdedores e exibirão 0%.

  • Auto-Allocate começa a mostrar confiança somente depois que a experiência vencedora coleta 60% de confiança. Normalmente, esses níveis de confiança aparecem em cerca de metade do tempo que um teste A/B normal levaria para ser concluído (embora esse intervalo de tempo não seja garantido). Para determinar por quanto tempo um teste A/B normal seria executado, use a Adobe Target Calculadora de Tamanho da Amostra: taxa de conversão do controle de plug em "Índice de conversão da linha de base", "5%" para "Aumento" e 95% para "Confiança". Normalmente, a confiança começa a aparecer depois que cada experiência acumulou pelo menos 50% das amostras necessárias por experiência. Isso dá uma ideia de quando a confiança começa a aparecer.

  • Se o relatório mostrar 0% em todo o quadro, é provável que seja muito cedo para a atividade.

Os emblemas "Sem vencedor", "Vencedor" e "estrela" estão disponíveis para atividades de Auto-Allocate que usam Analytics as the reporting source (A4T)?

Os emblemas "Ainda não há vencedor" e "Vencedor" não estão disponíveis no painel A4T em Analysis Workspace. Essas medalhas também não estarão disponíveis se o mesmo relatório for visualizado em Target. Um emblema de "estrela" vencedor mostrado em um relatório Target para uma atividade Auto-Allocate usando A4T deve ser ignorado.

Para obter mais informações sobre esta e outras limitações e observações, consulte Alocação automática no Suporte do A4T para Auto-Allocate e Auto-Target atividades.

recommendation-more-help
3d9ad939-5908-4b30-aac1-a4ad253cd654