Interpretar relatórios de autoalocação

Interpretar os resultados de um Alocação automática Atividade de A/B no Adobe Target examinando indicadores importantes, incluindo o aumento e a confiança.

Muitos profissionais de marketing cometem o erro de declarar prematuramente uma experiência vencedora antes dos resultados indicarem claramente o vencedor. Target O facilita a determinação do vencedor.

Para obter informações gerais sobre como declarar um vencedor, consulte Dez erros comuns em testes A/B e como evitá-los.

Identificar a experiência vencedora section_24007470CF5B4D30A06610CE8DD23CE3

Ao usar o recurso Alocação automática, o Target exibe um emblema na parte superior da página da atividade, indicando "Ainda não há vencedor" até que a atividade atinja o número mínimo de conversões com confiança suficiente.

Sem selo de Vencedor

Quando um vencedor claro é declarado, Target exibe "Vencedor: Experiência X."

imagem do vencedor

NOTE
As atividades de alocação automática são projetadas para encontrar a melhor experiência entre todas as opções e não apenas para fazer comparações emparelhadas com controle.

Garantias estatísticas da alocação automática section_7AF3B93E90BA4B80BC9FC4783B6A389C

No final de uma atividade A/B, Alocação automática garante que o vencedor determinado tenha uma taxa efetiva de falso-positivo de 5%. Isso significa que apenas 5% do tempo, o vencedor determinado não é realmente a melhor experiência entre todas as experiências na atividade. Para um Teste A/A (com experiências idênticas), Target conclui um teste menos de 5% do tempo. O comportamento esperado para um teste A/A (com experiências idênticas) é para ser executado indefinidamente e, portanto, o emblema do vencedor nunca deve aparecer.

Target não usa confiança baseada em valor p para Alocação automática.

A variável Confiança em uma Alocação automática A atividade de (ilustrada abaixo) exibe a probabilidade de uma experiência ser a vencedora dentro da margem de erro de 1%. O algoritmo usa um efeito mínimo detectável de 1% entre as melhores e as segundas melhores taxas de conversão. O algoritmo usa Desigualdade de Bernstein para calcular esta probabilidade.

Testes A/B normais calculam a confiança com base nos valores de p. A Alocação automática não usa valores p. ​ Os valores de P calculam "vagamente" a probabilidade de que uma determinada experiência seja diferente do controle. Esses valores p podem ser usados apenas para determinar se uma experiência pode ser diferente do controle. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).

IMPORTANT
Target mostra um vencedor após um número mínimo predefinido de conversões; no entanto, a decisão final de escolher o vencedor deve sempre estar nos resultados do Adobe Target Calculadora de tamanho da amostra. Target O não considera as taxas de conversão básicas de um site e outros aspectos importantes que são alimentados na calculadora para determinar a duração da atividade. Como resultado, Target O pode exibir um vencedor antes do garantido com base em um número mínimo de conversões. Para obter mais informações, consulte Calculadora de tamanho da amostra.

Entender o relatório de aumento e confiança no Alocação automática atividades lift-confidence

Entrada Alocação automática atividades, a primeira experiência (por padrão chamada de Experiência A) é sempre definida como uma experiência de "Controle" na Relatórios guia. Essa experiência não é tratada como um verdadeiro controle estatístico no modelo usado para determinar o desempenho das experiências, mas é tratada como uma referência ou linha de base para alguns números no relatório.

O valor numérico "Lift" e os limites de 95% para cada experiência são sempre calculados com referência à experiência "Control" definida. A experiência de "Controle" definida não pode ter aumento relativo a si mesma. Portanto, um valor "—" em branco é relatado para essa experiência. Ao contrário dos testes A/B, em Alocação automática testes, se uma experiência tiver um desempenho pior do que o controle definido, um valor de aumento negativo não será relatado; em vez disso, "—" será exibido.

O exibido Intervalo de confiança as barras representam o intervalo de confiança de 95% em torno da estimativa média da taxa de conversão de uma experiência. Essas barras também são codificadas por cores em relação à experiência "Controle" definida. A barra de experiência "Controle" está sempre em cinza. As partes dos intervalos de confiança abaixo do intervalo de confiança da experiência "Controle" são coloridas em vermelho e as partes dos intervalos de confiança acima da experiência "Controle" são coloridas em verde.

Um vencedor é encontrado quando a experiência líder é de 95% Intervalo de confiança não está se sobrepondo a nenhuma outra experiência. A experiência vencedora é designada com um selo de estrela verde à esquerda do nome da experiência e no banner "Vencedor". Quando nenhuma estrela estiver visível, o banner exibirá "Ainda não há vencedor" e um vencedor ainda não foi encontrado.

Um número de "Confiança" também é relatado ao lado da experiência principal ou vencedora no momento. Esse número é relatado somente até a principal experiência do Confiança atingir pelo menos 60%. Se duas experiências estiverem presentes no Alocação automática atividade, esse número representa o nível de confiança de que a experiência está tendo um desempenho melhor do que a outra experiência. Se mais de duas experiências estiverem presentes no Alocação automática atividade, esse número representa o nível de confiança de que a experiência está tendo um desempenho melhor do que a experiência de "Controle" definida. Se a experiência de "Controle" estiver ganhando, nenhum valor de "Confiança" será relatado.

Perguntas frequentes section_C8E068512A93458D8C006760B1C0B6A2

Considere as seguintes respostas às perguntas frequentes:

Já passaram alguns dias na atividade. Por que todos os valores de confiança ainda estão mostrando 0%?

Qualquer um dos motivos a seguir descreve por que 0% é exibido na coluna Confiança do relatório para todas as atividades:

  • Testes A/B manuais e Alocação automática usar estatísticas diferentes para exibir Confiança valores.

    Os testes A/B manuais usam valores p com base em Teste t de Welch. Um valor P é a probabilidade de encontrar a diferença observada (ou uma mais extrema) entre uma experiência e o controle, visto que, na realidade, não há essa diferença. Esses valores P podem ser usados somente para determinar se os dados observados estão consistentes, visto que a experiência e o controle são iguais. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).

    Alocação automática mostra a probabilidade de uma determinada experiência ser um verdadeiro vencedor em todas as experiências na atividade. Somente uma experiência vencedora (que provavelmente será a vencedora) tem um valor de confiança diferente de zero. Todos os outros provavelmente serão perdedores e exibirão 0%.

  • A Alocação automática começa a mostrar confiança somente após a experiência vencedora reunir 60% de confiança. ​ Normalmente, esses níveis de confiança aparecem em cerca de metade do tempo que um teste A/B normal levaria para ser concluído (embora esse intervalo de tempo não seja garantido). Para determinar por quanto tempo um teste A/B normal seria executado, use o Adobe Target Calculadora de tamanho da amostra: taxa de conversão do controle de plug em "Índice de conversão da linha de base", "5%" para "Aumento" e 95% para "Confiança". Normalmente, a confiança começa a aparecer depois que cada experiência acumulou pelo menos 50% das amostras necessárias por experiência. Isso dá uma ideia de quando a confiança começa a aparecer.

  • Se o relatório mostrar 0% em todo o quadro, é provável que seja muito cedo para a atividade.

Os emblemas “Sem vencedor”, “Vencedor” e “estrela” estão disponíveis para atividades de Alocação automática que usam o Analytics como fonte de relatórios (A4T)?

Os emblemas "Ainda não há vencedor" e "Vencedor" não estão disponíveis no momento no A4T painel no Analysis Workspace. Esses emblemas também não estarão disponíveis se o mesmo relatório for visualizado em Target. Um emblema de "estrela" vencedor mostrado em um Target relatório para um Alocação automática A atividade usando A4T deve ser ignorada.

Para obter mais informações sobre essa e outras limitações e observações, consulte Alocação automática in Suporte do A4T para Alocação automática e Direcionamento automático atividades.

recommendation-more-help
3d9ad939-5908-4b30-aac1-a4ad253cd654