Interpretar relatórios de autoalocação

Interpretar os resultados de um Alocação automática Atividade de A/B no Adobe Target examinando indicadores importantes, incluindo o aumento e a confiança.

Muitos profissionais de marketing cometem o erro de declarar prematuramente uma experiência vencedora antes dos resultados indicarem claramente o vencedor. Target O facilita a determinação do vencedor.

Para obter informações gerais sobre como declarar um vencedor, consulte Dez erros comuns em testes A/B e como evitá-los.

Identificar a experiência vencedora section_24007470CF5B4D30A06610CE8DD23CE3

Ao usar o recurso Alocação automática, o Target exibe um emblema na parte superior da página da atividade, indicando "Ainda não há vencedor" até que a atividade atinja o número mínimo de conversões com confiança suficiente.

Quando um vencedor claro é declarado, Target exibe "Vencedor: Experiência X."

Garantias estatísticas da alocação automática section_7AF3B93E90BA4B80BC9FC4783B6A389C

No final de uma atividade A/B, Alocação automática garante que o vencedor determinado tenha uma taxa efetiva de falso-positivo de 5%. Isso significa que apenas 5% do tempo, o vencedor determinado não é realmente a melhor experiência entre todas as experiências na atividade. Para um Teste A/A (com experiências idênticas), Target conclui um teste menos de 5% do tempo. O comportamento esperado para um teste A/A (com experiências idênticas) é para ser executado indefinidamente e, portanto, o emblema do vencedor nunca deve aparecer.

Target não usa confiança baseada em valor p para Alocação automática.

A variável Confiança em uma Alocação automática A atividade de (ilustrada abaixo) exibe a probabilidade de uma experiência ser a vencedora dentro da margem de erro de 1%. O algoritmo usa um efeito mínimo detectável de 1% entre as melhores e as segundas melhores taxas de conversão. O algoritmo usa Desigualdade de Bernstein para calcular esta probabilidade.

Testes A/B normais calculam a confiança com base nos valores de p. A Alocação automática não usa valores p. ​ Os valores de P calculam "vagamente" a probabilidade de que uma determinada experiência seja diferente do controle. Esses valores p podem ser usados apenas para determinar se uma experiência pode ser diferente do controle. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).

Entender o relatório de aumento e confiança no Alocação automática atividades lift-confidence

Entrada Alocação automática atividades, a primeira experiência (por padrão chamada de Experiência A) é sempre definida como uma experiência de "Controle" na Relatórios guia. Essa experiência não é tratada como um verdadeiro controle estatístico no modelo usado para determinar o desempenho das experiências, mas é tratada como uma referência ou linha de base para alguns números no relatório.

O valor numérico "Lift" e os limites de 95% para cada experiência são sempre calculados com referência à experiência "Control" definida. A experiência de "Controle" definida não pode ter aumento relativo a si mesma. Portanto, um valor "—" em branco é relatado para essa experiência. Ao contrário dos testes A/B, em Alocação automática testes, se uma experiência tiver um desempenho pior do que o controle definido, um valor de aumento negativo não será relatado; em vez disso, "—" será exibido.

O exibido Intervalo de confiança as barras representam o intervalo de confiança de 95% em torno da estimativa média da taxa de conversão de uma experiência. Essas barras também são codificadas por cores em relação à experiência "Controle" definida. A barra de experiência "Controle" está sempre em cinza. As partes dos intervalos de confiança abaixo do intervalo de confiança da experiência "Controle" são coloridas em vermelho e as partes dos intervalos de confiança acima da experiência "Controle" são coloridas em verde.

Um vencedor é encontrado quando a experiência líder é de 95% Intervalo de confiança não está se sobrepondo a nenhuma outra experiência. A experiência vencedora é designada com um selo de estrela verde à esquerda do nome da experiência e no banner "Vencedor". Quando nenhuma estrela estiver visível, o banner exibirá "Ainda não há vencedor" e um vencedor ainda não foi encontrado.

Um número de "Confiança" também é relatado ao lado da experiência principal ou vencedora no momento. Esse número é relatado somente até a principal experiência do Confiança atingir pelo menos 60%. Se duas experiências estiverem presentes no Alocação automática atividade, esse número representa o nível de confiança de que a experiência está tendo um desempenho melhor do que a outra experiência. Se mais de duas experiências estiverem presentes no Alocação automática atividade, esse número representa o nível de confiança de que a experiência está tendo um desempenho melhor do que a experiência de "Controle" definida. Se a experiência de "Controle" estiver ganhando, nenhum valor de "Confiança" será relatado.

Perguntas frequentes section_C8E068512A93458D8C006760B1C0B6A2

Considere as seguintes respostas às perguntas frequentes:

Já passaram alguns dias na atividade. Por que todos os valores de confiança ainda estão mostrando 0%?

Qualquer um dos motivos a seguir descreve por que 0% é exibido na coluna Confiança do relatório para todas as atividades:

Os emblemas “Sem vencedor”, “Vencedor” e “estrela” estão disponíveis para atividades de Alocação automática que usam o Analytics como fonte de relatórios (A4T)?

Os emblemas "Ainda não há vencedor" e "Vencedor" não estão disponíveis no momento no A4T painel no Analysis Workspace. Esses emblemas também não estarão disponíveis se o mesmo relatório for visualizado em Target. Um emblema de "estrela" vencedor mostrado em um Target relatório para um Alocação automática A atividade usando A4T deve ser ignorada.

Para obter mais informações sobre essa e outras limitações e observações, consulte Alocação automática in Suporte do A4T para Alocação automática e Direcionamento automático atividades.