Interpretar relatórios de autoalocação

Interprete os resultados de uma atividade A/B Auto-Allocate em Adobe Target examinando indicadores importantes, incluindo aumento e confiança.

Muitos profissionais de marketing cometem o erro de declarar prematuramente uma experiência vencedora antes dos resultados indicarem claramente o vencedor. Target facilita a identificação do vencedor.

Para obter informações gerais sobre como declarar um vencedor, consulte Dez erros comuns em testes A/B e como evitá-los.

Identificar a experiência vencedora section_24007470CF5B4D30A06610CE8DD23CE3

Ao usar o recurso Auto-Allocate, o Target exibe um emblema na parte superior da página da atividade, indicando "Ainda não há vencedor" até que a atividade atinja o número mínimo de conversões com confiança suficiente.

Quando um vencedor claro é declarado, Target exibe "Vencedor: Experiência X".

Garantias estatísticas da alocação automática section_7AF3B93E90BA4B80BC9FC4783B6A389C

No final de uma atividade A/B, Auto-Allocate garante que o vencedor determinado tenha uma taxa de 5% de falso-positivo. Isso significa que apenas 5% do tempo, o vencedor determinado não é realmente a melhor experiência entre todas as experiências na atividade. Para um teste A/A (com experiências idênticas), Target conclui um teste menos de 5% do tempo. O comportamento esperado para um teste A/A (com experiências idênticas) é para ser executado indefinidamente e, portanto, o emblema do vencedor nunca deve aparecer.

Target não usa confiança baseada no valor p para Auto-Allocate.

A coluna Confidence em uma atividade Auto-Allocate (ilustrada abaixo) exibe a probabilidade de uma experiência ser a vencedora dentro da margem de erro de 1%. O algoritmo usa um efeito mínimo detectável de 1% entre as melhores e as segundas melhores taxas de conversão. O algoritmo usa Desigualdade de Bernstein para calcular essa probabilidade.

Testes A/B normais calculam a confiança com base nos valores de p. Auto-Allocate não usa valores p. Os valores de P calculam "vagamente" a probabilidade de que uma determinada experiência seja diferente do controle. Esses valores p podem ser usados apenas para determinar se uma experiência pode ser diferente do controle. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).

Entender os relatórios de aumento e confiança em Auto-Allocate atividades lift-confidence

Em Auto-Allocate atividades, a primeira experiência (por padrão, chamada de Experiência A) é sempre definida como uma experiência de "Controle" na guia Reports. Essa experiência não é tratada como um verdadeiro controle estatístico no modelo usado para determinar o desempenho das experiências, mas é tratada como uma referência ou linha de base para alguns números no relatório.

O valor numérico "Lift" e os limites de 95% para cada experiência são sempre calculados com referência à experiência "Control" definida. A experiência de "Controle" definida não pode ter aumento relativo a si mesma. Portanto, um valor "—" em branco é relatado para essa experiência. Ao contrário dos testes A/B, em Auto-Allocate testes, se uma experiência tiver um desempenho pior do que o controle definido, um valor de aumento negativo não será relatado; em vez disso, "—" será exibido.

As Confidence Interval barras exibidas representam o intervalo de confiança de 95% em torno da estimativa média da taxa de conversão de uma experiência. Essas barras também são codificadas por cores em relação à experiência "Controle" definida. A barra de experiência "Controle" está sempre em cinza. As partes dos intervalos de confiança abaixo do intervalo de confiança da experiência "Controle" são coloridas em vermelho e as partes dos intervalos de confiança acima da experiência "Controle" são coloridas em verde.

Um vencedor é encontrado quando os 95% Confidence Interval da experiência principal não estão se sobrepondo a nenhuma outra experiência. A experiência vencedora é designada com um selo de estrela verde à esquerda do nome da experiência e no banner "Vencedor". Quando nenhuma estrela estiver visível, o banner exibirá "Ainda não há vencedor" e um vencedor ainda não foi encontrado.

Um número de "Confiança" também é relatado ao lado da experiência principal ou vencedora no momento. Este número é relatado somente até que a Confidence da experiência principal atinja pelo menos 60%. Se duas experiências estiverem presentes na atividade Auto-Allocate, esse número representará o nível de confiança de que a experiência está tendo um desempenho melhor do que a outra experiência. Se mais de duas experiências estiverem presentes na atividade Auto-Allocate, esse número representará o nível de confiança de que a experiência está tendo um desempenho melhor do que a experiência de "Controle" definida. Se a experiência de "Controle" estiver ganhando, nenhum valor de "Confiança" será relatado.

Perguntas frequentes section_C8E068512A93458D8C006760B1C0B6A2

Considere as seguintes respostas às perguntas frequentes:

Já se passaram alguns dias na atividade. Por que todos os valores de confiança ainda estão mostrando 0%?

Qualquer um dos motivos a seguir descreve por que 0% é exibido na coluna Confidence do relatório para todas as atividades:

Os emblemas "Sem vencedor", "Vencedor" e "estrela" estão disponíveis para atividades de Auto-Allocate que usam Analytics as the reporting source (A4T)?

Os emblemas "Ainda não há vencedor" e "Vencedor" não estão disponíveis no painel A4T em Analysis Workspace. Essas medalhas também não estarão disponíveis se o mesmo relatório for visualizado em Target. Um emblema de "estrela" vencedor mostrado em um relatório Target para uma atividade Auto-Allocate usando A4T deve ser ignorado.

Para obter mais informações sobre esta e outras limitações e observações, consulte Alocação automática no Suporte do A4T para Auto-Allocate e Auto-Target atividades.