Teste A/A

Antes de executar um teste A/A em seu site usando Adobe Target, é importante entender o que é um teste A/A, por que você pode querer executar um teste A/A, por quanto tempo deve executar o teste e como interpretar os resultados.

O que é teste A/A?

Antes de explicar o teste A/A, é bom revisar o teste A/B para que possamos discutir as diferenças.

Em um teste A/B padrão, o tráfego é alocado para duas ou mais experiências diferentes. Uma experiência é normalmente o "controle" e as variações da experiência são testadas em relação ao controle para ver qual experiência cria mais incentivo em uma determinada métrica.

No entanto, o teste A/A envolve a alocação de tráfego para duas experiências idênticas, normalmente com uma divisão de alocação de tráfego 50/50. Com um teste A/B padrão, você geralmente deseja descobrir um aumento na conversão. Isso difere de um teste A/A no qual seu objetivo normalmente é determinar que há no diferença de incentivo entre as experiências idênticas.

Por que você gostaria de testar duas experiências idênticas e o que isso consegue?

Algumas organizações executam testes A/A ao implementar uma nova ferramenta de teste, como Target, para determinar se:

  • A atividade foi configurada corretamente
  • O código foi implementado corretamente
  • O relatórios é preciso

Embora poucas organizações executem testes A/A, é uma boa prática executá-los como experimentos de "sanidade" para criar confiança após a implementação da ferramenta ou antes de realizar testes A/B que possam afetar a conversão e a receita.

Por que você pode ver incentivo para uma experiência quando as experiências são idênticas?

Há várias razões pelas quais você pode ver o incentivo em uma experiência em vez de outra (idêntica) experiência:

O teste A/A não era permitido para ser executado por tempo suficiente

Um problema comum ao executar qualquer tipo de teste, incluindo um teste A/A, é interromper prematuramente um teste e declarar uma experiência vencedora. Os analistas frequentemente fazem o que é chamado de "pico de dados". O pico de dados envolve observar os dados de teste precocemente e com frequência, enquanto tenta determinar qual experiência tem melhor desempenho. O risco é parar o teste prematuramente, o que poderia invalidar os resultados.

Em um teste A/A, o pico de dados geralmente pode fazer com que os analistas vejam o aumento em uma experiência, quando presumem que não deve haver diferença, pois as duas experiências são idênticas. Em função do tempo e do número suficiente de visitas, a diferença de elevação deve diminuir.

Assim como com um teste A/B normal, você deve decidir antecipadamente qual tamanho da amostra usar, com base no tamanho mínimo do efeito, na energia e nos níveis de significância que você achar aceitáveis. Em um teste A/A, o objetivo seria not ver um resultado estatisticamente significativo depois que o teste atingisse o tamanho de amostra desejado.

A Calculadora de tamanho de amostra da Adobe Target é uma ferramenta importante para ajudá-lo a determinar o tamanho de amostra que deve ser pretendido e por quanto tempo deve executar o teste.

Além disso, consulte os seguintes artigos para obter informações sobre quanto tempo você deve executar uma atividade, bem como outras dicas e truques úteis:

A significância estatística afeta seus resultados de teste

O nível de significância de um teste determina a probabilidade de o teste relatar uma diferença significativa nas taxas de conversão entre duas ofertas diferentes quando, de fato, não há diferença real. Isso é conhecido como falso positivo, ou um erro do Tipo I. O nível de significância é um limite especificado pelo usuário e há uma compensação entre a tolerância para falsos positivos e o número de visitantes que devem ser incluídos no teste para escolher o nível de significância apropriado.

Um nível de significância comumente usado nos testes A/A e A/B é de 5%, o que corresponde a um nível de confiança de 95% (nível de confiança = 100% - nível de significância). Um nível de confiança de 95% significa que cada vez que você executa um teste, há uma chance de 5% de detectar um aumento estatisticamente significativo mesmo que não haja diferença entre as experiências.

Suponha que você queira atingir um nível de confiança de 95% com seu teste A/A. Com um nível de confiança de 95%, testes A/A de 1 em 20 podem mostrar um aumento estatisticamente significativo nas conversões. Com um nível de confiança de 90%, 1 em 10 testes podem mostrar aumento nas conversões ao testar experiências idênticas.

Prática recomendada

Se você decidir que um teste A/A é necessário em sua organização, esteja ciente de que as experiências idênticas podem mostrar temporariamente uma diferença do controle. Isso pode ser normal, dependendo do tempo em que o teste pode ser executado. A diferença deve diminuir, dado mais tempo e visitantes.

A prática recomendada é usar a metodologia de teste A/B regular: decida o tamanho da amostra antecipadamente com base no tamanho mínimo do efeito, na potência e na significância desejadas usando a Calculadora de tamanho da Adobe Target.

Em seguida, aguarde o tempo e visitantes adequados antes de chegar a qualquer conclusão, e lembre-se de que, dependendo do nível de significância do seu teste, há uma chance de que uma experiência mostre uma diferença de incentivo, e até mesmo seja declarada vencedora.

Nesta página

Adobe Maker Awards Banner

Time to shine!

Apply now for the 2021 Adobe Experience Maker Awards.

Apply now
Adobe Maker Awards Banner

Time to shine!

Apply now for the 2021 Adobe Experience Maker Awards.

Apply now