Índice de conversão

A taxa de conversão, o incentivo, a confiança e o intervalo de confiança são reportados para cada experiência.

A ilustração a seguir mostra o cabeçalho do gráfico para uma atividade de amostra com os cabeçalhos Índice de conversão, Aumento e Confiança destacados.

OBSERVAÇÃO

Em todos os dados, pedidos duplicados são ignorados se uma orderID for enviada. O relatório de auditoria relaciona os pedidos duplicados ignorados.

Índice de conversão

Mostra a taxa de conversão mediana, a confiança, o intervalo e o número de conversões.

Por exemplo, examine a seguinte coluna Índice de conversão do relatório:

A primeira linha é a experiência de controle. Mostra uma taxa de conversão de 15%, com três conversões. A segunda linha, Experiência B, mostra uma taxa de conversão de 15%, com um intervalo de confiança de aproximadamente 15,65% e três conversões.

OBSERVAÇÃO

No momento, o intervalo de confiança é calculado somente para métricas binárias.

Aumento

Compara o índice de conversão de cada experiência com a experiência de controle.

Aumento = (CR da experiência - CR de controle) / CR de controle

Se o controle for 0, não há aumento percentual.

Dados de varejo

Os dados de AOV, RPV e Vendas são exibidos para cada experiência se você inseriu um Pedido local (orderConfirmPage) e a selecionou como a mbox de conversão.

Nível de confiança e intervalo de confiança

Para cada experiência, o intervalo de confiança é exibido.

Você pode realizar cálculos offline para o for Target (A4T), mas isso exige uma etapa com as exportações de dados no AnalyticsAnalytics. Para obter mais informações, consulte "Execução de cálculos offline no Analytics for Target (A4T)" abaixo.

Confiança

A confiança de uma experiência ou oferta exibida é uma probabilidade (expressa como uma porcentagem) de obter um resultado menos extrema que a realmente observada, se a hipótese nula for verdadeira (em essência, se não houver diferença nas taxas de conversão entre essa experiência ou oferta e a experiência/oferta de controle). Em termos de valores p, essa confiança exibida é de 1 - valor p. Em termos mais simples, a confiança mais alta indica que os dados são menos consistentes com a suposição de que a oferta/experiência de controle e não controle têm taxas de conversão iguais.

A confiança é arredondada para 100,00% sempre que for maior ou igual a 99,995%.

Antes de tomar decisões comerciais, tente esperar até o tamanho da amostra ser grande o suficiente e as quatro barras de confiança de uma ou mais experiências ficarem consistentes por um período contínuo para garantir que os resultados sejam estáveis.

Intervalo de confiança

OBSERVAÇÃO

No momento, o intervalo de confiança é calculado somente para métricas binárias.

O intervalo de confiança é um intervalo de estimativas dentro do qual o valor real da métrica pode ser encontrado em um determinado nível de confiança. O Target sempre exibe intervalos de confiança de 95%. O intervalo de confiança aparece como um percentual aproximado cinza claro na coluna Índice de conversão. No exemplo abaixo, o intervalo de confiança para o incentivo da Experiência B é aproximadamente 15,65%.

Exemplo: O RPV observado por uma experiência é de US$ 10 e seus 95% intervalo de confiança é de US$ 5 a US$ 15. Desconhecido para nós, seu RPV verdadeiro é de US$ 12. Em seguida, se executarmos esse teste várias vezes, 95% das vezes o intervalo de confiança que calculamos conterá o valor true valor do RPV de $12.

O que gera impacto sobre o intervalo de confiança? A fórmula segue métodos estatísticos padrão para calcular intervalos de confiança.

  • Tamanho da amostra: conforme a amostra aumenta, o intervalo diminui. Este é o método ideal, pois significa que os seus relatórios estão chegando mais perto do valor da métrica de sucesso.
  • Desvio padrão menor: Resultados mais semelhantes, como AOVs semelhantes, números semelhantes ou visitantes convertidos a cada dia reduzem o desvio padrão.

Cálculo de confiança e como executá-lo offline

O download do relatório de CSV inclui apenas dados brutos e não inclui métricas calculadas, como receita por visitante, aumento ou confiança usada para testes A/B.

Para calcular essas métricas calculadas, baixe as Calculadora de confiança completa Arquivo do Excel para inserir o valor da atividade ou revisar o cálculos estatísticos usados pelo Target.

OBSERVAÇÃO

Essa calculadora é para relatórios baseados em Target e não para relatórios A4T.

Realização de cálculos offline para Analytics for Adobe Target (A4T)

Você pode realizar cálculos offline para o A4T, mas isso exige uma etapa com as exportações de dados no Analytics.

Para o A4T, usamos um cálculo de teste t de Estudante para variáveis contínuas (em vez de métricas binárias). No Analytics, um visitante é sempre rastreado e todas as ações realizadas são contadas. Portanto, se o visitante comprar várias vezes ou visitar uma métrica de sucesso várias vezes, esses hits adicionais serão contados. Isso torna a métrica uma variável contínua. Para efetuar o cálculo do teste t de Estudante, é necessário a "soma dos quadrados" para calcular a variação, que é utilizada no denominador da estatística t. Este documento explica os detalhes das fórmulas matemáticas utilizadas. A soma dos quadrados pode ser recuperada de Analytics. Para obter a soma dos dados dos quadrados, é necessário executar uma exportação no nível do visitante para a métrica para a qual você está otimizando, por um período de tempo de amostra.

Por exemplo, se você estiver otimizando para exibições de página por visitante, você exportaria uma amostra do número total de visualizações de página por visitante e por um período de tempo especificado, talvez alguns dias (alguns milhares de pontos de dados são tudo que você precisa). Você, então, elevaria ao quadrado de cada valor e somaria os totais (a ordem das operações é essencial aqui). Este valor de "soma dos quadrados" é então usado na Calculadora de confiança completa. Use a seção "receita" dessa planilha para esses valores.

Para usar o recurso de exportação de dados do Analytics para fazer isso:

  1. Efetue logon no Adobe Analytics.

  2. Clique em Ferramentas > Data Warehouse.

  3. Na guia Solicitação de Data Warehouse, preencha os campos.

    Para obter mais informações sobre cada campo, consulte "Descrições do Data Warehouse" em Data Warehouse.

    Campo Instruções
    Nome da solicitação Especifique um nome para sua solicitação.
    Data de relatório Especifique um período de tempo e granularidade.
    Como prática recomendada, escolha não mais que uma hora ou um dia de dados para sua primeira solicitação. Os arquivos do Data Warehouse demoram mais para processar quanto mais longo for o tempo solicitado, por isso, é sempre uma prática recomendada solicitar primeiro um pequeno período de tempo para garantir que o arquivo retorne o resultado esperado. Em seguida, vá para o Gerenciador de solicitações, duplique sua solicitação e solicite mais dados pela segunda vez. Além disso, se você alternar a granularidade para algo diferente de "Nenhum", o tamanho do arquivo aumentará drasticamente.
    Data Warehouse
    Segmentos disponíveis Aplique um segmento, se necessário.
    Detalhamentos Selecione as dimensões desejadas: O padrão é pronto (OOTB), enquanto o Personalizado inclui eVars e props. Recomenda-se a utilização de "ID de visitante" se forem necessárias informações ao nível da ID de visitante, em vez de "ID de visitante da Experience Cloud".
    • ID do visitante é a ID final usada pelo Analytics. Ela será AID (se o cliente for legado) ou MID (se o cliente for novo ou tiver eliminado os cookies desde que o serviço de identificação de visitante do MC foi iniciado).
    • A ID de visitante da Experience Cloud só será definida para clientes novos ou com cookies eliminados desde que o serviço de ID de visitante do MC foi iniciado.
    Métricas Selecione sua métrica desejada. O padrão é OOTB, enquanto o Personalizado inclui eventos personalizados.
    Visualização de Relatório Revise suas configurações antes de agendar o relatório.
    Data Warehouse 2
    Agendar entrega Digite um endereço de email para entregar o arquivo, nomeie o arquivo e selecione Enviar imediatamente.
    Observação: o arquivo pode ser entregue via FTP em Opções avançadas de entrega
    Programar entrega.
  4. Clique em Solicitar esse relatório.

    A entrega do arquivo pode levar até 72 horas, dependendo da quantidade de dados solicitada. Você pode verificar o andamento de sua solicitação a qualquer momento clicando em Ferramentas > Data Warehouse > Gerenciador de solicitações.

    Se você deseja solicitar novamente os dados que solicitou no passado, você pode duplicar uma solicitação antiga do Gerenciador de solicitações, conforme necessário.

Para obter mais informações sobre Data Warehouse, consulte os seguintes links na documentação de ajuda do Analytics:

Metodologia de contagem

É possível optar por exibir os relatórios por diferentes metodologias de contagem para entender como as suas atividades afetam os usuários durantes os ciclos de vida deles ou durante uma única sessão.

A metodologia de contagem é compatível com todos os outros tipos de atividade.

  • Teste A/B

    Como exceção, as atividades A/B de Direcionamento automático são compatíveis apenas com a metodologia de contagem padrão "Visita".

  • Direcionamento de experiência (XT)

  • Teste multivariado (MVT)

    Para o relatório de contribuição do Elemento MVT, o Target não suporta os tipos de Impressões de atividade para as métricas de receita.

  • Recommendations

Somente a metodologia de contagem padrão (Visitas) é atualmente suportada para atividades de Personalização automatizada (AP).

Você pode visualizar relatórios pelas seguintes metodologias de contagem:

  • Visitante: um participante único na atividade, pela duração da atividade.

    Uma pessoa será contada como um novo participante se visitar o site com um novo computador e um novo navegador, excluir o cookie ou converter e retornar para a atividade com o mesmo cookie. Um participante é identificado pela PCID no cookie mbox do visitante. Se o PCID mudar, a pessoa será considerada um novo visitante.

  • Visita: um único participante em uma experiência durante uma sessão de navegador única de 30 minutos.

    Se uma conversão for alcançada ou um visitante retornar ao site após se ausentar por pelo menos 30 minutos, esse visitante será contado como um novo visitante. Uma visita é identificada pela sessionID do cookie da mbox do visitante. Quando a sessionID muda, a visita é considerada nova.

  • Impressão/Visualização da página: contado cada vez que um visitante carrega qualquer página da atividade.

    Uma única visita pode incluir várias impressões de sua página inicial, por exemplo.

OBSERVAÇÃO

Normalmente, as contagens são determinadas por cookies e pela atividade da sessão. No entanto, se você alcançar o ponto de conversão final de uma atividade e, em seguida, entrar na atividade novamente, você será considerado um novo participante e uma nova visita à atividade. Isso é verdade mesmo se os valores PCID e sessionID não mudarem.

Por que Target recomendamos usar os testes t de Student?

Os testes A/B são experimentos para comparar o valor médio de alguma métrica comercial em uma variante de controle (também conhecida como experiência) com o valor médio dessa mesma métrica em uma ou mais experiências alternativas.

Target recomenda usar Teste t do galês, pois exigem menos suposições do que alternativas, como testes z, e são o teste estatístico adequado para fazer comparações emparelhadas de métricas de negócios (quantitativas) entre experiências de controle e experiências alternativas.

Mais detalhes

Ao executar testes A/B online, cada usuário/visitante é atribuído aleatoriamente a uma única variante. Posteriormente, fazemos medições das métricas de negócios de interesse (por exemplo, conversões, pedidos, receita etc.) para visitantes em cada variante. O teste estatístico que usamos então testa a hipótese de que a métrica média de negócios (por exemplo, taxa de conversão, pedidos por usuário, receita por usuário etc.) é igual para o controle e uma determinada variante alternativa.

Embora a própria métrica de negócios possa ser distribuída de acordo com alguma distribuição arbitrária, a distribuição da média dessa métrica (em cada variante) deve convergir para uma distribuição normal por meio da variável Teorema do Limite Central. Observe que, embora não haja garantia de quão rapidamente essa distribuição de amostragem da média se converterá ao normal, essa condição normalmente é alcançada devido à escala de visitantes em testes online.

Dada esta normalidade da média, pode-se demonstrar que a estatística de teste a ser usada segue uma distribuição t, porque é a proporção de um valor normalmente distribuído (a diferença em meios da métrica de negócios) para um termo de escala com base em uma estimativa a partir dos dados (o erro padrão da diferença em meios). O teste t é então o teste de hipótese apropriado, visto que a estatística de teste segue uma distribuição t.

Por que outros testes não são usados?

A teste z é tecnicamente inadequado porque, no cenário típico de testes A/B, o denominador da estatística de teste não é derivado de uma variância conhecida e, em vez disso, deve ser estimado a partir dos dados. No entanto, para amostras de tamanhos suficientemente grandes, o teste z e o teste t são idênticos.

Testes quadrado-qui não são usadas porque são adequadas para determinar se há uma relação qualitativa entre duas variantes (ou seja, uma hipótese nula de que não há diferença entre variantes). Os testes T são mais adequados para o cenário de quantitativamente comparação de métricas.

O Teste Mann-Whitney U é um teste não paramétrico, adequado quando a distribuição por amostragem da métrica média de negócios (para cada variante) não é normalmente distribuída. No entanto, como discutido anteriormente, dada a magnitude do tráfego envolvido em testes online, o Teorema do Limite Central normalmente se aplica, e assim o teste t pode ser aplicado com segurança.

Métodos mais complexos, como ANOVA (que generalizam os testes t para mais de duas variantes) podem ser aplicados quando um teste tem mais de duas experiências ("testes A/Bn"). No entanto, a ANOVA responde à pergunta "se todas as variantes têm a mesma média", enquanto no teste A/Bn típico estamos mais interessados em que variante específica é melhor. Em TargetPortanto, aplicamos testes t regulares comparando cada variante a um controle, com uma correção de Bonferroni para considerar várias comparações.

Nesta página