Calcular confiança para atividades de Alocação automática manualmente

Descrição description

Ambiente

Adobe Target

Problemas/Sintomas

A confiança da atividade de Alocação automática é diferente na interface do usuário do Target e quando calculada por meio da Calculadora de confiança excel. Por que isso ocorre?

Resolução resolution

A alocação automática usa uma calculadora de confiança diferente (com base em limites de Bernstein) comparada aos testes A/B regulares (que é onde a calculadora usada se aplica; que usa um teste t, ou seja, valores p derivados da distribuição t).

Os cálculos de confiança usados pela Alocação automática são muito mais conservadores do que os usados pelos testes t regulares. Isto é feito para controlar falsos positivos, isto é, para evitar que façamos uma determinação inicial de que um braço é melhor do que outro quando o efeito que estamos vendo é devido à aleatoriedade.

É por isso que a confiança clássica baseada em teste t é de > 93%, mas a confiança de Alocação automática é muito menor. Também é compartilhado nos documentos da visão geral de Alocação automática.

É necessário um nível de confiança de 60% para as atividades de alocação automática, como mencionado aqui.