Calcular confiança para atividades de Alocação automática manualmente
Descrição description
Ambiente
Adobe Target
Problemas/Sintomas
A confiança da atividade de Alocação automática é diferente na interface do usuário do Target e quando calculada por meio da Calculadora de confiança excel. Por que isso ocorre?
Resolução resolution
A alocação automática usa uma calculadora de confiança diferente (com base em limites de Bernstein) comparada aos testes A/B regulares (que é onde a calculadora usada se aplica; que usa um teste t, ou seja, valores p derivados da distribuição t).
Os cálculos de confiança usados pela Alocação automática são muito mais conservadores do que os usados pelos testes t regulares. Isto é feito para controlar falsos positivos, isto é, para evitar que façamos uma determinação inicial de que um braço é melhor do que outro quando o efeito que estamos vendo é devido à aleatoriedade.
É por isso que a confiança clássica baseada em teste t é de >
93%, mas a confiança de Alocação automática é muito menor. Também é compartilhado nos documentos da visão geral de Alocação automática.
É necessário um nível de confiança de 60% para as atividades de alocação automática, como mencionado aqui.