자동 할당 활동에 대한 신뢰도 수동으로 계산

설명 description

환경

Adobe Target

문제/증상

자동 할당 활동의 신뢰도는 Target UI에서 다르고 신뢰도 계산기 Excel을 통해 계산할 때 다릅니다. 이유는 무엇입니까?

해결 방법 resolution

자동 할당은 일반 A/B 테스트(사용한 계산기가 적용되는 곳, 즉 t-테스트, 즉 t-분포에서 파생된 p-값을 사용하는 곳)와 비교하여 다른 신뢰도 계산기(Bernstein 경계를 기반으로 함)를 사용합니다.

자동 할당에 사용되는 신뢰도 계산은 일반 t-테스트에서 사용되는 신뢰도 계산보다 훨씬 더 보수적입니다. 이는 긍정 오류(false positive)를 제어하기 위해, 즉 우리가 보고 있는 효과가 무작위성으로 인한 것일 때 한 팔이 다른 팔보다 낫다는 조기 결정을 내리는 것을 방지하기 위해 행해진다.

따라서 기존의 t-테스트 기반 신뢰도는 > 93%이지만 자동 할당 신뢰도는 훨씬 낮습니다. 자동 할당 개요문서에서도 공유됩니다.

여기에서 언급한 대로 자동 할당 활동에는 60% 신뢰 수준이 필요합니다.