A/B 테스트를 얼마 동안 실행해야 합니까?

확실히 감지 가능한 최소 상승도

작은 상승도라도 구현할 가치는 있으므로 대부분의 조직은 전환율에서 가장 작은 가능한 차이를 측정하려고 합니다. 그러나 A/B 테스트가 작은 상승도를 감지할 가능성이 높도록 하려면 테스트에 포함되어야 하는 방문자의 수가 엄청나게 커집니다. 그 이유는 전환율 차이가 작을 경우 두 전환율 모두를 높은 정확도로 추정해야 차이를 파악할 수 있기 때문에 많은 방문자가 필요하다. 따라서 확실히 감지 가능한 최소 상승도는 작은 상승도를 감지하는 것과 오랜 시간 동안 테스트를 실행하는 것 사이의 균형점을 고려하는 비즈니스 요구 사항으로 결정해야 합니다.

예를 들어, 두 오퍼(A 및 B)의 실제 전환율이 각각 10%와 15%라고 가정할 때, 이 오퍼들이 각각 100명의 방문자에게 표시된다면 전환의 확률론적 특성으로 인해 오퍼 A의 경우 4% ~ 16% 범위, 오퍼 B의 경우 8% ~ 22% 범위의 전환율을 관찰할 확률은 95% 있습니다. 이 범위들은 통계에서 신뢰 구간이라고 하며, 예상 전환율의 정확성에 대한 신뢰도를 나타냅니다. 샘플 크기가 클수록(더 많은 방문자) 전환율의 추정값이 정확하다는 것을 더 확신할 수 있습니다.

아래 그림은 이러한 확률 분포를 보여줍니다.

두 범위가 크게 겹치므로 이 테스트는 전환율이 다른지 여부를 판결할 수 없습니다. 따라서 방문자가 100명인 이 테스트는 두 오퍼를 구별할 수 없습니다. 그러나 Target이(가) 각 5,000명의 방문자에게 오퍼를 노출하는 경우 관찰된 전환율이 각각 9%~11% 및 14%~16% 범위에서 떨어질 가능성이 95%입니다.

이 경우 테스트가 잘못된 결론을 내릴 가능성이 낮으므로 방문자 5,000명을 대상으로 한 테스트에서는 두 오퍼를 구별할 수 있습니다. 5,000명의 방문자가 있는 테스트의 신뢰 구간은 +/-1%입니다. 이는 검사가 약 1%의 차이를 검출할 수 있음을 의미한다. 따라서 오퍼의 실제 전환율이 10%와 15%가 아니라 10%와 10.5%처럼 1% 미만의 차이가 나는 경우에는 훨씬 더 많은 방문자가 필요합니다.

베이스라인 전환율

베이스라인 전환율은 통제 오퍼(오퍼 A)의 전환율입니다. 경험을 기반으로 한 오퍼의 전환 수준에 대한 감이 좋은 경우가 많습니다. 새 유형의 오퍼 또는 크리에이티브인 이유로 파악하기 어려운 경우에는, 샘플 크기 계산에 사용할 수 있는 대략적인 베이스라인 전환율 추정치를 얻을 수 있도록 테스트를 하루 동안 실행할 수 있습니다.

방문자 수

장시간 동안의 테스트 실행 기회비용과 긍정 오류(false positive) 및 부정 오류(false negative)의 위험 사이에 균형을 이루는 것은 어려울 수 있습니다. 물론 잘못된 결정을 내리고 싶지는 않지만 너무 엄격하거나 엄격한 검사 기준에 의해 마비되는 것도 바람직하지 않다.

따라서 일반 지침으로서 95% 신뢰 수준과 80% 통계적 검증력이 권장됩니다.

샘플 크기 계산기(위에 제공된 링크)는 통계적 유의도(권장: 95%) 및 통계적 검증력(권장: 80%)으로 결정하도록 요구합니다. 모든 오퍼에 대한 베이스라인 전환율과 일별 트래픽을 입력하면 스프레드시트에서는 테스트의 지정된 검증력과 동일한 확률로 1%, 2%, 5%, 10%, 15%, 20%의 상승도를 감지하는 데 필요한 방문자 수를 출력합니다. 스프레드시트는 또한 사용자가 사용자 정의 최소값 신뢰성 있게 검출 가능한 상승도를 입력할 수 있게 한다. 더욱이 스프레드시트에서는 사용자가 입력한 트래픽 수준을 기반으로 테스트에 필요한 주 수를 출력합니다. 결과에 영향을 주는 요일 효과를 방지하기 위해 필요한 주 수를 가장 가까운 전체 주로 반올림합니다.

테스트에서 확실히 식별할 수 있는 최소 상승도와 필요한 방문자 수 간에는 균형점이 있습니다. 베이스라인(통제) 전환율 5%에 유효한 아래 그림에서는 방문자 수를 늘리기 위한 급격히 감소하는 수익을 보여줍니다. 확실히 감지할 수 있는 최소 상승도는 테스트에 처음 몇 명의 방문자를 추가할 때에는 엄청나게 개선되지만, 테스트를 개선하기 위해서는 점점 더 많은 방문자를 필요로 합니다. 이 그림은 테스트를 실행하는 데 필요한 시간(필요한 방문자 및 사이트 트래픽에 의해 결정된 대로)과 테스트에서 확실히 감지할 수 있는 최소 상승도 간의 적절한 균형점을 찾는 데 도움이 됩니다.

이 예에서는 100개의 테스트 중 80개에서 5%(대안 오퍼의 전환율 (100%+5%)*5% = 5.25%에 해당)의 상승도를 감지할 수 있는 것이 적절하고, 따라서 각 오퍼에 대해 100,000명의 방문자 샘플 크기가 필요하다고 결정할 수 있습니다. 사이트에 하루에 20,000명의 방문자가 있고 두 개의 오퍼를 테스트하는 경우, 대안 오퍼가 통제 오퍼보다 통계적으로 유의미하게 우수한지 여부를 판별하려면 먼저 2*100,000/20,000 = 10일 동안 테스트를 실행할 수 있어야 합니다.

이때도 필요한 시간은 요일 효과가 방지하도록 항상 가장 가까운 정수 주 수로 올림하는 것이 좋습니다. 따라서 이 예에서는 결과를 평가하기 전 2주 동안 테스트가 실행됩니다.