A/A 테스트

를 사용하여 사이트에서 A/A 테스트를 수행하기 전에 Adobe TargetA/A 테스트가 무엇인지, A/A 테스트를 수행할 수 있는 이유, 테스트 실행 기간 및 결과 해석 방법을 이해하는 것이 중요합니다.

A/A 테스트란 무엇입니까?

A/A 테스트를 설명하기 전에 A/B 테스트를 검토하여 차이점을 논의하겠습니다.

표준 A/B 테스트에서는 트래픽이 두 개 이상의 다른 경험에 할당됩니다. 한 경험은 일반적으로 "제어"이며, 경험의 변형은 주어진 지표에서 가장 높은 상승도를 만드는 경험을 확인하기 위해 제어에 대해 테스트됩니다.

그러나 A/A 테스트에는 일반적으로 50/50 트래픽 할당 분할이 있는 동일한 두 경험에 트래픽을 할당하는 작업이 포함됩니다. 표준 A/B 테스트를 사용하면 일반적으로 전환 중 상승도를 검색하려고 합니다. 이것은 일반적으로 목표가 있음을 확인하는 A/A 테스트와 다릅니다 아니요 동일한 경험 간의 상승도 차이.

두 개의 동일한 경험을 테스트하고 싶은 이유는 무엇입니까? 및 이 테스트가 어떤 성과를 달성합니까?

일부 조직에서는 다음과 같은 새 테스트 도구를 구현할 때 A/A 테스트를 수행합니다 Target를 확인하여 다음을 수행할 수 있습니다.

  • 활동이 올바르게 설정되었습니다
  • 코드가 올바르게 구현되었습니다
  • 보고가 정확합니다

적은 조직에서 A/A 테스트를 실행하지만 도구를 구현한 후 또는 전환 및 매출에 영향을 줄 수 있는 A/B 테스트를 수행하기 전에 신뢰를 구축하기 위해 "안정성" 실험으로 실행하는 것이 실제로 좋습니다.

경험이 동일할 때 한 경험에 대한 상승도가 표시되는 이유는 무엇입니까?

한 경험에서 다른(동일한) 경험보다 상승도가 표시되는 이유는 여러 가지가 있습니다.

A/A 테스트가 계속 모니터링되었습니다

A/A 테스트를 포함하여 모든 종류의 테스트를 실행하는 데 일반적인 문제는 결과를 지속적으로 확인하고 통계적 중요성이 확인되는 즉시 테스트를 조기에 중지하고 우승 경험을 선언하는 것입니다. 분석가들은 종종 "데이터 훔쳐보기"라고 불리는 것을 한다. 데이터 수집에는 성과가 더 좋은 경험을 확인하려고 하면서 테스트 데이터를 빠르고 자주 보는 작업이 포함됩니다. 따라서 테스트가 조기에 중지되어 결과가 무효화될 수 있습니다.

A/A 테스트에서는 두 경험이 동일하므로 실제로 차이가 없어야 하는 경우 데이터 검색에서 분석자가 한 경험의 상승도를 보게 되는 경우가 많습니다. 사실, 지속적인 탐색을 통해 A/A 테스트는 실제로 수행됩니다 보장 테스트 중 특정 지점에서 "통계적 중요도"(즉, 95%와 같은 특정 임계값보다 큰 신뢰)를 표시합니다.

이를 방지하려면, 그리고 일반적인 A/B 테스트에서와 마찬가지로, 최소 효과 크기(비즈니스에 영향을 주지 않는 최소 상승도)와, 전력 및 유의 수준에 따라 사용할 샘플 크기를 미리 결정해야 합니다.

A/A 테스트에서는 목표가 다음과 같습니다 not 테스트가 원하는 샘플 크기에 도달하면 통계적으로 중요한 결과를 확인하십시오.

다음 Adobe Target 샘플 크기 계산기 는 사용해야 하는 샘플 크기 및 테스트를 얼마 동안 실행해야 하는지 확인하는 데 도움이 되는 중요한 도구입니다.

또한 활동을 얼마나 오래 실행해야 하는지에 대한 정보와 기타 유용한 팁과 트릭은 다음 문서를 참조하십시오.

통계적 중요성은 테스트 결과에 영향을 줍니다

테스트의 유의 수준은 실제로 실제 차이가 없을 때, 테스트가 두 개의 다른 오퍼 간의 전환율에 중요한 차이를 보고하는지 여부를 결정합니다. 이를 false positive 또는 Type I 오류라고 합니다. 유의 레벨은 사용자가 지정한 임계값이며 적절한 유의 수준을 선택하기 위해 테스트에 포함되어야 하는 긍정 및 방문자 수 간에 차단이 있습니다.

A/A 및 A/B 테스트에서 일반적으로 사용되는 유의 수준은 5%이며, 이것은 95%의 신뢰 수준에 해당합니다(신뢰 수준 = 100% - 유의 수준). 신뢰 수준 95%는 테스트를 수행할 때마다 경험 간에 차이가 없어도 통계적으로 중요한 상승도를 감지할 수 있는 5%의 가능성을 의미합니다.

A/A 테스트로 95% 신뢰 수준을 달성한다고 가정합니다. 95% 신뢰 수준을 사용하는 경우, 20A/A 테스트의 1개 전환은 통계적으로 중요한 전환율을 보여줄 수 있습니다. 90% 신뢰 수준을 사용하는 경우, 10개 테스트의 1개가 동일한 경험을 테스트할 때 전환율이 향상될 수 있습니다.

우수 사례

조직에서 A/A 테스트가 필요하다고 결정하는 경우 동일한 경험이 일시적으로 제어와 차이를 보일 수 있음을 유의하십시오. 이는 테스트가 실행되는 시간에 따라 일반적일 수 있습니다. 시간과 방문자가 늘어나면 그 차이는 줄어들어야 합니다.

우수 사례는 일반적인 A/B 테스트 방법을 사용하는 것입니다. 해당 최소 효과 크기, 원하는 전력 및 중요도를 기준으로 미리 예제 크기를 결정합니다. Adobe Target 크기 계산기.

그런 다음 결론에 도달하기 전에 적절한 시간 및 방문자를 허용하여 테스트 중요도 수준에 따라 한 경험이 향상도에 차이를 보일 수 있고 심지어 승자로 선언될 수도 있다는 점을 기억하십시오.

이 페이지에서는