A/A 테스트

Adobe Target을(를) 사용하여 사이트에서 A/A 테스트를 수행하기 전에 A/A 테스트의 정의, A/A 테스트를 수행할 수 있는 이유, 테스트를 실행해야 하는 시간 및 결과를 해석하는 방법을 이해하는 것이 중요합니다.

A/A 테스트란 무엇입니까?

A/A 테스트를 설명하기에 앞서 A/B 테스트를 검토하여 차이점에 대해 논의하는 것이 좋습니다.

표준 A/B 테스트에서 트래픽은 둘 이상의 서로 다른 경험에 할당됩니다. 한 가지 경험은 일반적으로 "컨트롤"이며, 주어진 지표에서 가장 많은 상승도를 만드는 경험을 확인하기 위해 경험의 변형을 컨트롤에 대해 테스트합니다.

그러나 A/A 테스트에는 일반적으로 50/50 트래픽 할당 분할로 두 개의 동일한 경험에 트래픽을 할당하는 작업이 포함됩니다. 표준 A/B 테스트에서는 일반적으로 전환의 상승도를 검색하려고 합니다. 이는 동일한 경험 간에 상승도에 no 차이가 있음을 확인하는 것이 일반적인 목표인 A/A 테스트와 다릅니다.

두 개의 동일한 경험을 테스트하고 어떤 작업을 수행하려고 합니까?

일부 조직에서는 Target과(와) 같은 새 테스트 도구를 구현할 때 A/A 테스트를 수행하여 다음 여부를 확인합니다.

A/A 테스트를 실행하는 조직은 거의 없지만 도구를 구현한 후 또는 전환 및 매출에 영향을 줄 수 있는 A/B 테스트를 수행하기 전에 신뢰를 구축하기 위해 "온전한" 실험으로 실행하는 것이 좋습니다.

경험이 동일한데 한 경험에 대한 상승도가 표시되는 이유는 무엇입니까?

한 경험에서 다른(동일한) 경험보다 상승도를 볼 수 있는 이유는 여러 가지가 있습니다.

A/A 테스트는 지속적으로 모니터링되었습니다

A/A 테스트를 포함하여 모든 종류의 테스트를 실행할 때 발생하는 일반적인 문제는 결과를 지속적으로 보고 통계적 중요도가 표시되면 테스트를 조기에 중단하고 우승 경험을 선언하는 것입니다. 분석가들은 종종 "데이터 엿보기"라고 불리는 것을 합니다. 데이터 피킹에는 성과가 더 좋은 경험을 판별하는 동안 테스트 데이터를 조기에 자주 확인하는 작업이 포함됩니다. 위험은 테스트를 조기에 중단하는 것이며, 이로 인해 결과가 무효화될 수 있습니다.

A/A 테스트에서는 두 경험이 동일하기 때문에 사실상 차이가 없어야 할 때 데이터 엿보기를 통해 분석가가 한 경험에서 상승도를 볼 수 있습니다. 실제로 지속적인 엿보기를 통해 A/A 테스트는 테스트 중 특정 시점에서 "통계적 중요도"(즉, 95%와 같이 특정 임계값을 초과하는 신뢰도)를 표시하기 위해 보장됨 ​됩니다.

이를 방지하기 위해 일반 A/B 테스트와 마찬가지로 최소 효과 크기(아래에 있는 효과가 비즈니스에 중요하지 않음), 전력 및 허용 가능한 유의 수준을 기반으로 사용할 샘플 크기를 미리 결정해야 합니다.

A/A 테스트에서는 테스트가 원하는 샘플 크기에 도달한 후 통계적으로 중요한 결과를 보지 ​하는 것이 목표입니다.

Adobe Target Sample Size Calculator은(는) 목표로 하는 샘플 크기와 테스트를 실행하는 시간을 결정하는 데 도움이 되는 중요한 도구입니다.

또한 활동을 실행해야 하는 시간, 기타 유용한 팁과 요령에 대한 자세한 내용은 다음 문서를 참조하십시오.

통계적 유의성은 테스트 결과에 영향을 줍니다

테스트의 유의 수준은 실제로 실제 차이가 없을 때 테스트가 두 개의 서로 다른 오퍼 간에 전환율에 상당한 차이를 보고했을 가능성을 결정합니다. 이를 긍정 오류(false positive) 또는 유형 I 오류라고 합니다. 유의 수준은 사용자가 지정한 임계값이며 적절한 유의 수준을 선택함에 있어 테스트에 포함되어야 하는 방문자 수와 긍정 오류 허용 한도 간에 차이가 있습니다.

A/A 및 A/B 테스트에서 일반적으로 사용되는 유의 수준은 5%이며, 이는 95%의 신뢰 수준(신뢰 수준 = 100% - 유의 수준)에 해당합니다. 신뢰 수준 95%는 테스트를 수행할 때마다 경험 간에 차이가 없더라도 통계적으로 유의미한 상승도를 감지할 가능성이 5%임을 의미합니다.

A/A 테스트로 95% 신뢰 수준을 달성하려고 한다고 가정해 봅시다. 95% 신뢰 수준에서 20개의 A/A 테스트 중 1개는 전환에서 통계적으로 유의한 상승도를 보여줄 수 있습니다. 90% 신뢰 수준에서, 10개 테스트 중 1개가 동일한 경험을 테스트할 때 전환에서 상승도를 보여줄 수 있습니다.

우수 사례

조직에서 A/A 테스트가 필요하다고 결정하는 경우 동일한 경험이 일시적으로 제어와 차이를 보일 수 있습니다. 이는 테스트 실행이 허용된 시간에 따라 정상일 수 있습니다. 이 차이는 더 많은 시간과 방문자를 고려할 때 축소되어야 합니다.

가장 좋은 방법은 일반적인 A/B 테스트 방법을 사용하는 것입니다. Adobe Target 크기 계산기를 사용하여 최소 관련 효과 크기, 원하는 파워 및 중요도를 기반으로 미리 샘플 크기를 결정하십시오.

그런 다음 결론을 내리기 전에 적절한 시간과 방문자를 허용하고 테스트의 중요도 수준에 따라 한 경험이 상승도에 차이를 보이고 심지어 우승자로 선언될 가능성이 있다는 것을 기억하십시오.