A/A 테스트

Adobe Target을(를) 사용하여 사이트에서 A/A 테스트를 수행하기 전에 A/A 테스트의 정의, A/A 테스트를 수행할 수 있는 이유, 테스트를 실행해야 하는 시간 및 결과를 해석하는 방법을 이해하는 것이 중요합니다.

A/A 테스트란 무엇입니까?

A/A 테스트를 설명하기에 앞서 A/B 테스트를 검토하여 차이점에 대해 논의하는 것이 좋습니다.

표준 A/B 테스트에서 트래픽은 둘 이상의 서로 다른 경험에 할당됩니다. 한 가지 경험은 일반적으로 "컨트롤"이며, 주어진 지표에서 가장 많은 상승도를 만드는 경험을 확인하기 위해 경험의 변형을 컨트롤에 대해 테스트합니다.

그러나 A/A 테스트에는 일반적으로 50/50 트래픽 할당 분할로 두 개의 동일한 경험에 트래픽을 할당하는 작업이 포함됩니다. 표준 A/B 테스트에서는 일반적으로 전환의 상승도를 검색하려고 합니다. 이는 동일한 경험 간에 상승도에 no 차이가 있음을 확인하는 것이 일반적인 목표인 A/A 테스트와 다릅니다.

두 개의 동일한 경험을 테스트하고 어떤 작업을 수행하려고 합니까?

일부 조직에서는 Target과(와) 같은 새 테스트 도구를 구현할 때 A/A 테스트를 수행하여 다음 여부를 확인합니다.

A/A 테스트를 실행하는 조직은 거의 없지만 도구를 구현한 후 또는 전환 및 매출에 영향을 줄 수 있는 A/B 테스트를 수행하기 전에 신뢰를 구축하기 위해 "온전한" 실험으로 실행하는 것이 좋습니다.

경험이 동일한데 한 경험에 대한 상승도가 표시되는 이유는 무엇입니까?

한 경험에서 다른(동일한) 경험보다 상승도를 볼 수 있는 이유는 여러 가지가 있습니다.

A/A 테스트는 지속적으로 모니터링되었습니다

A/A 테스트를 포함하여 모든 종류의 테스트를 실행할 때 발생하는 일반적인 문제는 결과를 지속적으로 보고 통계적 중요도가 표시되면 테스트를 조기에 중단하고 우승 경험을 선언하는 것입니다. 분석가들은 종종 "데이터 엿보기"라고 불리는 것을 합니다. 데이터 피킹에는 성과가 더 좋은 경험을 판별하는 동안 테스트 데이터를 조기에 자주 확인하는 작업이 포함됩니다. 위험은 테스트를 조기에 중단하는 것이며, 이로 인해 결과가 무효화될 수 있습니다.

A/A 테스트에서는 두 경험이 동일하기 때문에 사실상 차이가 없어야 할 때 데이터 엿보기를 통해 분석가가 한 경험에서 상승도를 볼 수 있습니다. 실제로 지속적인 엿보기를 통해 A/A 테스트는 테스트 중 특정 시점에서 "통계적 중요도"(즉, 95%와 같이 특정 임계값을 초과하는 신뢰도)를 표시하기 위해 보장됨 ​됩니다.

이를 방지하기 위해 일반 A/B 테스트와 마찬가지로 최소 효과 크기(아래에 있는 효과가 비즈니스에 중요하지 않음), 전력 및 허용 가능한 유의 수준을 기반으로 사용할 샘플 크기를 미리 결정해야 합니다.

A/A 테스트에서는 테스트가 원하는 샘플 크기에 도달한 후 통계적으로 중요한 결과를 보지 ​하는 것이 목표입니다.

Adobe Target Sample Size Calculator은(는) 목표로 하는 샘플 크기와 테스트를 실행하는 시간을 결정하는 데 도움이 되는 중요한 도구입니다.

또한 활동을 실행해야 하는 시간, 기타 유용한 팁과 요령에 대한 자세한 내용은 다음 문서를 참조하십시오.