를 사용하여 사이트에서 A/A 테스트를 수행하기 전에 Adobe TargetA/A 테스트가 무엇인지, A/A 테스트를 수행할 수 있는 이유, 테스트 실행 기간 및 결과 해석 방법을 이해하는 것이 중요합니다.
A/A 테스트를 설명하기 전에 A/B 테스트를 검토하여 차이점을 논의하겠습니다.
표준 A/B 테스트에서는 트래픽이 두 개 이상의 다른 경험에 할당됩니다. 한 경험은 일반적으로 "제어"이며, 경험의 변형은 주어진 지표에서 가장 높은 상승도를 만드는 경험을 확인하기 위해 제어에 대해 테스트됩니다.
그러나 A/A 테스트에는 일반적으로 50/50 트래픽 할당 분할이 있는 동일한 두 경험에 트래픽을 할당하는 작업이 포함됩니다. 표준 A/B 테스트를 사용하면 일반적으로 전환 중 상승도를 검색하려고 합니다. 이것은 일반적으로 목표가 있음을 확인하는 A/A 테스트와 다릅니다 아니요 동일한 경험 간의 상승도 차이.
일부 조직에서는 다음과 같은 새 테스트 도구를 구현할 때 A/A 테스트를 수행합니다 Target를 확인하여 다음을 수행할 수 있습니다.
적은 조직에서 A/A 테스트를 실행하지만 도구를 구현한 후 또는 전환 및 매출에 영향을 줄 수 있는 A/B 테스트를 수행하기 전에 신뢰를 구축하기 위해 "안정성" 실험으로 실행하는 것이 실제로 좋습니다.
한 경험에서 다른(동일한) 경험보다 상승도가 표시되는 이유는 여러 가지가 있습니다.
A/A 테스트를 포함하여 모든 종류의 테스트를 실행하는 데 일반적인 문제는 결과를 지속적으로 확인하고 통계적 중요성이 확인되는 즉시 테스트를 조기에 중지하고 우승 경험을 선언하는 것입니다. 분석가들은 종종 "데이터 훔쳐보기"라고 불리는 것을 한다. 데이터 수집에는 성과가 더 좋은 경험을 확인하려고 하면서 테스트 데이터를 빠르고 자주 보는 작업이 포함됩니다. 따라서 테스트가 조기에 중지되어 결과가 무효화될 수 있습니다.
A/A 테스트에서는 두 경험이 동일하므로 실제로 차이가 없어야 하는 경우 데이터 검색에서 분석자가 한 경험의 상승도를 보게 되는 경우가 많습니다. 사실, 지속적인 탐색을 통해 A/A 테스트는 실제로 수행됩니다 보장 테스트 중 특정 지점에서 "통계적 중요도"(즉, 95%와 같은 특정 임계값보다 큰 신뢰)를 표시합니다.
이를 방지하려면, 그리고 일반적인 A/B 테스트에서와 마찬가지로, 최소 효과 크기(비즈니스에 영향을 주지 않는 최소 상승도)와, 전력 및 유의 수준에 따라 사용할 샘플 크기를 미리 결정해야 합니다.
A/A 테스트에서는 목표가 다음과 같습니다 not 테스트가 원하는 샘플 크기에 도달하면 통계적으로 중요한 결과를 확인하십시오.
다음 Adobe Target 샘플 크기 계산기 는 사용해야 하는 샘플 크기 및 테스트를 얼마 동안 실행해야 하는지 확인하는 데 도움이 되는 중요한 도구입니다.
또한 활동을 얼마나 오래 실행해야 하는지에 대한 정보와 기타 유용한 팁과 트릭은 다음 문서를 참조하십시오.
테스트의 유의 수준은 실제로 실제 차이가 없을 때, 테스트가 두 개의 다른 오퍼 간의 전환율에 중요한 차이를 보고하는지 여부를 결정합니다. 이를 false positive 또는 Type I 오류라고 합니다. 유의 레벨은 사용자가 지정한 임계값이며 적절한 유의 수준을 선택하기 위해 테스트에 포함되어야 하는 긍정 및 방문자 수 간에 차단이 있습니다.
A/A 및 A/B 테스트에서 일반적으로 사용되는 유의 수준은 5%이며, 이것은 95%의 신뢰 수준에 해당합니다(신뢰 수준 = 100% - 유의 수준). 신뢰 수준 95%는 테스트를 수행할 때마다 경험 간에 차이가 없어도 통계적으로 중요한 상승도를 감지할 수 있는 5%의 가능성을 의미합니다.
A/A 테스트로 95% 신뢰 수준을 달성한다고 가정합니다. 95% 신뢰 수준을 사용하는 경우, 20A/A 테스트의 1개 전환은 통계적으로 중요한 전환율을 보여줄 수 있습니다. 90% 신뢰 수준을 사용하는 경우, 10개 테스트의 1개가 동일한 경험을 테스트할 때 전환율이 향상될 수 있습니다.
조직에서 A/A 테스트가 필요하다고 결정하는 경우 동일한 경험이 일시적으로 제어와 차이를 보일 수 있음을 유의하십시오. 이는 테스트가 실행되는 시간에 따라 일반적일 수 있습니다. 시간과 방문자가 늘어나면 그 차이는 줄어들어야 합니다.
우수 사례는 일반적인 A/B 테스트 방법을 사용하는 것입니다. 해당 최소 효과 크기, 원하는 전력 및 중요도를 기준으로 미리 예제 크기를 결정합니다. Adobe Target 크기 계산기.
그런 다음 결론에 도달하기 전에 적절한 시간 및 방문자를 허용하여 테스트 중요도 수준에 따라 한 경험이 향상도에 차이를 보일 수 있고 심지어 승자로 선언될 수도 있다는 점을 기억하십시오.