A/A 테스트

를 사용하여 사이트에서 A/A 테스트를 수행하기 전에 Adobe Target, A/A 테스트의 정의, A/A 테스트를 수행할 수 있는 이유, 테스트를 실행해야 하는 시간 및 결과를 해석하는 방법을 이해하는 것이 중요합니다.

A/A 테스트란 무엇입니까?

A/A 테스트를 설명하기에 앞서 A/B 테스트를 검토하여 차이점에 대해 논의하는 것이 좋습니다.

표준 A/B 테스트에서 트래픽은 둘 이상의 서로 다른 경험에 할당됩니다. 한 가지 경험은 일반적으로 "제어"이며, 경험의 변형을 제어에 대해 테스트하여 주어진 지표에서 가장 많은 상승도를 만드는 경험을 확인합니다.

그러나 A/A 테스트에는 일반적으로 50/50 트래픽 할당 분할로 두 개의 동일한 경험에 트래픽을 할당하는 작업이 포함됩니다. 표준 A/B 테스트에서는 일반적으로 전환의 상승도를 검색하려고 합니다. 이는 일반적으로 가 있는지 확인하는 것이 목표인 A/A 테스트와 다릅니다. 아니요 동일한 경험 간의 상승도 차이.

두 개의 동일한 경험을 테스트하고 어떤 작업을 수행하려고 합니까?

일부 조직에서는 다음과 같은 새로운 테스트 도구를 구현할 때 A/A 테스트를 수행합니다. Target을 클릭하여 다음 여부를 결정합니다.

  • 활동이 올바르게 설정됨
  • 코드가 올바르게 구현되었습니다.
  • 보고가 정확함

A/A 테스트를 실행하는 조직은 거의 없지만 도구를 구현한 후 또는 전환 및 매출에 영향을 줄 수 있는 A/B 테스트를 수행하기 전에 신뢰를 구축하기 위해 "온전한" 실험으로 실행하는 것이 좋습니다.

경험이 동일한데 한 경험에 대한 상승도가 표시되는 이유는 무엇입니까?

한 경험에서 다른(동일한) 경험보다 상승도를 볼 수 있는 이유는 여러 가지가 있습니다.

A/A 테스트는 지속적으로 모니터링되었습니다

A/A 테스트를 포함하여 모든 종류의 테스트를 실행할 때 발생하는 일반적인 문제는 결과를 지속적으로 보고 통계적 중요도가 확인되는 즉시 테스트를 조기에 중단하고 우승 경험을 선언하는 것입니다. 분석가들은 흔히 "데이터 엿보기"라고 합니다. 데이터 피킹에는 성과가 더 좋은 경험을 판별하는 동안 테스트 데이터를 조기에 자주 확인하는 작업이 포함됩니다. 위험은 테스트를 조기에 중단하는 것이며, 이로 인해 결과가 무효화될 수 있습니다.

A/A 테스트에서는 두 경험이 동일하기 때문에 사실상 차이가 없어야 할 때 데이터 엿보기를 통해 분석가가 한 경험에서 상승도를 볼 수 있습니다. 실제로 A/A 테스트는 계속 볼 때 실제로 보장됨 테스트 중 특정 시점에서 "통계적 유의성"(즉, 95%와 같이 특정 임계값을 초과하는 신뢰도)을 보여 줍니다.

이를 방지하기 위해 일반 A/B 테스트와 마찬가지로 최소 효과 크기(아래에 있는 효과가 비즈니스에 중요하지 않음), 전력 및 허용 가능한 유의 수준을 기반으로 사용할 샘플 크기를 미리 결정해야 합니다.

A/A 테스트에서 목표는 다음과 같습니다. 아님 테스트가 원하는 샘플 크기에 도달한 후 통계적으로 중요한 결과를 확인합니다.

다음 Adobe Target 샘플 크기 계산기 는 목표로 하는 샘플 크기와 테스트를 실행하는 시간을 결정하는 데 도움이 되는 중요한 도구입니다.

또한 활동을 얼마나 오래 실행해야 하는지에 대한 정보와 기타 유용한 팁 및 요령은 다음 문서를 참조하십시오.

통계적 유의성은 테스트 결과에 영향을 줍니다

테스트의 유의 수준은 실제로 실제 차이가 없을 때 테스트가 두 개의 서로 다른 오퍼 간에 전환율에 상당한 차이를 보고했을 가능성을 결정합니다. 이를 긍정 오류(false positive) 또는 유형 I 오류라고 합니다. 유의 수준은 사용자가 지정한 임계값이며 적절한 유의 수준을 선택함에 있어 테스트에 포함되어야 하는 방문자 수와 긍정 오류 허용 한도 간에 차이가 있습니다.

A/A 및 A/B 테스트에서 일반적으로 사용되는 유의 수준은 5%이며, 이는 95%의 신뢰 수준(신뢰 수준 = 100% - 유의 수준)에 해당합니다. 신뢰 수준 95%는 테스트를 수행할 때마다 경험 간에 차이가 없더라도 통계적으로 유의미한 상승도를 감지할 가능성이 5%임을 의미합니다.

A/A 테스트로 95% 신뢰 수준을 달성하려고 한다고 가정해 봅시다. 95% 신뢰 수준에서 20개의 A/A 테스트 중 1개는 전환에서 통계적으로 유의한 상승도를 보여줄 수 있습니다. 90% 신뢰 수준에서, 10개 테스트 중 1개가 동일한 경험을 테스트할 때 전환에서 상승도를 보여줄 수 있습니다.

우수 사례

조직에서 A/A 테스트가 필요하다고 결정하는 경우 동일한 경험이 일시적으로 제어와 차이를 보일 수 있습니다. 이는 테스트 실행이 허용된 시간에 따라 정상일 수 있습니다. 이 차이는 더 많은 시간과 방문자를 고려할 때 축소되어야 합니다.

가장 좋은 방법은 일반 A/B 테스트 방법론을 사용하는 것입니다. 최소 관련 효과 크기, 원하는 파워 및 유의성을 기반으로 미리 샘플 크기를 결정하는 것입니다. Adobe Target 크기 계산기.

그런 다음 결론을 내리기 전에 적절한 시간과 방문자를 허용하고 테스트의 중요도 수준에 따라 한 경험이 상승도에 차이를 보이고 심지어 우승자로 선언될 가능성이 있다는 것을 기억하십시오.

이 페이지에서는