A/A 테스트

사이트에서 Adobe Target을 사용하여 A/A 테스트를 수행하기 전에 A/A 테스트가 무엇인지, A/A 테스트를 수행할 수 있는 이유, 테스트를 실행해야 하는 시간, 결과를 해석할 수 있는 방법을 이해하는 것이 중요합니다.

A/A 테스트란 무엇입니까?

A/A 테스트를 설명하기 전에 A/B 테스트를 검토하여 차이점을 논의합니다.

표준 A/B 테스트에서 트래픽은 두 개 이상의 서로 다른 경험에 할당됩니다. 한 경험은 일반적으로 "제어"이며, 주어진 지표에서 가장 높은 상승률을 생성하는 경험을 확인하기 위해 제어를 통해 경험의 변형을 테스트합니다.

그러나 A/A 테스트에는 일반적으로 50/50의 트래픽 할당이 분할되어 동일한 두 경험에 트래픽을 할당하는 작업이 포함됩니다. 표준 A/B 테스트를 사용하면 일반적으로 전환의 증가를 검색하려고 합니다. 이 차이는 동일한 경험 간에 향상도에 no​의 차이가 있음을 결정하는 A/A 테스트와 일반적입니다.

두 개의 동일한 경험을 테스트하고 싶은 이유와 이를 통해 얻을 수 있는 것은 무엇입니까?

일부 조직은 Target과 같은 새 테스트 도구를 구현할 때 다음 여부를 결정하기 위해 A/A 테스트를 수행합니다.

• 활동이 올바르게 설정됨
• 코드가 올바르게 구현되었습니다.
• 정확한 보고

A/A 테스트를 실행하는 조직은 거의 없지만 도구를 구현한 후 또는 전환 및 매출에 영향을 줄 수 있는 A/B 테스트를 수행하기 전에 "안정성" 실험으로 실행하여 신뢰를 구축하는 것이 좋습니다.

경험이 동일할 때 한 경험에 대한 리프트가 표시되는 이유는 무엇입니까?

한 경험에서 다른(동일한) 경험 위에 향상도가 표시되는 이유는 여러 가지가 있습니다.

A/A 테스트는 충분히 오래 실행할 수 없습니다.

A/A 테스트를 비롯하여 모든 종류의 테스트를 실행하는 데 있어 일반적인 문제는 테스트를 너무 빨리 중지하고 우승 경험을 선언하는 것입니다. 분석가는 흔히 "데이터 열람"이라고 불리는 것을 합니다. 데이터 검색에는 성과가 더 좋은 경험을 확인하는 동시에 테스트 데이터를 신속하고 자주 보는 작업이 포함됩니다. 이 위험은 테스트 결과를 무효화할 수 있는 조기 실행을 중단하는 것입니다.

A/A 테스트에서는 두 경험이 동일하기 때문에 차이가 없을 것으로 판단되는 경우 데이터 검색으로 인해 분석가가 한 경험에서 상승을 보게 되는 경우가 많습니다. 시간과 충분한 방문 시간이 주어지면 상승률에서의 차이는 축소되어야 합니다.

일반적인 A/B 테스트와 마찬가지로 최소 효과 크기, 전력 및 중요도 레벨을 기준으로 사용할 샘플 크기를 미리 결정해야 합니다. A/A 테스트에서 목표는 원하는 샘플 크기에 도달한 후 통계적으로 유의한 결과를 보는 것이 아니라 not​입니다.

Adobe Target 샘플 크기 계산기는 테스트의 목표 샘플 크기 및 기간을 결정하는 데 도움이 되는 중요한 도구입니다.

• Adobe Target 크기 계산기

또한 활동을 실행하는 데 걸리는 시간 및 기타 유용한 팁과 트릭에 대한 자세한 내용은 다음 문서를 참조하십시오.

• A/B 테스트를 얼마 동안 실행해야 합니까?
• 10가지 일반적인 A/B 문제와 이를 피하는 방법

통계적 중요도는 테스트 결과에 영향을 줍니다.

테스트의 중요도 수준은 실제 차이가 없는 경우 테스트가 두 개의 서로 다른 오퍼 간 전환율의 중요한 차이를 보고하는지 여부를 결정합니다. 이를 거짓 긍정 또는 유형 I 오류라고 합니다. 중요도 레벨은 사용자가 지정한 임계값이며 적절한 중요도 레벨을 선택할 때 테스트에 포함되어야 하는 잘못된 양수에 대한 허용치와 방문자 수 간의 상쇄 상태가 있습니다.

A/A 및 A/B 테스트에서 일반적으로 사용되는 중요도 수준은 5%이며, 신뢰 수준은 95%(신뢰 수준 = 100% - 중요도 수준)에 해당합니다. 신뢰 수준 95%는 테스트를 수행할 때마다 경험 간에 차이가 없더라도 통계적으로 유의한 증가를 감지할 확률이 5%임을 의미합니다.

A/A 테스트를 통해 95% 신뢰 수준을 달성하고자 한다고 가정해 보십시오. 95% 신뢰 수준, 20A/A 테스트의 1은 통계적으로 상당한 전환율을 나타낼 수 있습니다. 신뢰 수준이 90%인 10개 테스트 중 1개가 동일한 경험을 테스트할 때 전환율이 향상될 수 있습니다.

우수 사례

조직에서 A/A 테스트가 필요하다고 결정하는 경우 동일한 경험이 제어와 일시적으로 차이를 보일 수 있습니다. 테스트가 허용된 시간에 따라 정상일 수 있습니다. 시간과 방문자가 더 많아지면 그 차이가 줄어들 것이다.

일반적인 A/B 테스트 방법을 사용하는 것이 좋습니다.Adobe Target 크기 계산기를 사용하여 최소 효과 크기, 원하는 전력 및 중요도에 따라 시간 대비 샘플 크기를 결정합니다.

그런 다음 결론에 도달하기 전에 적절한 시간 및 방문자를 허용할 수 있으며, 테스트의 중요도에 따라 한 경험이 향상도에 차이를 보일 수 있으며 심지어 우승자로 선언할 수도 있음을 기억하십시오.