A/B 테스트의 통계적 계산

이 문서에서는 의 수동 A/Bn 테스트에 사용되는 자세한 통계적 계산 Adobe Target. 에 대한 정의가 제공됩니다 전환율, 전환율의 신뢰도 구간, 상승도, 상승도 신뢰 구간 을 참조하십시오, 및 신뢰도.

노트

이 문서의 정보는 A/B 테스트를 위한 Adobe Target 계산 이전에 이 사이트에서 다운로드할 수 있었던 pdf 파일입니다.

을 보여주는 Target 보고서 전환율, 평균 상승도 및 신뢰도 구간, 및 신뢰도 A/B 테스트 활동 중 하나를 선택합니다.

평균 성능

다음 섹션에서는 이전 그림에서 사용된 계산에 대해 설명합니다.

RPV(방문자당 전환율 및 매출) 캠페인

다음 그림은 전환율, 전환율의 신뢰도 구간, 및의 수 전환 에서 Target 보고서 세트에 대해 설명합니다. 예를 들어 첫 번째 줄은 경험 A에 대해 다음을 보여줍니다. a 전환율 is 25.81% with a 신뢰도 구간 건당 7.7%, 32건의 건전화기록이 기록된 건 연쇄폭발이었다. 124명의 방문자가 경험을 본 경우 이것은 32/124 = 25.81%와 같습니다.

전환율 또는 평균, umν, 각 경험에 대해 ν 실험에서는 해당 지표에 지정된 단위 수에 대한 지표 합계의 비율로 정의됩니다. Nν:

여기에서,

  • Y 은 각 단위에 대한 지표 값입니다 i: 해당 경험에 할당됩니다 ν.

  • 단위 합계 i 계산 방법론 선택에 따라 다릅니다.

    • If 방문자 수 를 계산 방법론으로 사용하는 각 단위는 활동 수명 동안 활동에서 고유한 참여자로 정의된 고유 방문자입니다.
    • If 방문 횟수 를 계산 방법론으로 사용하면, 각 단위는 다음 기간 동안 경험에 대한 고유 방문으로 정의된 고유한 방문입니다 Target 세션(고유 sessionId). 이 sessionId 변경 사항이나 방문자가 전환 단계에 도달하면 새 방문이 계산됩니다.
    • If 활동 노출 횟수 를 계산 방법론으로 사용하는 각 단위는 방문자가 활동의 모든 페이지를 로드할 때마다 정의된 고유한 노출입니다.

평균 신뢰 구간/전환율

전환율의 신뢰 구간은 기본 데이터와 일치하는 가능한 전환율의 범위로 직관적으로 정의됩니다.

실험을 실행할 때 주어진 경험에 대한 전환율은 예상 의 "true" 전환율. 이 추정의 불확실성을 수치화하려면 Target 는 신뢰 구간을 사용합니다. Target 는 항상 95% 신뢰 구간을 보고합니다. 즉, 장기적으로 계산되는 신뢰 구간의 95%에는 경험의 실제 전환율이 포함됩니다.

전환율의 95% 신뢰 구간 umν 는 값 범위로 정의됩니다.

여기서 평균에 대한 표준 오류는 다음과 같이 정의됩니다.

샘플 표준 편차의 공정한 추정이 사용되는 경우:

캠페인이 전환율 캠페인(즉, 전환 지표는 바이너리)이면 표준 오류가 감소하여 다음과 같이 됩니다.

상승도

다음 그림은 상승도 및 상승도 신뢰 구간 에서 Target 보고서. 숫자는 상승도 한계 범위의 평균을 나타내며 화살표는 상승도가 양수이거나 음수이면 반영됩니다. 신뢰도가 95%를 넘을 때까지 화살표가 회색으로 표시됩니다. 신뢰도가 임계값을 지나면 화살표는 양수 또는 음수 상승도를 기반으로 녹색 또는 빨간색으로 표시됩니다.

경험 간의 상승도 ν, 및 제어 경험 ν0 는 로 정의된 전환율의 상대 "델타"입니다

여기서 개별 전환율은 위에서 정의한 것과 같습니다. 더 간단하게,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

제어 경험의 전환율인 경우 ν0 0이면 상승도가 없습니다.

Confidence Interval of Lift

의 상자그림 그래프 평균 상승도 및 신뢰도 구간 열은 평균 값을 나타내고 95%를 나타냅니다 상승도 신뢰 구간. 상자그림 은 주어진 비제어 경험의 신뢰 구간에 통제되는 경험의 신뢰 구간에 겹치는 부분이 있으면 회색으로 표시되고, 주어진 경험의 신뢰 구간의 범위가 통제 경험의 신뢰 구보다 크거나 작을 때에는 녹색 또는 빨간색으로 표시됩니다.

경험 간의 상승도 표준 오류입니다 ν, 및 제어 경험 ν0 가 다음으로 정의됩니다.

지표 평균

그런 다음 상승도의 95% 신뢰 구간 은 다음과 같습니다.

이 계산은 "Delta" 메서드를 사용하며, 다음과 같이 설명합니다 이 문서의 자세한 내용

신뢰도

마지막 열에는 Target 보고서 세트에 대해 설명합니다. null 가설이 true인 경우, 경험의 신뢰도는 실제로 관찰된 것보다 덜 극단적인 결과를 얻을 확률(백분율로 표시됨)입니다. p 값 측면에서 표시되는 신뢰도는 1 - p 값. 직관적으로, 더 높은 신뢰도는 통제 경험과 비제어 경험이 동일한 전환율을 가질 가능성이 적다는 것을 의미합니다.

in Target양쪽의 꼬리표 웰치의 t 테스트 테스트 경험과 제어 경험 사이에 수행되어 테스트 및 제어 경험의 방법이 동일한지 테스트합니다. 우리는 일반적으로 실험을 실행하기 전에 두 그룹의 샘플 크기와 차이가 동일한지 모르므로 Target 또한 각 경험에 전송되는 트래픽의 비율을 불균등하게 가질 수도 있으므로 각 경험에 대한 분산이 같다고 가정하지 않습니다. 따라서, 웰치의 t-테스트는 학생의 t-테스트 대신 선택된다.

웰치의 t-테스트를 수행하기 위해, 먼저 t-통계와 자유도 계산을 시작한 다음, 두 개의 검증 t 테스트를 실행하여 p-값을 생성합니다. 마지막으로 p 값을 기준으로 신뢰도를 계산합니다.

다음 t"통계치는 두 개의 독립 임의 변수의 수단의 차이로 정의됩니다. νν0​을 차이의 표준 오차로 나눈 값입니다.

여기서 umvumv0 의 목적은 νν0 각각 및 의 차이값의 표준 오차 umvumv0 제공 대상:

여기서 시그마2개v시그마2개v0 두 경험의 차이가 있습니다 νν0 각각 및 NvNv0 에 대한 샘플 크기 νν0 각각 사용할 수 있습니다.

Welch의 t-test에서 자유의 정도는 다음과 같이 계산됩니다.

그리고 νν0 다음으로 정의됩니다.

그런 다음 p-value는 t-distribution:

마침내, 그 자신감은 Target 가 다음으로 정의됩니다.

계산을 오프라인으로 수행

다운로드한 CSV 보고서는 원시 데이터만 포함하며 A/B 테스트에 사용되는 방문자당 수입, 상승도 또는 신뢰도와 같이 계산된 지표는 포함하지 않습니다.

이러한 통계 수량을 계산하려면 Target의 Complete Confidence Calculator 활동의 값을 입력할 Excel 파일입니다.

이 페이지에서는