[Beta]{class="badge informative"}
샘플 크기 계산기
샘플 크기 계산기를 사용하면 실험을 시작하기 전에 실험 계획에 필요한 입력을 예측할 수 있습니다. 계산기는 필요한 트래픽의 양, 테스트를 실행해야 하는 시간, 포함할 경험의 수 또는 제공한 값을 기반으로 안정적으로 감지할 수 있는 최소 효과를 결정하는 데 도움이 됩니다.
샘플 크기 계산기에 액세스하려면 활동 메뉴로 이동하십시오.
A/B(Target 보고)
A/B 테스트를 계획하고 실행하는 데 필요한 입력 예측 이러한 값은 필요한 트래픽의 양, 테스트를 실행해야 하는 시간, 그리고 실제로 감지할 수 있는 효과 크기를 결정하는 데 도움이 됩니다.
-
A/B(Target 보고) 탭에 액세스하여 A/B 테스트에 대한 계획 입력을 계산합니다.
-
수정 적용 옵션을 활성화하여 두 개 이상의 오퍼를 컨트롤과 동시에 비교하기 위한 신뢰 수준을 조정합니다.
-
지표 유형 선택:
-
전환율: 클릭 또는 구매와 같은 바이너리 결과에 대해 사용하며, 여기서 각 방문자는 작업을 완료하거나 완료하지 않습니다.
-
방문자당 매출: 방문자마다 값이 크게 다를 수 있는 매출 스타일 지표에 사용합니다.
-
-
매일 실험에 들어가는 사용자의 수인 일별 트래픽을(를) 지정하십시오.
-
테스트 설정에서 나머지 값을 입력하십시오.
-
오퍼 수: 컨트롤을 포함한 실험의 경험 수입니다. 두 개 이상의 오퍼가 활성화되면 전체 신뢰 수준을 유지하기 위해 Bonferroni 수정 이 적용됩니다.
-
상승도: 검색하려는 기준선에 대한 상대적 개선 사항입니다. 베이스라인의 백분율로 입력합니다(예: 11.8% 베이스라인 전환율 목표의 5% 상승도 12.39%).
-
-
실험이 시작되기 전에 현재 경험에 대한 기준선 전환율을 지정하십시오.
-
고급 통계 설정을 확장하여 선택한 계산에 사용할 수 있는 경우 추가 통계 입력을 제공할 수 있습니다.
-
신뢰 수준: 결과가 우연에 의한 것이 아닐 가능성. 95% 수준은 긍정 오류(false positive)의 가능성을 5% 허용합니다.
-
통계적 검증력: 실제 효과를 감지할 가능성. 80%의 전력은 거짓 음성을 감소시키지만 더 많은 트래픽이나 시간을 필요로 합니다.
-
-
계산 실행을 선택하여 예상 값을 생성합니다. 현재 입력을 지우고 다시 시작하려면 재설정을 선택하세요.
필수 필드를 완료하고 계산을 실행한 후 결과 패널에 예상 값이 표시됩니다. 필수 필드가 불완전한 경우, 패널에 누락된 값을 입력하라는 메시지가 표시됩니다.
계산기는 실험을 계획하기 위한 추정치를 제공한다. 활동 실행 시간을 결정할 때 실험 설계, 예상 트래픽, 기준 성능 및 통계 요구 사항과 함께 결과를 사용합니다.
A/B(CJA/Adobe Analytics)
Adobe Analytics 또는 Customer Journey Analytics 데이터에 의존하는 A/B 활동에 대한 계획 입력을 예측합니다. 활동을 시작하기 전에 실험 크기, 예상 상승도 및 테스트 기간을 정의하는 데 도움이 됩니다.
-
A/B(CJA/Adobe Analytics) 탭에 액세스하여 A/B 테스트에 대한 계획 입력을 계산합니다.
-
알고 싶은 내용에서 계산기에서 확인할 값을 선택하십시오.
- 기간: 테스트를 염두에 두고 있으며 실행하는 데 걸리는 시간과 실행할 가치가 있는지 알고 싶습니다.
- 경험 수: 실험을 실행할 위치가 있으며 트래픽이 지원할 수 있는 처리 수를 파악하고자 합니다.
- 트래픽 볼륨: 염두에 둔 실험이 있으며 통계적 중요도에 도달하기 위해 필요한 방문자 수를 알고 싶어합니다.
- 최소 감지 가능한 효과: 실행하려고 하지만 통계적 중요도에 도달하기 위해 필요한 상승도의 양을 알고 싶은 실험이 있습니다. 이는 실험이 실행할 가치가 있는지 또는 계획할 가치가 있는지 평가하는 데 도움이 됩니다.
선택한 값에 따라 양식의 필드가 변경됩니다. 계산기는 다른 입력을 사용하여 선택된 결과를 결정합니다.
-
매일 실험에 들어가는 사용자의 수인 일별 트래픽을(를) 지정하십시오.
-
테스트 설정에서 나머지 값을 입력하십시오.
-
경험 수: 컨트롤을 포함한 변형 수입니다. 더 많은 변형에는 더 많은 트래픽이 필요합니다.
-
A/B 테스트 기간: 실험이 실행되는 일수입니다. 더 긴 검사는 더 작은 효과를 검출할 수 있습니다.
-
예상되는 개선 사항: 실험이 만들어낼 것으로 기대하는 개선 사항입니다.
-
분산: 지표 값의 분산 정도. 클릭스루 비율은 일반적으로 변량이 적으므로 사용자당 매출이 훨씬 높을 수 있습니다. 확실하지 않은 경우 기본값인 1을 그대로 두십시오.
Analytics 설명서에서 분산을 계산하는 방법을 알아봅니다.
-
-
고급 통계 설정을 확장하여 선택한 계산에 사용할 수 있는 경우 추가 통계 입력을 제공할 수 있습니다.
-
신뢰 수준: 결과가 우연에 의한 것이 아닐 가능성. 95% 수준은 긍정 오류(false positive)의 가능성을 5% 허용합니다. 신뢰 수준이 낮으면 더 적은 트래픽이 필요함을 의미하지만, 이는 긍정 오류(false positive)의 위험도 증가시킵니다.
-
통계적 검증력: 실제 효과를 감지할 가능성. 80%의 전력은 거짓 음성을 감소시키지만 더 많은 트래픽이나 시간을 필요로 합니다.
-
-
계산 실행을 선택하여 예상 값을 생성합니다. 현재 입력을 지우고 다시 시작하려면 재설정을 선택하세요.
필수 필드를 완료하고 계산을 실행한 후 결과 패널에 예상 값이 표시됩니다. 필수 필드가 불완전한 경우, 패널에 누락된 값을 입력하라는 메시지가 표시됩니다.
계산기는 실험을 계획하기 위한 추정치를 제공한다. 활동 실행 시간을 결정할 때 실험 설계, 예상 트래픽, 기준 성능 및 통계 요구 사항과 함께 결과를 사용합니다.