이 파일은 워크시트의 기능뿐만 아니라 실험에 대한 의사 결정 기록으로도 작동합니다.
실험 디자인에 도움이 필요한 경우 Adobe에서 제공하는 실험 디자인 스프레드시트(VS Controlled Experiment Design.xls로 이름)를 사용할 수 있습니다.
실험 디자인 스프레드시트는 문제의 지표가 일부 기준을 충족하는 방문자의 백분율로 정의된 경우에만 유용한 통계 참조를 제공할 수 있습니다. 즉, 방문자 기반 지표 가설을 테스트하는 경우에만 유용합니다.
실험 디자인 파일을 사용하여 실험을 디자인하려면
웹 또는 응용 프로그램 서버에 대한 관리자 액세스 권한이 있는 경우 웹 클러스터 Sensor 의 모든 컴퓨터에 있는 설치 Sensor 폴더로 이동합니다. 관리자 액세스 권한이 없는 경우 Adobe 계정 관리자에게 문의하여 파일을 요청하십시오.
VS Controlled Experiment Design.xls 파일을 엽니다. 원할 경우 이 파일의 이름을 변경할 수 있습니다.
다음 페이지의 스프레드시트는 이 안내서 전체에서 사용되는 예제 가설을 테스트하기 위해 준비할 때 스프레드시트를 완료하는 방법의 예입니다.
다음 표에 설명된 대로 이 파일의 모든 필드에 대해 파란색으로 텍스트나 값을 입력합니다. 계산된 필드는 두 번째 테이블에 정의됩니다.
이 필드에서.. | 분류에 사용할 |
---|---|
실험 제목 | 실험용 설명 이름입니다. |
실험 설명 | 실험에 대한 텍스트 설명입니다. |
조사 중인 지표 | 실험 기반이 되는 지표의 이름입니다. 예:방문자 전환 |
지표 정의 | 실험 기반이 되는 지표의 정의입니다. 형식:방문자[X]/방문자 예: 방문자[URI='conversionpage.asp']/방문자 |
예정 시작 시간 | 실험을 시작할 날짜와 시간입니다. |
예상 종료 시간 | 실험 종료 날짜와 시간입니다. |
적용 가능한 선택 | (선택 사항) 데이터 세트를 추가로 세그먼트화할 차원 이름 및 요소 세트 또는 범위입니다. |
실험 URI | 당신의 가설에 관련된 URI입니다. 제어 그룹의 현재 URI와 테스트 그룹에 대해 만들었거나 만들 대체 URI를 정의합니다. |
애플리케이션 선택에 필요한 지표 | 웹 사이트에 대해 기대하는 지표 값에 대한 제목입니다. |
일별 평균 방문자 수 | 하루 평균 웹 사이트 방문자 수. |
방문자 전환 | 웹 사이트의 평균 방문자 전환율입니다. |
테스트 그룹의 지표 이름이 ...인지 확인합니다. | 지표 값을 비교하는 방법에 대한 제목입니다. |
컨트롤 그룹 값보다 높습니까? | 실험 중에 테스트 그룹의 지표가 증가되었다고 결론 내릴 수 있게 하려면 이 필드를 True로 설정합니다. 결론을 도출하는 데 필요한 방문자 수를 줄이려면 이 필드를 False로 설정합니다. Adobe에서는 True로 설정하는 것이 좋습니다. |
컨트롤 그룹의 값보다 작으시겠습니까? | 실험 중에 테스트 그룹의 지표가 감소되었다고 결론 내릴 수 있게 하려면 이 필드를 True로 설정합니다. Adobe에서는 True로 설정하는 것이 좋습니다. |
최소(감지 수준) | 테스트 그룹의 지표가 제어 그룹의 지표보다 높거나 낮아야 하는 백분율입니다. |
최소 신뢰 수준 | 테스트 그룹 값에 대해 원하는 신뢰 수준. 신뢰 수준은 지정된 기대가 참일 가능성을 측정하는 잘못된 긍정의 수를 결정합니다. |
및 | 테스트 그룹 값에 대해 원하는 전원 수준. 전원 수준은 잘못된 네거티브 수를 결정합니다. |
방문자 % | 방문자 값 비율을 나타내는 머리글. |
테스트 그룹 | 테스트 그룹에 포함할 방문자 백분율입니다. 방문자 섹션의 합계(일반적으로 100%) 필드의 값이 필요한 최소 방문자 수(테스트+제어 그룹) 필드의 값과 같거나 더 클 때까지 이 숫자를 사용하여 재생할 수 있습니다. 이 두 값 모두 다음 표에 설명되어 있습니다. |
제어 그룹 | 제어 그룹에 포함할 방문자 백분율입니다. |
기타 디자인 노트 | 나중에 참조용으로 저장할 모든 메모 |
나머지 필드는 입력한 값을 기반으로 계산되며 다음 표에 설명되어 있습니다.
필드 | 설명 |
---|---|
애플리케이션 선택에 필요한 지표 | 웹 사이트에 대해 기대하는 지표 값에 대한 제목입니다. |
기간당 예상 방문자 수 | 이 필드는 일반적으로 스프레드시트에 의해 자동으로 계산됩니다. 웹 사이트가 재방문자보다 더 많은 새 방문자를 수신하는 것으로 간주합니다. 이 경우가 아닌 경우 이 셀의 계산은 실험 동안 예상 실제 방문자 수로 덮어써야 합니다. |
유형 I 오류에 대한 계산된 Z 점수 | 잘못된 긍정 결과의 Z 점수. 이것은 중간 통계 계산이다. |
유형 II 오류에 대한 계산된 Z 점수 | 잘못된 음수 결과의 Z 점수. 이것은 중간 통계 계산이다. |
필요한 최소 방문자 수(Test+제어 그룹) | 지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 테스트에 필요한 최소 방문자 수는 기간당 예상 방문자 수 필드에 값의 백분율로 표시됩니다. |
필요한 최소 방문자 수(Test+제어 그룹) | 지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 테스트에 필요한 최소 방문자 수입니다. 이 값은 방문자 섹션의 합계(일반적으로 100%) 필드의 값보다 작거나 같아야 합니다. |
최소 실험 시간(일) | 지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 실험을 실행해야 하는 최소 일 수입니다. 이 계산된 수는 기간당 예상 방문자 수 필드에 설명된 것과 동일한 문제를 따릅니다. 재방문자가 많은 웹 사이트의 경우 최소 실험 시간(일) 필드는 최소 방문자 필요 필드의 값과 같은 고유 방문자 수를 보는 데 걸리는 예상 일수입니다. |
방문자 수 | 방문자 값에 대한 제목. |
테스트 그룹 | 테스트 그룹에 필요한 방문자 수입니다. |
제어 그룹 | 제어 그룹에 필요한 방문자 수입니다. |
합계(보통 100%) | 실험에 필요한 총 방문자 수입니다. 이 값은 필요한 최소 방문자 수(테스트+제어 그룹) 필드의 값과 같거나 커야 합니다. |
그룹 정확도 테스트(Target 신뢰 수준) | 테스트 그룹에 대해 계산된 지표의 측정된 값이 실제 값의 이 백분율 내에 있을 수 있는 지정된 신뢰 수준과 같은 가능성이 있음을 나타내는 백분율입니다. |
제어 그룹 정확도(Target 신뢰 수준) | 제어 그룹에 대해 계산된 지표의 측정된 값이 실제 값의 이 백분율 내에 있을 수 있는 지정된 신뢰 수준과 같은 가능성이 있음을 나타내는 백분율입니다. |
Z 점수(Target 정확도) | 테스트 평균에서 지정된 값의 표준 편차의 수입니다. |
실제 신뢰 수준(Target 간격) | 실험에 대한 신뢰 수준. 신뢰도는 명시된 기대가 참일 가능성을 측정합니다. |
실제 간격(Target 신뢰 수준) | 알 수 없는 모집단 매개 변수를 포함할 수 있는 예상 값 범위를 제공하는 실험에 대해 달성된 신뢰 구간 이 범위는 주어진 샘플 데이터 세트에서 계산됩니다. |
필요한 최소 방문자 수(테스트+제어 그룹) 필드에서 값을 확인해야 합니다…
열 합계 필드의 값과 비교할 수 Visitors 있습니다.
테스트를 통계적으로 유효화하려면 [합계(일반적으로 100%)] 필드의 값이 [최소 방문자 필요(테스트+제어 그룹)] 필드의 값과 같거나 이보다 커야 합니다.
제공된 입력과 함께 예제 워크시트는 입력 95% 신뢰 비율(이 수를 늘릴 수 있지만 제어 실험에 대해 제안된 최소 신뢰도인 10,475명의 방문자가 참여해야 한다는 것을 보여줍니다. 현재 디자인된 이 실험에는 필요한 최소 방문자 수를 훨씬 넘는 3만 명의 방문자가 있습니다.
같은 기간(일)을 유지하면 총 방문자 수가 회의 수를 계속하거나 필요한 최소 수를 초과하는 경우 신뢰 수준을 높일 수 있습니다.