실험 설계 스프레드시트

이 파일은 워크시트의 기능뿐만 아니라 실험에 대한 의사 결정 기록으로도 작동합니다.

실험 디자인에 도움이 필요한 경우 Adobe에서 제공하는 실험 디자인 스프레드시트(VS Controlled Experiment Design.xls로 이름)를 사용할 수 있습니다.

실험 디자인 스프레드시트는 문제의 지표가 일부 기준을 충족하는 방문자의 백분율로 정의된 경우에만 유용한 통계 참조를 제공할 수 있습니다. 즉, 방문자 기반 지표 가설을 테스트하는 경우에만 유용합니다.

실험 디자인 파일을 사용하여 실험을 디자인하려면

  1. 웹 또는 응용 프로그램 서버에 대한 관리자 액세스 권한이 있는 경우 웹 클러스터 Sensor 의 모든 컴퓨터에 있는 설치 Sensor 폴더로 이동합니다. 관리자 액세스 권한이 없는 경우 Adobe 계정 관리자에게 문의하여 파일을 요청하십시오.

  2. VS Controlled Experiment Design.xls 파일을 엽니다. 원할 경우 이 파일의 이름을 변경할 수 있습니다.

    다음 페이지의 스프레드시트는 이 안내서 전체에서 사용되는 예제 가설을 테스트하기 위해 준비할 때 스프레드시트를 완료하는 방법의 예입니다.

  3. 다음 표에 설명된 대로 이 파일의 모든 필드에 대해 파란색으로 텍스트나 값을 입력합니다. 계산된 필드는 두 번째 테이블에 정의됩니다.

이 필드에서.. 분류에 사용할
실험 제목 실험용 설명 이름입니다.
실험 설명 실험에 대한 텍스트 설명입니다.
조사 중인 지표

실험 기반이 되는 지표의 이름입니다.

예:방문자 전환

지표 정의

실험 기반이 되는 지표의 정의입니다.

형식:방문자[X]/방문자

예: 방문자[URI='conversionpage.asp']/방문자
예정 시작 시간 실험을 시작할 날짜와 시간입니다.
예상 종료 시간 실험 종료 날짜와 시간입니다.
적용 가능한 선택 (선택 사항) 데이터 세트를 추가로 세그먼트화할 차원 이름 및 요소 세트 또는 범위입니다.
실험 URI 당신의 가설에 관련된 URI입니다. 제어 그룹의 현재 URI와 테스트 그룹에 대해 만들었거나 만들 대체 URI를 정의합니다.
애플리케이션 선택에 필요한 지표 웹 사이트에 대해 기대하는 지표 값에 대한 제목입니다.
일별 평균 방문자 수 하루 평균 웹 사이트 방문자 수.
방문자 전환 웹 사이트의 평균 방문자 전환율입니다.
테스트 그룹의 지표 이름이 ...인지 확인합니다. 지표 값을 비교하는 방법에 대한 제목입니다.
컨트롤 그룹 값보다 높습니까? 실험 중에 테스트 그룹의 지표가 증가되었다고 결론 내릴 수 있게 하려면 이 필드를 True로 설정합니다. 결론을 도출하는 데 필요한 방문자 수를 줄이려면 이 필드를 False로 설정합니다. Adobe에서는 True로 설정하는 것이 좋습니다.
컨트롤 그룹의 값보다 작으시겠습니까? 실험 중에 테스트 그룹의 지표가 감소되었다고 결론 내릴 수 있게 하려면 이 필드를 True로 설정합니다. Adobe에서는 True로 설정하는 것이 좋습니다.
최소(감지 수준) 테스트 그룹의 지표가 제어 그룹의 지표보다 높거나 낮아야 하는 백분율입니다.
최소 신뢰 수준 테스트 그룹 값에 대해 원하는 신뢰 수준. 신뢰 수준은 지정된 기대가 참일 가능성을 측정하는 잘못된 긍정의 수를 결정합니다.
및 테스트 그룹 값에 대해 원하는 전원 수준. 전원 수준은 잘못된 네거티브 수를 결정합니다.
방문자 % 방문자 값 비율을 나타내는 머리글.
테스트 그룹 테스트 그룹에 포함할 방문자 백분율입니다. 방문자 섹션의 합계(일반적으로 100%) 필드의 값이 필요한 최소 방문자 수(테스트+제어 그룹) 필드의 값과 같거나 더 클 때까지 이 숫자를 사용하여 재생할 수 있습니다. 이 두 값 모두 다음 표에 설명되어 있습니다.
제어 그룹 제어 그룹에 포함할 방문자 백분율입니다.
기타 디자인 노트 나중에 참조용으로 저장할 모든 메모

나머지 필드는 입력한 값을 기반으로 계산되며 다음 표에 설명되어 있습니다.

필드 설명
애플리케이션 선택에 필요한 지표 웹 사이트에 대해 기대하는 지표 값에 대한 제목입니다.
기간당 예상 방문자 수 이 필드는 일반적으로 스프레드시트에 의해 자동으로 계산됩니다. 웹 사이트가 재방문자보다 더 많은 새 방문자를 수신하는 것으로 간주합니다. 이 경우가 아닌 경우 이 셀의 계산은 실험 동안 예상 실제 방문자 수로 덮어써야 합니다.
유형 I 오류에 대한 계산된 Z 점수 잘못된 긍정 결과의 Z 점수. 이것은 중간 통계 계산이다.
유형 II 오류에 대한 계산된 Z 점수 잘못된 음수 결과의 Z 점수. 이것은 중간 통계 계산이다.
필요한 최소 방문자 수(Test+제어 그룹) 지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 테스트에 필요한 최소 방문자 수는 기간당 예상 방문자 수 필드에 값의 백분율로 표시됩니다.
필요한 최소 방문자 수(Test+제어 그룹) 지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 테스트에 필요한 최소 방문자 수입니다. 이 값은 방문자 섹션의 합계(일반적으로 100%) 필드의 값보다 작거나 같아야 합니다.
최소 실험 시간(일) 지정된 신뢰 수준, 전원 수준 및 Z 점수를 충족하기 위해 실험을 실행해야 하는 최소 일 수입니다. 이 계산된 수는 기간당 예상 방문자 수 필드에 설명된 것과 동일한 문제를 따릅니다. 재방문자가 많은 웹 사이트의 경우 최소 실험 시간(일) 필드는 최소 방문자 필요 필드의 값과 같은 고유 방문자 수를 보는 데 걸리는 예상 일수입니다.
방문자 수 방문자 값에 대한 제목.
테스트 그룹 테스트 그룹에 필요한 방문자 수입니다.
제어 그룹 제어 그룹에 필요한 방문자 수입니다.
합계(보통 100%) 실험에 필요한 총 방문자 수입니다. 이 값은 필요한 최소 방문자 수(테스트+제어 그룹) 필드의 값과 같거나 커야 합니다.
그룹 정확도 테스트(Target 신뢰 수준) 테스트 그룹에 대해 계산된 지표의 측정된 값이 실제 값의 이 백분율 내에 있을 수 있는 지정된 신뢰 수준과 같은 가능성이 있음을 나타내는 백분율입니다.
제어 그룹 정확도(Target 신뢰 수준) 제어 그룹에 대해 계산된 지표의 측정된 값이 실제 값의 이 백분율 내에 있을 수 있는 지정된 신뢰 수준과 같은 가능성이 있음을 나타내는 백분율입니다.
Z 점수(Target 정확도) 테스트 평균에서 지정된 값의 표준 편차의 수입니다.
실제 신뢰 수준(Target 간격) 실험에 대한 신뢰 수준. 신뢰도는 명시된 기대가 참일 가능성을 측정합니다.
실제 간격(Target 신뢰 수준) 알 수 없는 모집단 매개 변수를 포함할 수 있는 예상 값 범위를 제공하는 실험에 대해 달성된 신뢰 구간 이 범위는 주어진 샘플 데이터 세트에서 계산됩니다.

필요한 최소 방문자 수(테스트+제어 그룹) 필드에서 값을 확인해야 합니다…

열 합계 필드의 값과 비교할 수 Visitors 있습니다.

테스트를 통계적으로 유효화하려면 [합계(일반적으로 100%)] 필드의 값이 [최소 방문자 필요(테스트+제어 그룹)] 필드의 값과 같거나 이보다 커야 합니다.

제공된 입력과 함께 예제 워크시트는 입력 95% 신뢰 비율(이 수를 늘릴 수 있지만 제어 실험에 대해 제안된 최소 신뢰도인 10,475명의 방문자가 참여해야 한다는 것을 보여줍니다. 현재 디자인된 이 실험에는 필요한 최소 방문자 수를 훨씬 넘는 3만 명의 방문자가 있습니다.

같은 기간(일)을 유지하면 총 방문자 수가 회의 수를 계속하거나 필요한 최소 수를 초과하는 경우 신뢰 수준을 높일 수 있습니다.

  1. 기록을 위해 파일을 저장한 다음 파일의 정보를 사용하여 실험 구성 스프레드시트를 사용하여 실험을 구성합니다. 이 스프레드시트에 대한 자세한 내용은 실험 구성 및 배포를 참조하십시오.

이 페이지에서는