실험 패널

실험 패널을 통해 다양한 사용자 경험, 마케팅 또는 메시징의 변화를 비교하여 어떤 것이 특정 결과를 도출하는 데 가장 적합한지 판단할 수 있습니다. 온라인, 오프라인, Adobe 솔루션, Adobe Journey Optimizer 및 BYO(Bring Your Own) 데이터 등 모든 실험 플랫폼에서 A/B 실험의 상승도와 신뢰도를 평가할 수 있습니다.

액세스 제어

실험 패널은 모든 Customer Journey Analytics(CJA) 사용자가 사용할 수 있습니다. 다른 관리자 권한이나 사용 권한이 필요하지 않습니다. 단 설정(아래 1, 2단계)에는 관리자만 수행할 수 있는 작업이 있습니다.

1단계: 실험 데이터 세트로의 연결 만들

권장되는 데이터 스키마는 실험 데이터가 두 개의 개별 차원에서 실험 및 변형 데이터를 포함하는 오브젝트 배열에 있는 것입니다. 실험 데이터와 변형 데이터가 구분된 문자열에 있는 단일 차원의 실험 데이터가 있는 경우 데이터 보기의 하위 문자열 설정을 사용하여 패널에서 사용할 수 있도록 두 개로 분할할 수 있습니다.

실험 데이터가 Adobe Experience Platform으로 수집되면 하나 이상의 실험 데이터 세트로 CJA에서 연결을 생성합니다.

2단계: 데이터 보기에 컨텍스트 레이블 추가

CJA 데이터 보기 설정에서 관리자는 차원 또는 지표에 컨텍스트 레이블을 추가할 수 있으며 이를 위해 실험 패널 같은 CJA 서비스로 이 레이블을 사용할 수 있습니다. 실험 패널에는 두 가지의 미리 정의된 레이블이 사용됩니다.

• 실험
• 실험 변형

실험 데이터가 포함된 데이터 보기에서 실험 데이터가 있는 차원 하나와 변형 데이터가 있는 차원 하나를 선택합니다. 그 다음 실험 및 변형 레이블이 있는 차원에 레이블을 지정합니다.

이 레이블이 없으면 함께 작동할 실험이 없어 실험 패널이 작동하지 않습니다.

3단계: 실험 패널 구성

1. CJA 작업 영역에서 실험 패널을 프로젝트로 드래그합니다.

1. 패널 입력 설정을 구성합니다.

   설정	정의
   실험	어떤 것을 영구적으로 유지하는 것이 최선인지 판단하기 위해 최종 사용자에게 공개된 경험의 변형 세트. 실험은 두 개 이상의 변형으로 구성되며, 그 중 하나는 제어 변형으로 간주됩니다. 이 설정은 데이터 보기에서 실험 레이블로 레이블 지정된 차원과 최근 3개월의 실험 데이터로 미리 채워집니다.
   제어 변형	최종 사용자 경험에서 두 가지 이상의 변경 중 하나로, 최선의 대안을 식별하기 위해 비교됩니다. 하나의 변형을 제어로 선택해야 하며, 하나의 변형만 제어 변형으로 간주될 수 있습니다. 이 설정은 데이터 보기에서 변형 레이블로 레이블 지정된 차원으로 미리 채워집니다. 이 설정은 이 실험과 관련된 변형 데이터를 가져옵니다.
   성공 지표	사용자가 변형을 비교하는 지표입니다. 전환 지표에 대해 가장 바람직한 결과를 나타내는 변형(최고 또는 최저)이 실험의 “최고 성과의 변형”으로 사용됩니다. 최대 5개의 지표를 추가할 수 있습니다.
   표준화 지표	테스트가 실행될 기본(사람, 세션 또는 이벤트). 예를 들어 테스트를 통해 전환율​이 세션당 전환 또는 사람당 전환​으로 계산된 여러 변형의 전환율을 비교할 수 있습니다.
   날짜 범위	날짜 범위는 선택한 실험에 대해 CJA에서 수신한 첫 번째 히트를 기반으로 자동 설정됩니다. 필요한 경우 더 구체적인 시간대로 날짜 범위를 제한하거나 확장할 수 있습니다.

2. 빌드​를 클릭합니다.

4단계: 패널 출력 보기

실험 패널은 실험의 성과를 더 잘 이해할 수 있도록 풍부한 데이터 및 시각화를 반환합니다. 패널 맨 위에는 선택한 패널 설정을 알려 주는 요약 줄이 제공됩니다. 언제든지 오른쪽 상단의 연필 편집을 클릭하여 패널을 편집할 수 있습니다.

또한 실험이 결정적인지 여부와 결과를 정리한 텍스트 요약을 얻을 수 있습니다. 결정성은 통계적 유의성을 기반으로 합니다. (아래 “통계 방법” 참조.) 상승도와 신뢰도가 가장 높은 최고의 성과 변형에 대한 요약 번호를 볼 수 있습니다.

선택한 각 성공 지표에 대해 하나의 자유 형식 테이블 및 하나의 전환율 트렌드가 표시됩니다.

선 차트를 통해 제어와 제어 변형의 성과를 비교할 수 있습니다.

5단계: 결과 해석

1. 실험이 결정적임: 실험 보고서를 볼 때마다 Adobe는 이 시점까지 실험에 누적된 데이터를 분석하고 항시 유효한 신뢰도가 적어도 하나​의 변형에 대해 임계값 95%를 넘으면 실험을 “결정적”이라고 선언합니다. (다중 가설 테스트를 수정하기 위해 두 개 이상의 팔이 있는 경우 Bonferonni 수정이 적용됨).

2. 최고 성과의 변형: 실험이 결정적이라고 선언되면 전환율이 가장 높은 변형을 “최고 성과의 변형”으로 레이블 지정합니다. 이 변형은 제어 또는 기준선 변형이거나, 항시 유효한 신뢰 임계값(Bonferonni 수정 적용 상태) 95%를 초과하는 변형 중 하나여야 합니다.

3. 전환율: 표시되는 전환율은 표준화 지표 값에 대한 성공 지표 값의 비율입니다. 지수가 이진수(실험의 각 단위당 1 또는 0)가 아닌 경우 이 값이 1보다 클 수 있습니다.

4. 상승도: 실험 보고서 요약에는 기준선 상승도가 표시되며, 이는 기준선에 대한 해당 변형의 전환율 개선 비율을 측정한 것입니다. 정확하게 정의하면 해당 변형과 기준선 간의 성과 차이를 기준선의 성과로 나눈 값이 백분율로 표시됩니다.

5. 신뢰도: 표시된 항시 유효한 신뢰도는 해당 변형이 제어 변형과 동일하다는 증거가 얼마나 있는지에 대한 확률론적 척도입니다. 신뢰도가 높을수록 제어 변형과 비제어 변형의 성과가 동일하다는 가정의 증거가 적다는 것을 나타냅니다. 더 정확히 말하면, 실제 기본 전환율에 차이가 없다면 표시되는 신뢰도는 해당 변형과 제어 사이의 전환율 차이가 더 작음을 관찰했을 확률(백분율로 표시)입니다. p-값의 경우 표시되는 신뢰도는 1-p-값입니다.

Adobe의 통계 방법

쉽게 해석이 가능하고 안전한 통계 추측을 제공하기 위해 Adobe는 항시 유효한 신뢰 시퀀스 기반의 통계 방법을 채택합니다.

신뢰 시퀀스는 신뢰 구간의 “순차적” 아날로그입니다. 신뢰 시퀀스가 무엇인지 이해하기 위해 실험을 백 번 반복하고 실험에 참여하는 모든 신규 사용자​에 대해 평균 비즈니스 지표(예: 이메일 열람율) 및 관련 95%-신뢰 시퀀스의 추정치를 계산한다고 가정해 보겠습니다.

95% 신뢰 시퀀스에는 100개의 실험 중 95개의 비즈니스 지표의 "참" 값이 포함됩니다. (95% 신뢰 구간은 모든 신규 사용자가 아닌 동일한 95% 적용 범위를 보장하기 위해 실험당 한 번만 계산할 수 있습니다.) 따라서 신뢰 시퀀스를 사용하면 가양성 오류율을 증가시키지 않고 실험을 지속적으로 모니터링할 수 있습니다. 즉, 결과를 “엿볼” 수 있습니다.

계산된 지표의 새로운 함수

상승도와 신뢰도라는 두 가지 새로운 고급 함수가 추가되었습니다. 자세한 내용은 참조 - 고급 함수를 참조하십시오.

Business.Adobe.com 리소스