실험 패널

실험 패널을 통해 다양한 사용자 경험, 마케팅 또는 메시징의 변화를 비교하여 어떤 것이 특정 결과를 도출하는 데 가장 적합한지 판단할 수 있습니다. 온라인, 오프라인, Adobe 솔루션, Adobe Journey Optimizer 및 BYO(Bring Your Own) 데이터 등 모든 실험 플랫폼에서 A/B 실험의 상승도와 신뢰도를 평가할 수 있습니다.

자세한 내용 Adobe Customer Journey Analytics과 Adobe Target 간의 통합.

액세스 제어 access

실험 패널은 모든 Customer Journey Analytics 사용자가 사용할 수 있습니다. 다른 관리자 권한이나 사용 권한이 필요하지 않습니다. 단 설정(아래 1, 2단계)에는 관리자만 수행할 수 있는 작업이 있습니다.

계산된 지표의 새로운 함수 functions

상승도와 신뢰도라는 두 가지 새로운 고급 함수가 추가되었습니다. 자세한 내용은 참조 - 고급 함수를 참조하십시오.

1단계: 실험 데이터 세트로의 연결 만들 connection

권장되는 데이터 스키마는 실험 데이터가 두 개의 개별 차원에서 실험 및 변형 데이터를 포함하는 오브젝트 배열에 있는 것입니다. 두 차원 모두 단일 개체 배열입니다. 실험 데이터와 변형 데이터가 구분된 문자열에 있는 단일 차원의 실험 데이터가 있는 경우 데이터 보기의 하위 문자열 설정을 사용하여 패널에서 사용할 수 있도록 두 개로 분할할 수 있습니다.

실험 데이터가 수집됨 Adobe Experience Platform으로 Customer Journey Analytics에서 연결 만들기 하나 이상의 실험 데이터 세트로

2단계: 데이터 보기에 컨텍스트 레이블 추가 context-labels

Customer Journey Analytics 데이터 보기 설정에서 관리자는 을 추가할 수 있습니다. 컨텍스트 레이블 차원 또는 지표 및 다음과 같은 Customer Journey Analytics 서비스 실험 패널은 이러한 레이블을 목적에 사용할 수 있습니다. 실험 패널에는 두 가지의 미리 정의된 레이블이 사용됩니다.

실험 데이터가 포함된 데이터 보기에서 실험 데이터가 있는 차원 하나와 변형 데이터가 있는 차원 하나를 선택합니다. 그 다음 실험 및 변형 레이블이 있는 차원에 레이블을 지정합니다.

이 레이블이 없으면 함께 작동할 실험이 없어 실험 패널이 작동하지 않습니다.

3단계: 실험 패널 구성 configure

4단계: 패널 출력 보기 view

실험 패널은 실험의 성과를 더 잘 이해할 수 있도록 풍부한 데이터 및 시각화를 반환합니다. 패널 맨 위에는 선택한 패널 설정을 알려 주는 요약 줄이 제공됩니다. 언제든지 오른쪽 상단의 연필 편집을 클릭하여 패널을 편집할 수 있습니다.

또한 실험이 결정적인지 여부와 결과를 정리한 텍스트 요약을 얻을 수 있습니다. 결정성은 통계적 유의성을 기반으로 합니다. (아래 “통계 방법” 참조.) 상승도와 신뢰도가 가장 높은 최고의 성과 변형에 대한 요약 번호를 볼 수 있습니다.

선택한 각 성공 지표에 대해 하나의 자유 형식 테이블 및 하나의 전환율 트렌드가 표시됩니다.

선 차트를 통해 제어와 제어 변형의 성과를 비교할 수 있습니다.

5단계: 결과 해석 interpret

Adobe의 통계 방법 statistics

쉽게 해석이 가능하고 안전한 통계 추측을 제공하기 위해 Adobe는 항시 유효한 신뢰 시퀀스 기반의 통계 방법을 채택합니다.

신뢰 시퀀스는 신뢰 구간의 “순차적” 아날로그입니다. 신뢰 시퀀스가 무엇인지 이해하기 위해 실험을 백 번 반복하고 실험에 참여하는 모든 신규 사용자 ​에 대해 평균 비즈니스 지표(예: 이메일 열람율) 및 관련 95%-신뢰 시퀀스의 추정치를 계산한다고 가정해 보겠습니다.

95% 신뢰 시퀀스에는 100개의 실험 중 95개의 비즈니스 지표의 "참" 값이 포함됩니다. (95% 신뢰 구간은 모든 신규 사용자가 아닌 동일한 95% 적용 범위를 보장하기 위해 실험당 한 번만 계산할 수 있습니다.) 따라서 신뢰 시퀀스를 사용하면 가양성 오류율을 증가시키지 않고 실험을 지속적으로 모니터링할 수 있습니다. 즉, 결과를 “엿볼” 수 있습니다.

비임의 차원 해석 non-randomized

Customer Journey Analytics을 사용하면 분석가가 모든 차원을 "실험"으로 선택할 수 있습니다. 하지만 당신은 실험으로 선택된 차원이 무작위화된 사람이 아닌 분석을 어떻게 해석할 것인가?

예를 들어, 한 사람이 보는 광고를 생각해 보십시오. "광고 A" 대신 "광고 B"를 표시하기로 결정한 경우 일부 지표(예: 평균 매출)의 변화를 측정하는 데 관심이 있을 수 있습니다. 광고 A 대신 광고 B를 보여주는 인과적 효과는 마케팅 의사 결정에 도달하는데 있어서 핵심적으로 중요하다. 광고 A의 상태 quo를 광고 B의 대체 전략으로 대체한 경우, 이러한 인과 효과는 전체 모집단에 대한 평균 수익으로 측정될 수 있다.

A/B 테스트는 이러한 개입의 효과를 객관적으로 측정하기 위한 업계 내 Gold 표준입니다. A/B 테스트가 인과적 추정치를 발생시키는 중요한 이유는 가능한 변형 중 하나를 수신하기 위한 사람의 무작위 지정 때문입니다.

이제 무작위화에 의해 달성되지 않은 차원, 예를 들어 개인의 미국 상태를 고려하자. 우리 사람들이 주로 뉴욕과 캘리포니아 두 개 주에서 왔다고 가정해 보자. 한 겨울 의류 브랜드의 평균 매출액은 지역 날씨의 차이로 인해 두 주에서 차이가 날 수 있다. 이런 상황에서 날씨는 사람들의 지리적 상태가 다르다는 사실이 아니라 겨울 의류 판매의 진정한 인과 요인이 될 수 있다.

Customer Journey Analytics의 실험 패널을 사용하면 데이터를 개인의 상태에 따른 평균 수익 차이로 분석할 수 있습니다. 이와 같은 상황에서 산출물은 인과적 해석을 하지 않는다. 그러나 이러한 분석은 여전히 관심의 대상일 수 있습니다. 이는 인원의 주별 평균 수익 차이에 대한 추정치(불확실성 측정치와 함께)를 제공한다. 이를 "통계적 가설 테스트"라고도 합니다. 이 분석의 결과는 흥미로울 수 있지만, 반드시 실행 가능한 것은 아니며, 왜냐하면 우리는 사람들을 차원의 가능한 값 중 하나로 무작위화할 수 없고 또 때로는 무작위화할 수 없기 때문이다.

다음 그림은 이러한 상황을 대비합니다.

중재 X가 결과 Y에 미치는 영향을 측정하고자 할 때, 양자의 진짜 원인은 교란 요인 C일 가능성이 있다. 만약 X에 대한 사람을 무작위화함으로써 데이터가 달성되지 않는다면, 그 영향은 측정하기 더 어렵고, 분석은 C를 명시적으로 설명할 것이다. 무작위화는 C에 대한 X의 의존성을 깨뜨려서, 우리는 다른 변수에 대해 걱정할 필요 없이 Y에 대한 X의 영향을 측정할 수 있게 한다.

실험 패널에서 계산된 지표 사용

에 대한 자세한 내용은 이 블로그 게시물 을 참조하십시오. 실험 패널에서 파생 지표 사용.