실험 패널 experimentation-panel

실험 패널을 통해 다양한 사용자 경험, 마케팅 또는 메시징의 변화를 비교하여 어떤 것이 특정 결과를 도출하는 데 가장 적합한지 판단할 수 있습니다. 온라인, 오프라인, Target 또는 Journey Optimizer과 같은 Adobe 솔루션, BYO(Bring Your Own) 데이터 등 모든 실험 플랫폼에서 A/B 실험의 상승도와 신뢰도를 평가할 수 있습니다.

Adobe Customer Journey Analytics과 Adobe Target 간의 통합에 대해 자세히 알아보세요.

액세스 제어 access

실험 패널은 모든 Customer Journey Analytics 사용자가 사용할 수 있습니다. 다른 관리자 권한이나 사용 권한이 필요하지 않습니다. 그러나 사전 요구 사항에는 관리자만 수행할 수 있는 작업이 필요합니다.

계산된 지표의 함수

상승도와 신뢰도의 두 가지 고급 기능을 사용할 수 있습니다. 자세한 내용은 참조 - 고급 함수를 참조하십시오.

사전 요구 사항

실험 패널을 사용하려면 다음 전제 조건을 따라야 합니다.

실험 데이터 세트에 대한 연결 만들기

권장되는 데이터 스키마는 실험 데이터가 두 개의 개별 차원에서 실험 및 변형 데이터를 포함하는 개체 배열에 있는 것입니다. 두 차원은 single 개체 배열에 있어야 합니다. 실험 데이터와 변형 데이터가 구분된 문자열에 있는 단일 차원의 실험 데이터가 있는 경우 데이터 보기의 하위 문자열 설정을 사용하여 패널에서 사용할 수 있도록 차원을 두 개로 분할할 수 있습니다.

실험 데이터가 Adobe Experience Platform으로 수집되면 하나 이상의 실험 데이터 세트에 대한 Customer Journey Analytics에서 연결을 만듭니다.

데이터 보기에서 컨텍스트 레이블 추가

Customer Journey Analytics 데이터 보기 설정에서 관리자는 차원 또는 지표에 컨텍스트 레이블을(를) 추가할 수 있으며, 실험 패널과 같은 Customer Journey Analytics 서비스에서는 이러한 레이블을 목적에 사용할 수 있습니다. 실험 패널에는 두 가지의 미리 정의된 레이블이 사용됩니다.

실험 데이터가 포함된 데이터 보기에서 실험 데이터가 있는 차원 하나와 변형 데이터가 있는 차원 하나를 선택합니다. 그런 다음 실험 및 실험 변형 레이블을 사용하여 해당 차원에 레이블을 지정합니다.

이 레이블이 없으면 함께 작동할 실험이 없어 실험 패널이 작동하지 않습니다.

사용

실험 패널을 사용하려면:

패널 입력

실험 패널을 사용하려면:

패널 출력

실험 패널은 실험의 성과를 더 잘 이해할 수 있도록 풍부한 데이터 및 시각화를 반환합니다. 패널 맨 위에는 선택한 패널 설정을 알려 주는 요약 변경 시각화가 제공됩니다. 언제든지 오른쪽 상단의 연필 편집을 선택하여 패널을 편집할 수 있습니다.

또한 실험이 결정적인지 여부와 결과를 정리한 텍스트 요약을 얻을 수 있습니다. 결정성은 통계적 유의성을 기반으로 합니다(통계적 방법 참조). 상승도와 신뢰도가 가장 높은 최고의 성과 변형에 대한 요약 번호를 볼 수 있습니다.

선택한 각 성공 지표에 대해 자유 형식 테이블 시각화 및 전환율 선 시각화가 표시됩니다.

결과 해석

Adobe의 통계 방법 statistics

쉽게 해석이 가능하고 안전한 통계 추측을 제공하기 위해 Adobe는 항시 유효한 신뢰 시퀀스 기반의 통계 방법을 채택합니다.

신뢰 시퀀스가 신뢰 구간의 순차적 아날로그입니다. 신뢰 시퀀스가 무엇인지 이해하기 위해 실험을 백 번 반복한다고 상상해 보십시오. 실험에 참여하는 모든 새 사용자 ​에 대한 평균 비즈니스 지표(예: 이메일 열람율) 및 관련 95% 신뢰 시퀀스의 추정치를 계산합니다.

95% 신뢰 시퀀스에는 100개의 실험 중 95개의 비즈니스 지표의 "참" 값이 포함됩니다. (95% 신뢰 구간은 모든 신규 사용자가 아닌 동일한 95% 적용 범위를 보장하기 위해 실험당 한 번만 계산할 수 있습니다.) 따라서 신뢰 시퀀스를 사용하면 거짓 양성 오류율을 증가시키지 않고 실험을 지속적으로 모니터링할 수 있습니다. 즉, 결과를 "엿볼" 수 있습니다.

비임의 차원 해석 non-randomized

Customer Journey Analytics을 사용하면 분석가가 임의의 차원을 실험으로 선택할 수 있습니다. 하지만 당신은 실험으로 선택된 차원이 무작위화된 사람이 아닌 분석을 어떻게 해석할 것인가?

예를 들어, 한 사람이 보는 광고를 생각해 보십시오. 광고 A 대신 광고 B ​을(를) 표시하기로 결정한 경우 일부 지표(예: 평균 매출)의 변화를 측정하는 데 관심이 있을 수 있습니다. 광고 A 대신 광고 B를 보여주는 인과적 효과는 마케팅 의사 결정에 도달하는데 있어서 핵심적으로 중요하다. 광고 A의 상태 quo를 광고 B의 대체 전략으로 대체한 경우, 이 인과 효과는 전체 모집단에 대한 평균 매출로 측정될 수 있습니다.

A/B 테스트는 이러한 개입의 효과를 객관적으로 측정하기 위한 업계 내 Gold 표준입니다. A/B 테스트가 인과적 추정치를 발생시키는 중요한 이유는 가능한 변형 중 하나를 수신하기 위한 사람의 무작위 지정 때문입니다.

이제 무작위화에 의해 달성되지 않은 차원, 예를 들어 개인의 미국 상태를 고려하자. 사람들은 주로 뉴욕과 캘리포니아 두 개 주에서 옵니다. 한 겨울 의류 브랜드의 평균 매출액은 지역 날씨의 차이로 인해 두 주에서 차이가 날 수 있다. 이런 상황에서 날씨는 사람들의 지리적 상태가 다르다는 사실이 아니라 겨울 의류 판매의 진정한 인과 요인이 될 수 있다.

Customer Journey Analytics의 실험 패널을 사용하면 데이터를 개인의 상태에 따른 평균 수익 차이로 분석할 수 있습니다. 이와 같은 상황에서 산출물은 인과적 해석을 하지 않는다. 그러나 이러한 분석은 여전히 관심의 대상일 수 있습니다. 이는 인원의 주별 평균 수익 차이에 대한 추정치(불확실성 측정치와 함께)를 제공한다. 이 값을 통계적 가설 테스트 ​라고도 합니다. 이러한 분석의 결과는 흥미로울 수 있지만, 반드시 실행 가능한 것은 아니다. 단순히 무작위화하지 않았기 때문에 그리고 때때로 사람들을 차원의 가능한 값 중 하나로 무작위화할 수 없다.

다음 그림은 이러한 상황을 대비합니다.

중재 X가 결과 Y에 미치는 영향을 측정하고자 할 때, 양자의 진짜 원인은 교란 요인 C일 가능성이 있다. 만약 X에 대한 사람을 무작위화함으로써 데이터가 달성되지 않는다면, 그 영향은 측정하기 더 어렵고, 분석은 C에 대한 X의 의존성을 명백하게 설명한다. 무작위화는 C에 대한 X의 의존성을 깨뜨려서, 우리가 다른 변수에 대해 걱정할 필요 없이 Y에 대한 X의 영향을 측정할 수 있게 한다.

실험에서 계산된 지표 사용 use-in-experimentation

일부 계산된 지표가 실험 패널과 호환되는 것은 아닙니다.

다음 지표 또는 상수를 포함하는 계산된 지표는 실험 패널과 호환되지 않습니다.

실험 패널과 호환되지 않는 계산된 지표는 계산된 지표를 만들 때 제품 호환성 필드에 Customer Journey Analytics의 모든 곳(실험 제외) 값이 있습니다. 계산된 지표를 만드는 방법에 대한 자세한 내용은 지표 작성을 참조하십시오.

실험 패널에서 계산된 지표 사용

실험 패널에서 계산된 지표를 사용하는 방법에 대한 자세한 내용은 이 블로그 게시물을 참조하세요.