설명서TargetTarget 안내서

자동 할당 보고서 해석

Last update: Wed Sep 20 2023 00:00:00 GMT+0000 (Coordinated Universal Time)

의 결과 해석 자동 할당 의 A/B 활동 Adobe Target 상승도와 신뢰도를 포함한 중요한 지표를 조사함으로써.

많은 마케터가 결과가 명확한 승자를 표시하기 전에 가장 성과가 좋은 경험을 조급하게 선언합니다. Target 우승자를 쉽게 결정할 수 있습니다.

우승자 선언에 대한 일반 정보는 다음을 참조하십시오. 10가지 일반적인 A/B 테스트 위험 및 이를 피하는 방법.

우수성이 검증된 경험 식별 section_24007470CF5B4D30A06610CE8DD23CE3

자동 할당 기능을 사용하는 경우 Target에서는 활동이 충분히 신뢰할 수 있는 최소 전환 수에 도달하기 전까지 활동의 페이지 상단에 "아직 우승자 없음" 배지가 표시됩니다.

우승자 배지 없음

명백한 승자가 선언되면 Target 디스플레이 "우승자: 경험 X."

승자 이미지

NOTE
자동 할당 활동은 통제군과의 쌍별 비교를 수행할 뿐만 아니라 모든 선택 사항 중에서 최고의 경험을 찾도록 설계되었습니다.

자동 할당의 통계적 보장 section_7AF3B93E90BA4B80BC9FC4783B6A389C

A/B 활동이 끝나면 자동 할당 결정된 승자가 5%의 유효 긍정 오류(false positive) 비율을 갖도록 보증합니다. 이것은 5% 동안만 결정된 승자가 활동의 모든 경험 중에서 실제로 최고의 경험이 아님을 의미합니다. 의 경우 A/A 테스트 (동일한 경험 사용), Target 는 5% 미만의 시간 동안 테스트를 완료합니다. A/A 테스트(동일한 경험 사용)에 대한 예상 동작은 무기한으로 실행되는 것이므로 승자 배지가 나타나지 않아야 합니다.

Target 다음에 대한 p 값 기반 신뢰도를 사용하지 않음: 자동 할당.

다음 신뢰도 의 열 자동 할당 활동(아래 그림 참조)은 경험이 오류 1% 이내의 승자가 될 확률을 표시합니다. 알고리즘에서는 최고 전환율과 차순위 전환율 간에 최소 1%의 감지 가능한 효과를 사용합니다. 알고리즘에서는 베른슈타인 부등식 이 확률을 계산합니다.

일반 A/B 테스트는 p 값을 기반으로 신뢰도를 계산합니다. 자동 할당에서는 p 값을 사용하지 않습니다. ​ p 값은 주어진 경험이 통제 경험과 다를 확률을 "대략" 계산합니다. 이 p값은 경험이 통제 경험과 다른지 여부를 판별하는 데에만 사용할 수 있습니다. 이 값은 경험이 통제 경험이 아닌 다른 경험과 다른지 판별하는 데에는 사용할 수 없습니다.

IMPORTANT
Target 사전 정의된 최소 전환 수 이후의 우승자를 표시합니다. 그러나 우승자를 선택하는 최종 결정은 항상 의 결과에 있어야 합니다. Adobe Target 샘플 크기 계산기. Target 은 사이트의 기본 전환율과 활동 기간을 결정하기 위해 계산기에 제공되는 기타 중요한 측면을 고려하지 않습니다. 그 결과, Target 은 최소 전환 수에 따라 보장된 것보다 먼저 우승자를 표시할 수 있습니다. 자세한 내용은 샘플 크기 계산기.

의 상승도 및 신뢰도 보고 이해 자동 할당 활동 lift-confidence

위치 자동 할당 활동에서 첫 번째 경험(기본적으로 경험 A라고 함)은 항상 보고서 탭. 이 경험은 경험의 성능을 결정하는 데 사용되는 모델링에서 진정한 통계 제어로 취급되지 않지만, 보고서의 일부 수치에 대한 참조 또는 기준선으로 취급됩니다.

각 경험에 대한 "상승도" 숫자 값과 95% 한계는 항상 정의된 "제어" 경험을 참조하여 계산됩니다. 정의된 "제어" 경험은 자신에 대해 상승도를 가질 수 없으므로 이 경험에 대해 빈 "—" 값이 보고됩니다. A/B 테스트에서와 달리 자동 할당 테스트에서는 경험이 정의된 제어보다 낮은 성과를 보이는 경우, 음수 상승도 값이 보고되지 않고 대신 "—"이 표시됩니다.

표시된 신뢰 구간 막대는 경험 전환율의 평균 예상 주위의 95% 신뢰 구간을 나타냅니다. 이러한 막대는 정의된 "제어" 경험과 관련하여 색상으로 구분됩니다. "제어" 경험의 막대는 항상 회색으로 표시됩니다. "제어" 경험의 신뢰 구간 아래의 신뢰 구간 부분은 빨간색으로 표시되고 "제어" 경험 위의 신뢰 구간 부분은 녹색으로 표시됩니다.

우승 경험은 선행 경험이 95%일 때 발견됩니다. 신뢰 구간 은(는) 다른 경험과 겹치지 않습니다. 우승 경험은 경험 이름 왼쪽과 "우승자" 배너에 녹색 별 배지가 지정됩니다. 별이 보이지 않을 때, 배너에는 "아직 우승자 없음"이라고 쓰여 있고 우승자는 아직 발견되지 않았습니다.

현재 선두이거나 우승한 경험 옆에도 "신뢰도" 수치가 보고됩니다. 이 수치는 주요 경험 이 신뢰도 은 최소 60%에 도달합니다. 에 두 개의 경험이 있는 경우 자동 할당 활동, 이 숫자는 다른 경험보다 경험이 더 잘 수행하고 있다는 신뢰 수준을 나타냅니다. 에 경험이 두 개 이상 있는 경우 자동 할당 활동, 이 숫자는 정의된 "제어" 경험보다 경험이 더 잘 수행하고 있다는 신뢰 수준을 나타냅니다. 제어 경험이 이기는 경우 "신뢰도" 수치가 보고되지 않습니다.

자주 묻는 질문 section_C8E068512A93458D8C006760B1C0B6A2

FAQ에 대한 다음 답변을 고려하십시오.

활동을 시작한 지 며칠이 되었습니다. 모든 신뢰도 값이 여전히 0%로 표시되는 이유는 무엇입니까?

모든 활동에 대해 보고서의 신뢰도 열에 0%가 표시되는 이유는 다음 중에 있습니다.

  • 수동 A/B 테스트 및 자동 할당 다른 통계를 사용하여 표시 신뢰도 값.

    수동 A/B 테스트는 다음을 기준으로 p 값 사용 웰치 티테스트. p 값은 실제로는 경험과 제어에서 관찰되는(또는 더 극단적인) 차이가 없다는 것을 감안할 때 그러한 차이를 찾을 확률입니다. 이러한 p 값은 관찰된 데이터가 주어진 경험과 일치하는지와 제어가 동일한지 여부를 결정하는 데만 사용할 수 있습니다. 이 값은 경험이 통제 경험이 아닌 다른 경험과 다른지 판별하는 데에는 사용할 수 없습니다.

    자동 할당 은 활동의 모든 경험에서 특정 경험이 진정한 승자가 될 확률을 보여 줍니다. 우승 경험(우승자일 가능성이 가장 높음)에만 0이 아닌 신뢰도 값이 있습니다. 다른 모든 것들은 패배자일 가능성이 가장 높고 0%를 표시합니다.

  • 자동 할당은 가장 성과가 좋은 경험이 60% 신뢰도를 모은 후에만 신뢰도 표시를 시작합니다. ​ 이러한 신뢰 수준은 일반적으로 일반 A/B 테스트가 완료되는 데 걸리는 시간의 약 절반에 나타납니다(이 시간대는 보장되지 않지만). 일반 A/B 테스트가 실행되는 시간을 확인하려면 Adobe Target 샘플 크기 계산기: 제어의 전환율을 "기본 전환율", "5%"는 "상승도", 95%는 "신뢰도"에 연결합니다. 일반적으로 신뢰도는 각 경험이 경험당 필요한 샘플을 50% 이상 축적하면 표시를 시작합니다. 이는 신뢰가 언제부터 나타나기 시작하는지 짐작하게 한다.

  • 보고서가 보드 전체에서 0%를 표시한다면 활동이 너무 이른 것일 수 있습니다.

보고 소스로서의 Analytics (A4T)를 사용하는 자동 할당 활동에 “우승자 없음”, “우승자” 및 “별” 배지를 사용할 수 있습니까?

"아직 우승자 없음" 및 "우승자" 배지는 현재 A4T 패널 위치 Analysis Workspace. 동일한 보고서를에서 보는 경우에는 이러한 배지도 사용할 수 없습니다 Target. 에 표시된 우승자 "별" 배지 Target 다음에 대한 보고서 자동 할당 A4T를 사용하는 활동은 무시해야 합니다.

이 제한 사항과 기타 제한 사항 및 메모에 대한 자세한 내용은 자동 할당 위치: 에 대한 A4T 지원 자동 할당 및 자동 타기팅 활동.

recommendation-more-help
3d9ad939-5908-4b30-aac1-a4ad253cd654