설명서Journey OptimizerJourney Optimizer 안내서

Journey Optimizer Experimentation Accelerator 우수 사례 content-experiment-best-practices

Last update: Tue Sep 23 2025 00:00:00 GMT+0000 (Coordinated Universal Time)

작성 대상:

  • 초급
  • 사용자

A/B 테스트란 무엇입니까?

A/B 테스트는 정의된 목표에 대해 성과가 더 좋은 항목을 결정하기 위해 둘 이상의 버전을 비교하는 프로세스입니다.

참가자는 변형이라고 하는 한 버전에 임의로 할당되며 해당 행동이 추적됩니다. 결과는 한 버전이 다른 버전보다 통계적으로 우수한지 여부를 보여줍니다.

주요 용어

용어
정의
제어
비교를 위한 기준선으로 사용되는 원본 버전입니다.
변형 또는 치료
컨트롤에 대해 테스트하기 위해 만든 새 버전입니다.
가설
어떤 변화가 더 나은 결과를 그리고 왜 만들어 낼지에 대한 예측.
샘플 크기
테스트에 포함된 개인 또는 세션의 수입니다.
통계적 유의도
결과가 무작위 우연에 의한 것이 아니라는 신뢰의 척도.
상승도
통제와 비교한 변형의 개선 또는 감소 비율입니다.
기본 지표
테스트의 성공을 판별하는 데 사용되는 주요 측정값입니다.
보조 지표
추가적인 insight을 제공하거나 의도하지 않은 영향을 모니터링하는 데 도움이 되는 지표를 지원합니다.
신뢰 구간
실제 효과가 떨어질 것 같은 예상 범위.
세그먼트
독립적으로 분석된 대상자의 특정 하위 집합(예: 신규 사용자, 모바일 방문자).

실험 실행에 대한 우수 사례

  • 명확한 가설로 시작

    강한 가설은 당신이 변화하고 있는 것, 당신이 일어날 것으로 예상하는 것, 그리고 왜 그런지를 포함한다.
    예: Z로 인해 X를 변경하면 Y가 증가합니다.

  • 의미 있는 성공 지표 정의

    광범위한 목표에 부합하는 지표를 선택합니다. 보기엔 좋지만 실제 영향을 반영하지 않는 "가상" 지표를 피하십시오.

  • 한 번에 하나의 변경 내용을 테스트합니다(가능한 경우)

    변수를 격리하면 결과를 더 쉽게 정확하게 해석할 수 있습니다. 여러 변경 사항을 한 번에 테스트하면 영향을 준 원인이 무엇인지 알 수 없습니다.

  • 테스트를 충분히 오래 실행할 수 있도록 허용

    섣부른 결론은 오해의 소지가 있다. 행동하기 전에 통계적으로 유의한 표본 크기를 기다립니다.

  • 외부 요인에 주의하십시오

    계절성, 휴일 및 환경의 기타 변경으로 인해 결과가 왜곡될 수 있습니다. 테스트 중에 동작에 영향을 줄 수 있는 모든 항목을 문서화합니다.

  • 신중하게 세그먼테이션 사용

    대상 세그먼트별로 결과를 분류하면 숨겨진 패턴을 알 수 있지만 작은 샘플 크기를 지나치게 해석하지 않아도 됩니다.

  • 학습 문서 작성 및 공유

    무엇을 테스트하고, 왜, 무엇을 배웠는지 명확히 기록하십시오. 이를 통해 제도적 지식을 쌓고, 반복적인 실수가 발생하지 않도록 한다.

일반 지표

지표
측정 기준
사용 시기
전환율
원하는 작업을 완료한 사용자의 비율
목표 기반 경험의 성공 추적에 유용함
클릭스루 비율(CTR)
특정 요소를 클릭하는 사용자의 비율
경험이 얼마나 매력적인지 나타냅니다.
참여율
사용자가 경험에 대해 갖는 상호 작용 수준
관심 또는 주의 측정에 적합합니다.
바운스 비율
조치를 취하지 않고 빠르게 종료하는 사용자의 비율
부실한 적합 또는 혼동 경험의 신호를 보낼 수 있음
페이지에서 시간
사용자가 경험의 특정 부분에 소비한 시간입니다
관심 깊이 또는 복잡성을 반영할 수 있음
RPV(방문자당 매출)
사용자당 얻은 평균 수익
상거래 중심 실험에 자주 사용됩니다.
유지율
시간이 지남에 따라 돌아가거나 계속 참여하는 사용자의 비율
장기적인 가치 평가에 유용함

무엇이 좋은 실험을 만드는가?

좋은 실험은 단지 승리를 만들어내는 것이 아니라, 분명하고 실행 가능한 학습을 만들어낸다.
찾을 내용은 다음과 같습니다.

✓ 통계적 신뢰도: 변형 간의 차이는 우연한 기회에 의한 것일 가능성이 없습니다.
✓ 목표와 정렬: 기본 지표는 비즈니스 목표에 대한 의미 있는 진행률을 반영합니다.
✓ 2차 영향: 관련 지표에 심각한 부정적인 부작용이 없습니다.
✓ 확장성: 이 결과는 향후 의사 결정에 영향을 주거나 다른 영역으로 일반화될 수 있습니다.
✓ 명확성: 결과의 원인은 합리적으로 격리되고 이해됩니다.

실험은 단지 "최상의" 버전을 찾는 것이 아니라, 테스트와 반복을 통해 지식을 쌓는 것입니다. 잘 수행되면 실험은 더 현명한 의사 결정, 더 나은 사용자 경험 및 향상된 결과를 도출하는 통찰력을 보여줍니다.

recommendation-more-help

예:

  • 회사: 호텔 체인

  • 가설: 홈 페이지에서 더 긴급한 언어를 사용하는 경우 더 많은 예약이 발생합니다.

    • 컨트롤: 원본 버전
    • Variant: 긴급성이 추가된 새 버전
    • 기본 지표: 예약 비율
    • 보조 지표: 바운스 비율, 사이트의 시간

  • 결과: 다른 지표에 부정적인 변경 없이 변형에서 예약률이 14% 향상되었습니다.

  • 작업: 다른 영역에서 유사한 접근 방식을 테스트하려면 변형을 롤아웃하고 후속 실험을 실행하는 것이 좋습니다.

style
shade-box
b22c9c5d-9208-48f4-b874-1cefb8df4d76