統計的有意差はテスト結果に影響を与えます

テストの有意性レベルは、実際には実際には違いがない場合に、テストが 2 つの異なるオファー間でコンバージョン率の有意な違いをレポートする可能性を決定します。 これは、偽陽性、または Type I エラーと呼ばれます。 有意レベルはユーザーが指定するしきい値であり、偽陽性の許容値と適切な有意レベルを選択する際にテストに含める必要がある訪問者数との間にトレードオフがあります。

A/A および A/B テストで一般的に使用される有意水準は 5% で、95% の信頼水準(信頼水準= 100% – 有意水準)に対応します。 信頼性レベルが 95% の場合、テストを実行するたびに、エクスペリエンス間に違いがない場合でも、統計的に有意な上昇を検出する可能性が 5% になります。

A/A テストで 95% の信頼性レベルを達成したいとします。 95% の信頼性レベルでは、20 回の A/A テストのうち 1 回のテストで、コンバージョンの統計的に有意な上昇が示される可能性があります。 90% の信頼性レベルでは、同一のエクスペリエンスをテストした場合、10 回のうち 1 回のテストでコンバージョンの上昇が示される可能性があります。

ベストプラクティス

組織で A/A テストが必要と判断した場合は、同一のエクスペリエンスが一時的にコントロールとの違いを示す可能性があることに注意してください。 テストの実行時間によっては、これは正常な場合があります。 この違いは、より多くの時間と訪問者を与えられた場合、縮小する必要があります。

ベストプラクティスは、通常の A/B テスト手法を使用することです。Adobe Target サイズ計算ツールを使用して、関連する最小エフェクトサイズ、望ましい検出力、重要度に基づいて、事前にサンプルサイズを決定します。

次に、結論に達する前に十分な時間と訪問者を許可し、テストの有意性レベルに応じて、1 つのエクスペリエンスが上昇率の違いを示し、勝者として宣言される可能性があることを覚えておいてください。

Target