成功した多変量テスト アクティビティに必要なトラフィックの見積もり
多変量分析テストでは複数のエクスペリエンスを比較するので、有意な結果を得るためにはどの程度のトラフィックが必要かを把握しておくことが重要です。 トラフィック見積もりでは、ページとテスト中のエクスペリエンスの数に関する統計を使用して、テストを成功させるために必要なトラフィック量とテスト期間を見積もります。
Traffic Estimatorは、以下を確実にするために必要なサンプルサイズを予測します。
- 95%の信頼性。 この統計は、実際の上昇率がない場合に偽陽性を報告する可能性が5% (100% – 信頼性レベル)であることを意味します。
- 統計的に80%のパワー。 この統計は、テストが25%以上の真のリフトを検出する80%の確率を持っていることを意味します。
- 25%の最低の信頼できる検出可能な上昇。 Targetは、80%の可能性で25%以上の真のリフトを検出するために必要なトラフィック量を計算します。
このテストでは、ボンフェローニ補正を使用して、多重比較の補正をおこないます。 この方法は保守的な方法として知られていますが、確実に検出可能な最低上昇率を比較的大きく設定することで、バランスをとることができます。
また、 トラフィック見積もりは、成功するために設計したテストに十分なトラフィックがあるかどうかを確認するためのフィードバックも提供します。
-
多変量 アクティビティのVisual Experience Composerの エクスペリエンス ページから、 エクスペリエンス ページの左上隅にあるトラフィック アイコン(
)をクリックします。Traffic Estimatorが開きます。
もう一度アイコンをクリックして、Traffic Estimatorを非表示にすることができます。
Traffic Estimatorの上部付近で、入力した値が計算され、結果が表示されます。
-
(条件付き)一般的なコンバージョン率、1日あたりの推定訪問者数、テスト期間を提供します。
- コンテンツの組み合わせ数:除外後にアクティビティの一部として作成されたエクスペリエンスの数に基づいて自動的に計算されます。
- 一般的なコンバージョン率: コンバージョン率は、見積もりまたは分析システムからの過去のデータに基づいて、パーセントで表されます。
- 1日当たりの推定訪問者数:これは、ターゲティング条件に基づいてこのページを表示する可能性の高い訪問者の数です。 この数値は、分析データに基づいて決定することができます。
- テスト期間: アクティビティを実行する日数。
Traffic Estimatorは、これらの統計を使用して、テストを成功させるために必要な調整を決定します。
数値を変更すると、見積もりも変更されます。 例えば、多数のエクスペリエンスをテストしており、コンバージョン率とインプレッション率が低すぎる場合、 トラフィック見積もりには、テストを成功させるために実行する必要がある期間が表示されます。 または、トラフィックが少ない場合は、Traffic Estimatorでエクスペリエンスの数が少ないことが示され、必要な日数でテストを実行できます。
十分なトラフィックがない場合は、次のいずれかまたは両方をおこなうことができます。
- オファーの組み合わせの数、および場所の数を減らします。
- テスト期間を長くします。
Traffic Estimatorで十分なトラフィックがあることが示されるまで数値を調整し、それに応じてテストを設計します。