[Beta]{class="badge informative"}
サンプルサイズ計算ツール
サンプルサイズ計算ツールを使用すると、実験を開始する前に、実験の計画に必要な入力を見積もることができます。 計算ツールは、必要なトラフィック量、テストを実行する時間、含めるエクスペリエンス数、提供する値にもとづいて確実に検出できる最小限の効果を判断するのに役立ちます。
サンプルサイズ計算ツールにアクセスするには、アクティビティ メニューに移動します。
A/B(ターゲットレポート)
A/B テストの計画と実行に必要な入力を推定します。 これらの値は、必要なトラフィック量、テストを実行する時間、現実的に検出できる効果サイズを決定するのに役立ちます。
-
「A/B (ターゲットレポート)」タブにアクセスして、A/B テストの計画入力を計算します。
-
修正を適用 オプションを有効にして、複数のオファーを同時にコントロールと比較することを考慮して、信頼性レベルを調整します。
-
指標タイプを選択します。
-
コンバージョン率:クリック数や購入数などのバイナリ結果で、各訪問者がアクションを完了するか、完了しないかの判断に使用します。
-
訪問者あたりの売上高:この指標は、訪問者ごとに値が大きく異なる収益スタイルの指標に使用します。
-
-
実験に参加するユーザーの数である 毎日のトラフィック を指定します。
-
テストの設定で、残りの値を入力します。
-
オファー数:コントロールを含む、実験のエクスペリエンス数。 2つ以上のオファーが有効になっている場合、Bonferroni補正を適用して、全体的な信頼性レベルを維持します。
-
上昇率:検出するベースラインに対する相対的な改善率。 たとえば、ベースラインのコンバージョン率が11.8%で、目標の5%が12.39%に上昇するとします。
-
-
実験を開始する前に、現在のエクスペリエンスの ベースラインのコンバージョン率 を指定します。
-
詳細統計設定を展開して、選択した計算に使用できる追加の統計的入力を提供できます。
-
信頼度:結果が偶然によるものではない可能性。 95%のレベルでは、偽陽性の5%の確率が可能です。
-
統計的検出力:実際の効果を検出する可能性。 80%の電力は偽陰性を減らしますが、より多くのトラフィックや時間が必要です。
-
-
「計算を実行」を選択して、見積もりを生成します。 「リセット」を選択して、現在の入力をクリアし、もう一度開始します。
必須フィールドを入力して計算を実行すると、結果 パネルに見積もりが表示されます。 必須フィールドが不完全な場合、パネルは欠落している値の入力を求めるプロンプトを表示します。
計算機は、実験を計画するための推定値を提供します。 その結果を、実験デザイン、予想トラフィック、ベースラインパフォーマンス、統計的要件と組み合わせて、アクティビティの実行時間を決定します。
A/B(CJA/Adobe Analytics)
Adobe AnalyticsまたはCustomer Journey Analytics データに依存するA/B アクティビティの計画入力を推定します。 アクティビティを開始する前に、実験サイズ、予想上昇率、テスト期間を定義できます。
-
「A/B (CJA/Adobe Analytics)」タブにアクセスして、A/B テストの計画入力を計算します。
-
知りたいことは何ですか?で、計算機で決定する値を選択します。
- 期間:実験を念頭に置き、実行にかかる時間と実行する価値があるかどうかを確認する必要があります。
- エクスペリエンスの数:実験を実行する場所があり、トラフィックがサポートできる処理の数を把握する必要があります。
- トラフィック量:実験を念頭に置き、統計的有意性を得るために必要な訪問者数を知りたいと考えています。
- 検出可能な最小の効果:実行する実験がありますが、統計的有意性に到達するために必要な上昇率の量を知りたいと思っています。 これにより、テストを実施する価値があるかどうか、計画する価値があるかどうかを評価できます。
フォーム内のフィールドは、選択した値に応じて変化します。 計算機は、他の入力を使用して、選択した結果を決定します。
-
実験に参加するユーザーの数である 毎日のトラフィック を指定します。
-
テストの設定で、残りの値を入力します。
-
エクスペリエンス数: コントロールを含むバリエーションの数。 バリエーションを増やすとトラフィックが増加します。
-
A/B テストの期間:実験を実行する日数。 長いテストは、より小さな効果を検出できます。
-
期待される改善点:実験で生成される改善点です。
-
分散:指標の値の広がり方。 一般的に、クリック率の変動は小さく、ユーザーあたりの売上ははるかに高くなります。 わからない場合は、デフォルト値の「1」のままにしておきます。
分散の計算方法については、Analytics ドキュメント を参照してください
-
-
詳細統計設定を展開して、選択した計算に使用できる追加の統計的入力を提供できます。
-
信頼度:結果が偶然によるものではない可能性。 95%のレベルでは、偽陽性の5%の確率が可能です。 信頼度が低いと、必要なトラフィックは少なくなりますが、偽陽性のリスクも高まります。
-
統計的検出力:実際の効果を検出する可能性。 80%の電力は偽陰性を減らしますが、より多くのトラフィックや時間が必要です。
-
-
「計算を実行」を選択して、見積もりを生成します。 「リセット」を選択して、現在の入力をクリアし、もう一度開始します。
必須フィールドを入力して計算を実行すると、結果 パネルに見積もりが表示されます。 必須フィールドが不完全な場合、パネルは欠落している値の入力を求めるプロンプトを表示します。
計算機は、実験を計画するための推定値を提供します。 その結果を、実験デザイン、予想トラフィック、ベースラインパフォーマンス、統計的要件と組み合わせて、アクティビティの実行時間を決定します。