実験設計スプレッドシート

このファイルは、ワークシートとしてだけでなく、実験に関する決定の記録としても機能します。

実験の設計に役立つ情報が必要な場合は、Adobeが提供する実験設計スプレッドシート(VS Controlled Experiment Design.xlsという名前がデフォルトで用意されています)を使用できます。

実験設計スプレッドシートは、該当する指標が、ある条件を満たす訪問者の割合として定義されている場合にのみ、有用な統計的推測を提供できます。 つまり、訪問者ベースの指標の仮説をテストする場合にのみ役立ちます。

実験設計ファイルを使用して実験を設計するには

  1. Webサーバーまたはアプリケーションサーバーへの管理者アクセス権を持っている場合は、Webクラスター内の任意のSensorマシンのSensorインストールフォルダーに移動します。 管理者アクセス権がない場合は、担当のAdobeアカウントマネージャーに連絡してファイルを要求してください。

  2. VS Controlled Experiment Design.xlsファイルを開きます。 (必要に応じて、このファイルの名前を変更できます)。

    次のページのスプレッドシートは、このガイド全体で使用する仮説の例をテストする準備をする際に、スプレッドシートを完了する方法の例です。

  3. 次の表に示すように、このファイルのすべてのフィールドに青色でテキストまたは値を入力します。 2番目のテーブルで計算フィールドを定義します。

このフィールドで…  
実験タイトル 実験のわかりやすい名前。
実験の説明 実験のテキストによる説明。
調査中の指標

実験の基となる指標の名前。

例:訪問者コンバージョン

指標の定義

実験の基となる指標の定義。

形式:Visitors[X]/Visitors

例: Visitors[URI='conversionpage.asp']/Visitors

予定開始時刻 実験を開始する日時。
意図された終了時間 実験を終了する日時。
適用可能な選択 (オプション)データセットをさらにセグメント化するディメンション名と要素セットまたは範囲。
実験URI 仮説に含まれるURI。 コントロール母集団の現在のURIと、作成した、またはテストグループ用に作成する代替URIを定義します。
アプリの選択に対して期待される指標 Webサイトに期待する指標値の見出し。
1日あたりの平均訪問者数 Webサイトへの1日あたりの平均訪問者数。
訪問者コンバージョン Webサイトの平均訪問者コンバージョン率。
Experimentは、テストグループの指標名が…であるかどうかを判断します。 指標値の比較方法を示す見出し。
コントロール母集団の値より大きいか 実験中にテストグループの指標が増加したと結論付けるには、このフィールドをTrueに設定します。 このフィールドをFalseに設定すると、結論を導くのに必要な訪問者数を減らすことができます。 Adobeでは、「True」に設定することをお勧めします。
コントロール母集団の値より小さいか 実験中にテストグループの指標が減少したと結論付ける場合は、このフィールドをTrueに設定します。 Adobeでは、「True」に設定することをお勧めします。
少なくとも(検出レベル) テストグループの指標をコントロール母集団の指標より高いまたは低くする割合。
少なくとも テストグループ値の信頼水準。 信頼水準は、指定された期待値が真である確率を測定する偽陽性の数を決定します。
とのパワーレベル テストグループ値に必要な電力レベル。 累乗レベルは、偽陰性の数を決定します。
訪問者の割合 訪問者の割合の値の見出し。
テストグループ テストグループに含める訪問者の割合。 この数値を使用して、「訪問者」セクションの「合計(通常100%) 」フィールドの値が、「最小訪問者数の必要(Test+Control Groups) 」フィールドの値以上になるまで再生できます(両方とも次の表で説明します)。
コントロール母集団 コントロール母集団に含める訪問者の割合。
その他のデザインノート 今後の参照用に保存するメモ。

残りのフィールドは、入力した値に基づいて計算され、次の表で説明します。

フィールド 説明
アプリの選択に対して期待される指標 Webサイトに期待する指標値の見出し。
期間ごとの予想訪問者数 このフィールドは、通常、スプレッドシートによって自動的に計算されます。 ほとんどの日に、Webサイトが再訪問者よりも多くの新規訪問者を受け取るという前提に基づいています。 そうでない場合、このセルの計算は、実験中に予想される実際の訪問者数で上書きされます。
タイプIエラーの計算されたZスコア 偽陽性の結果のZスコア。 これは、中間的な統計計算です。
タイプIIエラーの計算されたZスコア 偽の負の結果のZスコア。 これは、中間的な統計計算です。
必要な最小訪問者数(Test+Controlグループ) 指定した信頼水準、累乗レベル、Zスコアを満たすために実験で必要な最小訪問者数を、「期間あたりの予想訪問者数」フィールドの値の割合として表します。
必要な最小訪問者数(Test+Controlグループ) 指定した信頼水準、電力レベル、Zスコアを満たすために実験で必要な最小訪問者数。 この値は、「訪問者」セクションの「合計(通常は100%) 」フィールドの値以下にする必要があります。
最小実験時間(日数) 指定した信頼水準、累乗レベル、Zスコアを満たすために、実験を実行する必要がある最小日数。 この計算済みの数は、「期間ごとの予想訪問者数」フィールドで説明したのと同じ問題に左右されます。 Webサイトに再訪問者が多数いる場合、「最小実験時間(日) 」フィールドは、個別訪問者の数が「最小訪問者数の必須」フィールドの値と等しくなるのにかかる予想日数です。
訪問者 訪問者値の見出し。
テストグループ テストグループで必要な訪問者の数。
コントロール母集団 コントロール母集団で必要な訪問者の数。
合計(通常100%) 実験に必要な訪問者の合計数。 この値は、「最小訪問者数の必須(テスト+コントロール母集団) 」フィールドの値以上にする必要があります。
テストグループの精度(ターゲットの信頼水準) テストグループに対して計算された指標の測定値が、真の値のこの割合内に収まる可能性が、指定した信頼水準と等しいことを示す割合。
コントロール母集団の精度(ターゲットの信頼水準) コントロール母集団に対して計算された指標の測定値が、真の値のこの割合内にあるという、指定された信頼水準と等しい可能性があることを示す割合。
zスコア(ターゲットの精度) 指定した値がテスト平均から偏差した数。
実際の信頼水準(ターゲット間隔) 実験で達成された信頼水準。 信頼水準は、指定された期待値が真である確率を測定します。
実際の間隔(ターゲットの信頼水準) 実験で達成される信頼区間。不明な母集団パラメーターを含むと考えられる値の推定範囲を提供します。 この範囲は、指定されたサンプルデータセットから計算されます。

必要な最小訪問者数(Test+Control Groups)フィールドの値を確認する必要があります。…

と比較して、Visitors列の合計フィールドの値と比較します。

実験が統計的に有効であるためには、「合計(通常は100%) 」フィールドの値が「最小訪問者数の必須(Test+Control Groups) 」フィールドの値と等しいかそれ以上である必要があります。

入力値が示された場合、ワークシートの例で示すように、10,475人の訪問者が、入力された95%の信頼率(この数値を増やすことはできますが、対照実験に対して推奨される最小の信頼性)を達成するために、この実験に参加する必要があります。 現在設計されている実験には、30,000人の訪問者が含まれ、これは必要最小限の訪問者数を大きく上回ります。

日数を同じにしておくと、訪問者の合計数が引き続き必要な最小値を超える限り、信頼水準を高めることができます。

  1. レコードのファイルを保存し、そのファイルの情報を使用して実験設定スプレッドシートを使用して実験を設定します。 このスプレッドシートの詳細については、Experimentの設定とデプロイを参照してください。

このページ