実験の評価

必要最小限の訪問者数が実験に参加するまで実験を実行した後で、実験の結果を評価するのに十分な統計的信頼性を確保できます。

使用 Insightを使用して、仮説の一部として定義した指標または主要業績評価指標を比較し、実験が成功したかどうか(つまり、仮説は指定した信頼性で検証されたかどうか)を判断します。

この例の実験では、訪問者コンバージョンが少なくとも 1.5%増加する場合、仮説は正しく実証されます。これは、先ほど定義した達成基準です。

次のワークスペースの例は、index2 テストグループのコンバージョンが、コントロールグループのコンバージョンよりも実際に 1.8%高いことを示しています。

実験結果の要約

使用 Insightを使用すると、詳細なレポートを作成して、実験の結果を要約し、説明することができます。

その後、次の例に示すように、レポートを使用して、レポートに指定した視覚的情報に基づいてレコメンデーションをおこなうことができます。

結果に基づく行動の実行

結果が明確になったら、テスト対象のページに実稼動レベルの変更を加え、同じ変更を Web サイトの他の領域に適用し、テスト、結果および加えた変更を完全に文書化して、それらの結果に基づいて作業を行う準備が整います。

アクションの監視

対照実験が完了し、適切な変更が実装されたら、必ず、検証指標の表示、コントロールグラフの作成、ダッシュボード指標の提供など、によって行われた変更を監視し続けます。

テストおよび加えた変更が元の結果に影響を及ぼさないと考える場合は、必ず仮説を再テストする準備をしてください。

このページ