A/A テスト

Adobe Target を使用してサイトで A/A テストを実行する前に、A/A テストの概要、A/A テストを実行する理由、テストの実行期間、結果の解釈方法を理解することが重要です。

A/A テストとは

A/A テストについて説明する前に、A/B テストを確認し、違いについて話し合っておくことをお勧めします。

標準的な A/B テストでは、トラフィックは 2 つ以上の異なるエクスペリエンスに割り当てられます。 通常、1 つのエクスペリエンスは「コントロール」で、エクスペリエンスのバリエーションをコントロールに対してテストし、特定の指標で最も上昇率が高いエクスペリエンスを確認します。

ただし、A/A テストでは、通常は 50/50 トラフィック配分の割合で、トラフィックを 2 つの同一のエクスペリエンスに割り当てます。 標準の A/B テストでは、通常、コンバージョンの上昇率を確認する必要があります。 これは、A/A テストとは異なります。A/A テストの目標は、通常、同一のエクスペリエンス間の上昇率に違いがない なし ことを判断することです。

2 つの同一のエクスペリエンスをテストする理由と目的

組織によっては、Target などの新しいテストツールを実装する際に A/A テストを実行して、以下かどうかを判断することがあります。

A/A テストを実行する組織はほとんどありませんが、ツールを実装した後や、コンバージョンや売上高に影響を与える可能性がある A/B テストを実行する前に、信頼を構築するために、「健全性」実験として A/A テストを実行することをお勧めします。

エクスペリエンスが同じ場合に、あるエクスペリエンスの上昇率が表示されるのはなぜですか？

あるエクスペリエンスの上昇率が別の（同一の）エクスペリエンスの上昇率と比較される理由は多数あります。

A/A テストは継続的に監視されました

A/A テストを含むあらゆる種類のテストを実行する際の一般的な問題は、結果を継続的に確認し、統計的有意性が表示されたときにテストを早めに停止し、勝者エクスペリエンスを宣言することです。 アナリストは、多くの場合、「データピーク」と呼ばれる処理を行います。 データチェックでは、どのエクスペリエンスのパフォーマンスが向上しているかを判断しようと努めながら、テストデータを早期に頻繁に確認します。 リスクとしては、テストを早めに停止すると、結果が無効になる可能性があります。

A/A テストでは、2 つのエクスペリエンスが同じなので、実際には違いがない場合、データのピークにより、アナリストは 1 つのエクスペリエンスに上昇率が表示されることがよくあります。 実際、連続的なピーク時には、A/A テストは 保証 され、テスト中のある時点での「統計的優位差」（つまり、95% などの特定のしきい値を超える信頼性）が表示されます。

これを回避するには、通常の A/B テストと同様に、効果の最小サイズ（効果がビジネスにとって重要でなくなる最小リフト）、消費電力、有意性のレベルに基づいて、どのサンプルサイズを使用するかを事前に決定する必要があります。

A/A テストの目標は、テストが目的のサンプルサイズに達した後に 統計的に有意な結果を確認 ないことです。

Adobe Target Sample Size Calculator は、目標とするサンプルサイズとテストを実行する期間を決定するのに役立つ重要なツールです。

また、アクティビティを実行する期間やその他の役立つヒントやテクニックについては、次の記事を参照してください。