A/A テスト

Adobe Targetを使用してサイトでA/A テストを実行する前に、A/A テストとは何か、A/A テストを実行する理由、テストを実行する必要がある期間、結果の解釈方法を理解することが重要です。

A/A テストとは？

A/A テストについて説明する前に、A/B テストを確認して、その違いについて話し合うことが重要です。

標準的なA/B テストでは、トラフィックは2つ以上の異なるエクスペリエンスに割り当てられます。 ひとつのエクスペリエンスは通常「コントロール」であり、エクスペリエンスのバリエーションをコントロールに対してテストして、特定の指標でどのエクスペリエンスが最も高い上昇率を生み出すかを確認します。

ただし、A/A テストでは、通常50対50のトラフィック割り当てで、ふたつの同一のエクスペリエンスにトラフィックを割り当てます。 標準的なA/B テストを実施すれば、コンバージョン率を向上させることができます。 これは、同じエクスペリエンス間の上昇率に​ no ​の差があると判断することが通常の目標となるA/A テストとは異なります。

同じエクスペリエンスを2つテストして、何を実現するのか？

一部の組織では、Targetなどの新しいテストツールを実装する際に、次の条件を満たしているかどうかを判断するために、A/A テストを実行しています。

A/A テストを実施している組織はほとんどありませんが、ツールを実装した後、またはコンバージョンや収益に影響を与える可能性のあるA/B テストを実施する前に、信頼を構築するための「健全性」テストとして実施することをお勧めします。

エクスペリエンスが同じであれば、ひとつのエクスペリエンスに対して向上が見られるのはなぜですか？

あるエクスペリエンスが別の（同一の）エクスペリエンスよりも向上する理由は数多くあります。

A/A テストは継続的に実施された

A/A テストを含むあらゆる種類のテストを実行する際の一般的な問題は、結果を継続的に確認し、統計的有意性を確認したときにテストを早期に停止し、勝者エクスペリエンスを宣言することです。 アナリストは、多くの場合、「データピーキング」と呼ばれるものを実行します。 データピーキングとは、どのエクスペリエンスがより優れたパフォーマンスを発揮しているのかを判断しながら、テストデータを早期かつ頻繁に確認することです。 リスクはテストを早期に停止することであり、結果が無効になる可能性があります。

A/A テストでは、データピッキングによって、アナリストが1つのエクスペリエンスの上昇率を確認することがよくあります。実際には、2つのエクスペリエンスは同じであるため、違いはありません。 実際、継続的なピークでは、A/A テストは​ 保証 ​され、テスト中のある時点で「統計的有意性」（つまり、95%などの一定のしきい値を超える信頼性）を示します。

これを避けるために、通常のA/B テストと同様に、最小限の効果サイズ（効果がビジネスにとって重要ではない最小リフト）、電力、および有意性のレベルに基づいて、使用するサンプルサイズを事前に決定する必要があります。

A/A テストでは、テストが目的のサンプルサイズに達した後、統計的に有意な結果が​ not ​に表示されます。

Adobe Target サンプルサイズ計算ツール ​は、目的とするサンプルサイズとテストを実行する期間を決定するのに役立つ重要なツールです。

さらに、アクティビティを実行する必要がある期間やその他の役立つヒントやテクニックについて詳しくは、次の記事を参照してください。

統計的有意性がテスト結果に影響する

テストの有意性レベルは、実際に実際に違いがない場合に、テストで2つの異なるオファー間のコンバージョン率に有意な違いが報告される可能性を決定します。 これは偽陽性、またはType I エラーとして知られています。 有意水準はユーザーが指定したしきい値であり、偽陽性の許容値と、適切な有意水準を選択する際にテストに含める必要がある訪問者数との間にトレードオフがあります。

A/A テストおよびA/B テストで一般的に使用される有意水準は5%であり、これは信頼水準95%に相当します（信頼水準= 100% – 有意水準）。 信頼性レベルが95%であれば、テストを実行するたびに、エクスペリエンスに違いがない場合でも、統計的に有意な上昇率を検出する可能性が5%あることを意味します。

A/A テストで95%の信頼性レベルを達成したいとします。 信頼性が95%であるため、A/A テスト 20回に1回は、コンバージョンが統計的に有意に増加する可能性があります。 信頼性が90%に達すると、10回に1回のテストで、同一のエクスペリエンスをテストした場合、コンバージョンが向上することが示されます。

ベストプラクティス

組織でA/A テストが必要であると判断した場合、同じエクスペリエンスが一時的にコントロールとの違いを示す場合があることに注意してください。 これは、テストを実行できる時間によっては通常どおりです。 時間と訪問者が増えれば、その差は縮まるはずです。

ベストプラクティスは、通常のA/B テスト手法を使用することです。Adobe Target サイズ計算ツール ​を使用して、関連する最小エフェクトサイズ、望ましいパワー、有意性に基づいて、サンプルサイズを事前に決定します。

次に、結論に達する前に適切な時間と訪問者を許可し、テストの有意性レベルに応じて、1つのエクスペリエンスで上昇率に違いが見られ、勝者が宣言される可能性があることを忘れないでください。