A/A テスト

サイトで A/A テストを実行する前に、 Adobe TargetA/A テストとは何か、A/A テストを実行する理由、テストを実行する期間、結果の解釈方法を理解することが重要です。

A/A テストとは

A/A テストについて説明する前に、A/B テストを確認して、違いについて話し合うことをお勧めします。

標準の A/B テストでは、トラフィックは 2 つ以上の異なるエクスペリエンスに配分されます。 通常、1 つのエクスペリエンスは「コントロール」で、エクスペリエンスのバリエーションがコントロールに対してテストされ、特定の指標で最も上昇率の高いエクスペリエンスが確認されます。

ただし、A/A テストでは、通常はトラフィック配分を分割した 2 つの同一のエクスペリエンスにトラフィックを配分す50/50とします。 標準的な A/B テストでは、通常、コンバージョン率の上昇率を見つける必要があります。 これは、A/A テストとは異なります。A/A テストでは、通常、 いいえ 同一のエクスペリエンス間の上昇率の差。

2 つの同じエクスペリエンスをテストする理由と、それによって得られることは何ですか？

一部の組織では、新しいテストツール（例： ）を導入する際に A/A テストを実行します。 Targetを使用して、次のどれかを判断します。

A/A テストを実施する組織はほとんどありませんが、ツールを実装した後、またはコンバージョンや売上高に影響を与える可能性のある A/B テストを実行する前に、信頼を構築するための「健全性」実験として実行することをお勧めします。

エクスペリエンスが同一の場合、1 つのエクスペリエンスに上昇率が表示されるのはなぜですか。

あるエクスペリエンスと別の（同一の）エクスペリエンスとの比較で上昇が見られる理由は、次のように様々です。

A/A テストは継続的に監視されました

A/A テストを含む任意の種類のテストを実行する際の一般的な問題は、結果を継続的に調べ、統計的有意性を確認したらテストを早期に停止し、勝者エクスペリエンスを宣言することです。 アナリストは、「データのピーク」と呼ばれる操作を頻繁に行います。 データのピークでは、テストデータを早い段階で頻繁に調べながら、どのエクスペリエンスのパフォーマンスが優れているかを判断します。 結果が無効になる可能性があるので、テストを早めに停止するリスクがあります。

A/A テストでは、2 つのエクスペリエンスが同一なので、実際には違いがないはずの場合に、データのピークによって 1 つのエクスペリエンスの上昇率がアナリストに表示されることがよくあります。 実際、継続的なピークでは、A/A テストは 保証済み テスト中のある時点で、「統計的有意性」（つまり、95%などの特定のしきい値を超える信頼性）を示す場合。

これを避け、通常の A/B テストと同様に、許容可能な最小効果サイズ（下限上昇率はビジネスにとって重要ではない）、電力、有意水準に基づいて、使用するサンプルサイズを事前に決定する必要があります。

A/A テストの目標は次のとおりです。 not テストが目的のサンプルサイズに達した後、統計的に有意な結果が得られます。

The Adobe Targetサンプルサイズ計算ツール は、目的とするサンプルサイズと、テストを実行する期間を決定するのに役立つ重要なツールです。

また、アクティビティを実行する期間について詳しくは、次の記事や、その他の役に立つヒントやテクニックを参照してください。

統計的有意性は、テスト結果に影響を与えます

テストの有意水準は、実際には違いがない場合に、2 つの異なるオファー間のコンバージョン率に大きな違いがあるとテストが報告する可能性を決定します。 これは、偽陽性、または I 型エラーと呼ばれます。 有意水準はユーザーが指定したしきい値で、偽陽性の許容値と、適切な有意水準を選択する際にテストに含める必要がある訪問者数との間にトレードオフがあります。

A/A および A/B テストで一般的に使用される有意水準は 5%で、これは 95%（信頼水準= 100% — 有意水準）の信頼水準に対応します。 信頼水準 95%は、テストを実行するたびに、エクスペリエンス間に違いがない場合でも、統計的に有意な上昇率が 5%の確率で検出されることを意味します。

A/A テストで 95%の信頼水準を達成するとします。 95%の信頼水準では、A/A テストの 20 件中 1 件はコンバージョンの統計的に有意な上昇を示す可能性がありました。 90%の信頼水準では、10 件中 1 件のテストで、同一のエクスペリエンスをテストする際に、コンバージョンの上昇率を示す可能性がありました。

ベストプラクティス

組織で A/A テストが必要と判断した場合は、同じエクスペリエンスで一時的にコントロールとの違いが表示される場合があることに注意してください。 これは、テストが実行可能な時間に応じて、通常どおりになる場合があります。 時間と訪問者が増えると、差は小さくなるはずです。

通常の A/B テスト手法を使用することをお勧めします。 Adobe Target Size Calculator.

次に、結論に達する前に、十分な時間と訪問者を考慮し、テストの有意水準に応じて、1 つのエクスペリエンスが上昇率の違いを示し、勝者として宣言される可能性があることを覚えておいてください。