A/Aテスト

Adobe Targetを使用してA/Aテストをサイトで実行する前に、A/Aテストの概要、A/Aテストを実行する理由、テストを実行する期間、結果の解釈方法を理解することが重要です。

A/Aテストとは

A/Aテストについて説明する前に、A/Bテストを確認し、その違いについて説明することをお勧めします。

標準的なA/Bテストでは、トラフィックは2つ以上の異なるエクスペリエンスに配分されます。 通常、1つのエクスペリエンスが「コントロール」で、エクスペリエンスのバリエーションがコントロールに対してテストされ、特定の指標で最も高い上昇率を生み出すエクスペリエンスを確認します。

ただし、A/Aテストでは、通常は50/50のトラフィック配分が分割された2つの同一のエクスペリエンスにトラフィックを配分します。 標準的なA/Bテストでは、通常、コンバージョンの上昇率を見つけたいと思います。 これは、同一のエクスペリエンス間の上昇率に​**​差がないことを判断することが目標であるA/Aテストとは異なります。

2つの同じエクスペリエンスをテストしたいのはなぜですか?

Targetなどの新しいテストツールを導入する際にA/Aテストを実行し、次のいずれかを判断する組織もあります。

  • アクティビティが正しく設定されていた
  • コードが正しく実装された
  • レポートは正確だ

A/Aテストを実施する組織はほとんどありませんが、実際には、ツールの実装後、またはコンバージョンや売上高に影響を与える可能性のあるA/Bテストの実施前に、信頼を構築するための「健全性」実験として実行することをお勧めします。

エクスペリエンスが同一の場合に、1つのエクスペリエンスの上昇率が表示されるのはなぜですか。

あるエクスペリエンスと別の(同一の)エクスペリエンスの上昇率が比較して表示される理由は多数あります。

A/Aテストは十分な長さでは実行できませんでした

A/Aテストを含む任意の種類のテストを実行する場合の一般的な問題は、テストを途中で停止し、勝者エクスペリエンスを宣言することです。 アナリストは、「データ・ペーキング」と呼ばれるものをよく行います。 データのピークでは、テストデータを早い段階で頻繁に調べながら、パフォーマンスの高いエクスペリエンスを判断します。 結果が無効になる可能性があるので、テストを途中で停止するリスクがあります。

A/Aテストでは、2つのエクスペリエンスが同一なので、異なるはずがないと判断した場合、1つのエクスペリエンスでアナリストに上昇率を確認させることがよくあります。 時間と十分な訪問数があると、上昇率の差は小さくなります。

したがって、通常のA/Bテストと同様に、使用するサンプルサイズを事前に決定し、許容できる最小効果のサイズ、電力および有意水準に基づいて決定する必要があります。 A/Aテストでは、テストが目的のサンプルサイズに達した後、統計的に有意な結果を​見ない​という目標が設定されます。

Adobe Targetサンプルサイズ計算ツールは、テストの目的とするサンプルサイズと実行期間を判断するのに役立つ重要なツールです。

また、アクティビティを実行する必要がある時間、その他の役立つヒントやテクニックについては、次の記事を参照してください。

統計的有意性はテスト結果に影響を与えます

テストの有意水準は、異なる2つのオファー間で、実際にはコンバージョン率に違いがない場合に、その違いがレポートされる可能性を決定します。 これは、偽陽性またはタイプIエラーと呼ばれます。 有意水準はユーザーが指定するしきい値で、偽陽性の許容値と、適切な有意水準を選択する際にテストに含める必要がある訪問者数との間にトレードオフがあります。

A/AおよびA/Bテストで一般的に使用される有意水準は5%で、これは信頼水準95%(信頼水準= 100% — 有意水準)に相当します。 信頼性レベル95%は、テストを実行するたびに、エクスペリエンス間に違いがない場合でも、統計的に有意な上昇率が5%の確率で検出されることを意味します。

A/Aテストで95%の信頼水準を達成したいとします。 95%の信頼性レベルでは、A/Aテスト20分の1は、コンバージョンの統計的に有意な上昇を示す可能性があります。 90%の信頼性レベルを持つ場合、10件中1件のテストでは、同じエクスペリエンスをテストする際に、コンバージョンの上昇率が示される場合があります。

ベストプラクティス

組織でA/Aテストが必要と判断した場合は、同一のエクスペリエンスが一時的にコントロールとの違いを示す可能性があることに注意してください。 これは、テストの実行が許可される時間に応じて、通常の動作になる場合があります。 時間と訪問者が増えると、差は縮小するはずです。

ベストプラクティスは、通常のA/Bテスト手法を使用することです。Adobe Targetサイズ計算ツールを使用して、最小効果サイズ、必要な電力と有意性に基づいて、サンプルサイズを事前に決定します。

次に、結論に達する前に十分な時間と訪問者を考慮し、テストの有意水準に応じて、1つのエクスペリエンスが上昇率の違いを示し、勝者として宣言される可能性があることを覚えておいてください。

このページ

Adobe Summit Banner

A virtual event April 27-28.

Expand your skills and get inspired.

Register for free
Adobe Summit Banner

A virtual event April 27-28.

Expand your skills and get inspired.

Register for free