多変量分析テストの概要

Adobe Target の多変量分析テスト（MVT）では、ページ上の要素内のオファーの組み合わせを比較し、特定のオーディエンスに対して最も効果が高い組み合わせと、アクティビティの成功に最も効果が高い要素を特定します。

MVT の概要

多変量分析テストは、特定の要素をページ上の他の要素と比較して、コンバージョンに対する相対的な影響を明らかにするために役立ちます。また、効果的であることが証明された要素の組み合わせを調節するためにも役立ちます。

A/B テストと比較した多変量分析テストのメリットの 1 つとして、最もコンバージョンに効果のあるページ上の要素を示すことができます。これは、「主効果」とも呼ばれます。この情報は、例えば、最も注目を集めたいコンテンツを配置する場所を決定する場合などに役立ちます。

また、多変量分析テストでは、ページ上の 2 つ以上の要素の複合的な効果を測定することもできます。例えば、特定の広告は、特定のバナーやメイン画像と組み合わせると、より多くのコンバージョンを生み出す場合があります。これは、「交互作用効果」とも呼ばれます。

Target では、コンテンツの最適化に役立つように、全因子多変量分析テストが使用されます。全因子多変量分析テストでは、コンテンツのすべての可能な組み合わせを、同じ確率でテストします。例えば、それぞれ 3 つのオファーが組み込まれたページ要素が 2 つある場合は、9 つの組み合わせ（3 x 3）になります。3 つの要素があり、そのうちの 2 つの要素に 3 つのオファーが、1 つの要素に 2 つのオファーが組み込まれている場合は、組み合わせは 18（3 x 3 x 2）になります。

Target では、各組み合わせが 1 つのエクスペリエンスになります。多変量分析テストでは、各エクスペリエンスを比較して、どの組み合わせが最も効果が高いかを判断できます。同時に、データを収集および分析して、各場所およびオファーが成功指標にどのような影響を与えているかを把握できます。

多変量分析画像

多変量分析テストでは、生成される組み合わせの数が多くなる場合があるので、A/B テストよりも多くの時間とトラフィックが必要になります。各エクスペリエンスに対して統計的に有意な結果を得るためには、ページに十分なトラフィックが必要です。有用な結果を得るには、ページで発生するトラフィック量を把握して、必要な結果を得るのに適した時間にわたって最適な数の組み合わせをテストする必要があります。Target のトラフィック見積もりを使用すると、サイトのトラフィックに適したテストを設計できます。トラフィック見積もりを使用する前に、サイトで通常発生するインプレッションおよびコンバージョンの数を示す、優れた統計が必要です。1 日あたりのトラフィックレベルを考慮します。アクティビティにおけるエクスペリエンスの数が多いほど、そのアクティビティにはより多くのトラフィックが必要になり、またそのアクティビティを長い時間実行する必要があります。トラフィックがあまり多くない場合は、少数の組み合わせをテストする必要があります。組み合わせの数を少なくしないと、有意なテスト結果を得るために必要な時間があまりに長くなってしまう場合があります。

MVT の用語

いくつかの基本的な用語を理解しておくと、多変量分析テストを設定する場合に役立ちます。

業界全体で様々な意味で使用されている用語がいくつかあります。ここでは、Target で使用される用語を定義します。

組み合わせ：複数の場所で複数のコンテンツオプションをテストする場合に作成するコンテンツのバリエーション。例えば、3 つの場所でそれぞれ 3 つのコンテンツオプションをテストする場合、可能な組み合わせは 27（3 x 3 x 3）になります。サイトの訪問者には、そのうちの 1 つの組み合わせが表示されます。これは「エクスペリエンス」とも呼ばれます。

コンテンツ：ある場所でのテストのバリエーションを構成するテキストまたは画像。多変量分析テストでは、複数の場所にある複数のコンテンツオプションが比較されます。MVT 手法では、コンテンツは「レベル」と呼ばれる場合があります。

要素： MVT テストでテストするコンテンツのバリエーションを含む DOM 要素。場所も参照してください。

場所：ページ上の特定のコンテンツ領域。多くの場合、単一の DOM 要素に含まれています。MVT の方法論においては、場所は「因子」と呼ばれることもあります。全因子多変量分析テストでは、場所におけるすべての可能なオファーの組み合わせが比較されます。

MVT と A/B を使用するタイミング

多変量分析テストは、A/B テストと併用して、ページを最適化することができます。これらのテストは、次のような場合に併用します。

A/B テストを使用してページレイアウトを最適化し、その後に MVT テストを実行してページの各要素に表示する最適なコンテンツを決定します。

A/B テストでは、レイアウトについての重要なフィードバックが提供されます。他方、MVT テストは、ページデザインの要素内のコンテンツのテストに優れています。複数のコンテンツオプションをテストする前に、レイアウトに対して A/B テストを実行することで、最適なレイアウトを決定したうえで、最も効果的なコンテンツを決定できます。
MVT テストを使用してどの要素が最も重要かを判断し、その後その要素に絞って A/B テストを実行します。

異なるエクスペリエンスの数が 5 を超え、2 つ以上の要素にまたがる場合は、A/B テストを実行する前に MVT テストを検討することをお勧めします。 MVT テストによって、コンバージョンが向上する可能性が最も高そうなページ領域を判定できます。マーケティング担当者は、これらの要素に重点を置いてテストをおこなうことができます。例えば、MVT テストによって、目標を達成するための最も重要な要素がコールトゥアクションであることがわかります。目標の達成に最も役立つ要素とコンテンツを特定したら、A/B テストを実行して、2 つの特定の画像を相互にテストしたり、コールトゥアクションの言い回しや色を比較したりするなど、結果をさらに絞り込むことができます。 MVT テストの後に 1 つ以上の A/B テストをおこなうことで、目的の結果を得るための最良のコンテンツを判断できます。

注意点

MVT テストは、テストする要素が 3 つ以上ある場合に使用します。3 つ未満の場合は、一連の A/B テストを実行します。
結果に最も影響を与えるページ要素を選択します。
1 つのテストに組み込む要素や場所の数が多くなりすぎないようにします。数が多くなるほど、テストにかかる時間が長くなります。
事前にテスト設計を計画しておきます。運用が開始され、データの収集と分析が開始された後は、テストを編集しないことをお勧めします。
要素は互いに独立したものであることをお勧めします。

例えば、同じテスト内でレイアウトとコンテンツをテストしないでください。
エクスペリエンスの数が多くなるので、計画段階でテストに十分な時間を割り当て、品質を確保します。また、部分因子テストを使用して、多変量分析テストに必要なトラフィック量を減らすこともできます。詳しくは、以下の「部分因子テスト」を参照してください。

部分因子テスト

Target では、全因子多変量分析テストがビルトインアクティビティオプションとして用意されています。統計において、実験計画法は、どの因子が結果に影響を与えるかを判断するためのアプローチまたはデザインを数多く提供します。その一つが、田口メソッド部分因子テスト用の田口メソッドにより、マーケティング担当者は一連の前提を作成して、テストする必要があるエクスペリエンスの順列の数を減らすことができます。その結果、多変量テストのトラフィック要件が小さくなります。この機能とテストのアプローチは、このオフラインスプレッドシートを使用することで Target で利用できます。

チームで他の実験計画法アプローチを使用している場合は、この計算スプレッドシートをカスタム実験デザインのリファレンス実装として使用できます。

オフライン計算スプレッドシートを使用する際は、次のヒントを考慮してください。

変更する要素と各要素のバージョン数（3x2、4x3 など）を選択します。
番号付けの方法には一貫性を持たせます。例えば、ボタンが要素 1 で、オプションが青、緑、黄の場合、青色のボタンを 1-1、緑色のボタンを 1-2、黄色のボタンを 1-3 とします。
オフラインスプレッドシートには、必要になるエクスペリエンスの数が示されています（例えば、3x2 の場合は 4 つ、4x3 の場合は 9 つ）。
Visual Experience Composer（VEC）を使用して A/B ワークフローのエクスペリエンスを構築します。カスタムコードの使用、HTML の編集、WYSIWYG または任意の組み合わせを使用できます。
（サンプルサイズ計算ツールに基づいて）アクティビティが終了したら、スプレッドシートで結果を処理して、他の詳細を取得します。

その他の考慮事項およびベストプラクティスについては、多変量分析テストのベストプラクティスを参照してください。