実験パネル experimentation-panel

この記事では、 Customer Journey Analytics の実験パネルについて説明します。
__ Adobe Analytics で Adobe Target のアクティビティと実験を分析する方法については、Analytics for Target パネルを参照してください。

実験 ​パネルを使用すると、アナリストは様々なユーザーエクスペリエンス、マーケティングまたはメッセージングのバリエーションを比較して、特定の結果を導くのに最適なものを判断できます。A/B 実験の上昇率と信頼性は、Target や Journey Optimizer などのアドビのソリューション、BYO（bring-your-own）データなど、オンラインまたはオフラインのあらゆる実験プラットフォームで評価できます。

詳しくは、Adobe Customer Journey Analytics と Adobe Target の統合を参照してください。

アクセス制御 access

実験パネルは、すべての Customer Journey Analytics ユーザーが使用できます。管理者権限やその他の権限は必要ありません。 ただし、前提条件では、管理者のみが実行できるアクションが必要です。

計算指標の関数

上昇率および信頼性の 2 つの高度な関数が利用できます。詳しくは、リファレンス - 高度な関数を参照してください。

前提条件

実験パネルを使用するには、次の前提条件に従う必要があります。

実験データセットへの接続の作成

推奨されるデータスキーマは、実験データをオブジェクト配列に配置することです。この配列には、2 つの異なるディメンションでの実験データとバリアントデータが含まれます。両方のディメンションは、単一 ​のオブジェクト配列である必要があります。実験データとバリアントデータを区切り文字列で区切った単一のディメンションに実験データがある場合、パネルで使用するために、データビューの部分文字列の設定を使用してディメンションを 2 つに分割できます。

実験データが Adobe Experience Platform に取り込まれたら、Customer Journey Analytics で 1 つ以上の実験データセットへの接続を作成します。

データビューでのコンテキストラベルの追加

Customer Journey Analytics データビューの設定では、管理者はディメンションや指標にコンテキストラベルをディメンションや指標に追加し、目的に合わせて実験パネルなどの Customer Journey Analytics サービスでこれらのラベルを使用できます。実験パネルには、次の 2 つの事前定義済みのラベルが使用されます。

実験データを含むデータビューで、2 つのディメンション（1 つは実験データを含むもの、もう 1 つはバリアントデータを含むもの）を選択します。次に、これらのディメンションに​ 実験 ​ラベルと​ 実験バリアント ​ラベルを付けます。

これらのラベルが存在しない場合、操作する実験がないため、実験パネルは機能しません。

使用

実験 ​パネルを使用するには：

パネル入力

実験パネルを使用するには：

パネル出力

実験パネルは、豊富なデータとビジュアライゼーションのセットを返し、実験のパフォーマンスをより深く理解するのに役立ちます。パネルの上部には、選択したパネル設定を示す変更の概要ビジュアライゼーションが表示されます。右上の編集鉛筆を選択すると、いつでもパネルを編集できます。

また、実験が決定的かどうかを示すテキストの概要を取得し、結果の概要を示します。 結論は統計的有意差に基づいています（統計方法を参照）。上昇率と信頼性が最も高く、最もパフォーマンスの高いバリアントの概要数値概要数を確認できます。

選択した各成功指標に対して、フリーフォームテーブルビジュアライゼーションとコンバージョン率の折れ線グラフビジュアライゼーションが表示されます。

結果の解釈

アドビの統計方法 statistics

解釈が容易で、安全な統計的推論を提供するために、アドビでは、常に有効な信頼性シーケンスに基づく統計方法を採用しています。

信頼性シーケンスは、信頼区間の​ 連続的な ​アナログです。信頼性シーケンスとは何かを理解するには、実験を 100 回繰り返すと仮定します。そして、実験に加わる​ 新規ユーザーごとに、平均ビジネス指標（メール開封率など）とそれに関連する 95％信頼性シーケンスの推定値を計算します。

95％の信頼性シーケンスは、実行した 100 件の実験のうち 95 件のビジネス指標の「true」値を含んでいます（95％の信頼区間は、同じ 95％の範囲を保証するために、新規ユーザーごとの計算ではなく、実験ごとに 1 回のみの計算となります）。したがって、信頼性シーケンスを使用すると、結果を「覗き見」て確認することができるので、偽陽性のエラー率を増やすことなく、実験を継続的に監視できます。

非ランダム化ディメンションの解釈 non-randomized

Adobe Customer Journey Analytics を使用すると、アナリストは任意のディメンションを実験として選択できます。しかし、実験として選択されたディメンションが、ユーザーのランダム化の対象になっているものでない場合は、分析をどう解釈するのでしょうか？

例えば、ユーザーに表示される広告について考えてみます。広告 A ではなく​ 広告 B を表示することにした場合に、何らかの指標（例えば、平均売上高など）の変化の測定に関心があるとします。広告 A ではなく広告 B を表示することの因果的効果は、マーケティングの決定を下すうえで非常に重要です。広告 A を表示するという現状を、広告 B を表示するという別の戦略に置き換えた場合、この因果的効果は、母集団全体の平均売上高として測定できます。

A/B テストは、このような介入の効果を客観的に測定するための、業界内の絶対的標準です。A/B テストが因果的な推定を導き出す決定的な理由は、考えられるバリアントの 1 つを受け取る顧客のランダム化にあります。

では、ランダム化によって達成されないディメンションについて考えてみましょう。例えば、顧客の米国州などです。顧客は主にニューヨークとカリフォルニアの 2 つの州の出身だとします。冬物衣料品ブランドの平均売上高は、地域の天候の違いにより、2 つの州で異なる可能性があります。このような状況では、冬物衣料品の売上の真の因果的要因は天候であり、顧客の地理的な州が異なるという事実ではない可能性があります。

Adobe Customer Journey Analytics の実験パネルを使用すると、データを顧客の州による平均売上高の違いとして分析できます。このような状況では、出力には因果的な解釈が含まれません。しかし、そのような分析でも興味を引く可能性があります。これは、顧客の州による平均売上高の違いの推定値（と不確実さの尺度）を提供します。この値は、統計的仮説テスト ​とも呼ばれます。この分析の結果は興味深いものになるかもしれませんが、必ずしも実用的ではありません。単に、ディメンションの取り得る値の 1 つに顧客をランダム化しておらず、またランダム化できないことがあるからです。

次の図は、これらの状況を対比したものです。

介入 X が結果 Y に与える影響を測定する場合、両者の実際の原因が交絡因子 C である可能性があります。X で顧客をランダム化してデータが得られなければ、影響は測定しにくく、分析で C が明示的に説明されます。ランダム化により X の C への依存が解消されるので、他の変数を気にせずに X の Y への影響を測定できます。

実験での計算指標の使用 use-in-experimentation

すべての計算指標が実験パネルに対応しているわけではありません。

次の指標または定数のいずれかを含む計算指標は、実験パネルに対応していません。

実験パネルと互換性のない計算指標では、計算指標を作成する際に、「製品の互換性」フィールドに Customer Journey Analytics のすべての場所（実験を除く） ​という値が使用されます。計算指標の作成について詳しくは、指標の作成を参照してください。

実験パネルでの計算指標の使用

実験パネルでの計算指標の使用について詳しくは、このブログ投稿を参照してください。