実験パネル

実験 ​パネルを使用すると、アナリストは様々なユーザーエクスペリエンス、マーケティングまたはメッセージングのバリエーションを比較して、特定の結果を導くのに最適なものを判断できます。 A/B 実験の上昇率と信頼性は、Target や Journey Optimizer などのアドビのソリューション、BYO（bring-your-own）データなど、オンラインまたはオフラインのあらゆる実験プラットフォームで評価できます。

詳しくは、Adobe Customer Journey AnalyticsとAdobe Targetの統合を参照してください。

アクセス制御 access

実験パネルは、すべてのCustomer Journey Analyticsユーザーが使用できます。 管理者権限やその他の権限は必要ありません。 ただし、設定（以下の手順 1 および 2）では、管理者のみが実行できる操作が必要です。

計算指標の新しい関数 functions

上昇率および信頼性の 2 つの高度な関数が追加されました。詳しくは、リファレンス - 高度な関数を参照してください。

手順 1：実験データセットへの接続の作成 connection

推奨されるデータスキーマは、実験データをオブジェクト配列に配置することです。この配列には、2 つの異なるディメンションでの実験データとバリアントデータが含まれます。 両方のディメンションは、単一 のオブジェクト配列である必要があります。 実験データとバリアントデータを区切り文字列で区切った単一のディメンションに実験データがある場合、パネルで使用するために、データビューの 部分文字列設定を使用してディメンションを 2 つに分割できます。

実験データがAdobe Experience Platformに 取り込みれた後、Customer Journey Analyticsで接続を作成1 つ以上の実験データセットに対して。

手順 2：データビューでのコンテキストラベルの追加 context-labels

Customer Journey Analyticsデータビューの設定では、管理者はディメンションや指標に コンテキストラベルを追加し、目的に合わせて ​ 実験 ​ パネルなどのCustomer Journey Analyticsサービスでこれらのラベルを使用できます。 実験パネルには、次の 2 つの事前定義済みのラベルが使用されます。

実験データを含むデータビューで、2 つのディメンション（1 つは実験データを含むもの、もう 1 つはバリアントデータを含むもの）を選択します。 次に、これらのディメンションに​ 実験 ​ラベルと​ バリアント ​ラベルを付けます。

これらのラベルが存在しない場合、操作する実験がないため、実験パネルは機能しません。

手順 3：実験パネルの設定 configure

手順 4：パネル出力の表示 view

実験パネルは、豊富なデータとビジュアライゼーションのセットを返し、実験のパフォーマンスをより深く理解するのに役立ちます。パネルの上部に、選択したパネル設定を示すサマリー行が表示されます。右上の編集鉛筆をクリックすると、いつでもパネルを編集できます。

また、実験が決定的かどうかを示すテキストの概要を取得し、結果の概要を示します。 結論は統計的有意性に基づいています。 （以下の「統計的手法」を参照。） 上昇率と信頼性が最も高く、最もパフォーマンスの高いバリアントの概要数値概要数を確認できます。

選択した各成功指標に対して、1 つのフリーフォームテーブルと 1 つのコンバージョン率トレンドが表示されます。

折れ線グラフでは、コントロール対コントロールバリアントのパフォーマンスを確認できます。

手順 5：結果の解釈 interpret

アドビの統計方法 statistics

解釈が容易で、安全な統計的推論を提供するために、アドビでは、常に有効な信頼性シーケンスに基づく統計方法を採用しています。

信頼性シーケンスは、信頼区間の 連続的な アナログです。 信頼性シーケンスとは何かを理解するには、実験を 100 回繰り返すとして、実験に加わる 新規ユーザーごと）の平均ビジネス指標（メール開封率など）とそれに関連する 95% 信頼性シーケンスの推定値を計算する とを想定します。

95% の信頼性シーケンスは、実行した 100 件の実験のうち 95 件のビジネス指標の「true」値を含みます。 （95% の信頼区間は、実験ごとに 1 回だけ計算でき、同じ 95% の範囲を保証します。新規ユーザーごとの計算はできません）。 したがって、信頼性シーケンスを使用すると、偽陽性のエラー率を増やすことなく、実験を継続的に監視できます。つまり、結果を「覗き見」ることができます。

非ランダム化ディメンションの解釈 non-randomized

Customer Journey Analyticsを使用すると、アナリストは任意のディメンションを「実験」として選択できます。 しかし、実験として選択されたディメンションが、どのユーザーがランダム化されているかではない場合、分析をどのように解釈しますか？

例えば、ユーザーに表示される広告について考えてみましょう。 「広告 A」ではなく「広告 B」を表示することを決定した場合は、一部の指標（平均売上高など）の変化を測定することに興味がある可能性があります。 広告 A の代わりに広告 B を表示することの因果関係は、マーケティングの決定に到達する際に最も重要です。 この因果関係は、広告 A を表示するという現状を、広告 B を表示するという代替戦略に置き換えた場合、母集団全体の平均売上高として測定できます。

A/B テストは、このような介入の効果を客観的に測定するための業界内のゴールドスタンダードです。 A/B テストが因果関係の推定を導き出す決定的な理由は、考えられる変種の 1 つを受け取る人のランダム化にある。

さて、ランダム化によって達成されないディメンションについて考えてみましょう。例えば、人の米国の状態などです。 人物が主にニューヨークとカリフォルニアの 2 つの州から来ていると言ってみましょう。 冬物衣料品ブランドの平均売上高は、地域の天候の違いにより、2 つの州で異なる可能性があります。 このような状況では、天候は冬の衣料品の販売の真の因果的要因であり、人の地理的状態が異なるという事実ではないかもしれません。

Customer Journey Analyticsの実験パネルを使用すると、データを人物の州ごとの平均収益差異として分析できます。 このような状況では、出力には因果的な解釈がありません。 しかし、そのような分析はまだ興味があるかもしれません。 これは、人物の州ごとの平均売上高の違いの推定値（不確実性の測定と共に）を提供します。 この値は、「統計的仮説テスト」とも呼ばれます。 この分析の出力は興味深いものになるかもしれませんが、必ずしも実用的ではありません。これは、ディメンションの可能な値の 1 つに人をランダム化していない、またはランダム化できない場合があるからです。

次の図は、これらの状況を対比したものです。

介入 X が結果 Y に与える影響を測定する場合、両者の実際の原因が交絡因子 C である可能性があります。X に人をランダム化してデータを得なければ、影響は測定しにくく、分析は C を明確に説明しています。ランダム化は X の C への依存を壊し、他の変数を心配することなく X の Y への影響を測定できます。

実験パネルでの計算指標の使用

実験パネルでの派生指標の使用については、このブログ投稿を参照してください。