実験パネル experimentation-panel

実験 パネルを使用すると、アナリストは様々なユーザーエクスペリエンス、マーケティングまたはメッセージングのバリエーションを比較して、特定の結果を導くのに最適なものを判断できます。 A/B 実験の上昇率と信頼性は、オンライン、オフライン、Target やJourney OptimizerなどのAdobeソリューション、さらには BYO （bring-your-own）データなど、あらゆる実験プラットフォームから評価できます。

詳しくは、Adobe Customer Journey AnalyticsとAdobe Targetの統合を参照してください。

アクセス制御 access

実験パネルは、すべてのCustomer Journey Analyticsユーザーが使用できます。 管理者権限やその他の権限は必要ありません。 ただし、前提条件では、管理者のみが実行できるアクションが必要です。

計算指標の関数

上昇率および信頼性の 2 つの高度な関数を使用できます。 詳しくは、リファレンス - 高度な関数を参照してください。

前提条件

実験パネルを使用するには、次の前提条件に従う必要があります。

実験データセットへの接続を作成

推奨されるデータスキーマは、実験データを オブジェクト配列に配置することです。この配列には、2 つの異なるディメンションでの実験データとバリアントデータが含まれます。 両方のディメンションは、単一 のオブジェクト配列である必要があります。 実験データが単一のディメンションに（実験データとバリアントデータを区切り文字列で区切った）存在する場合、パネルで使用するために、データビューの 部分文字列設定を使用してディメンションを 2 つに分割できます。

実験データがAdobe Experience Platformに 取り込みれた後、Customer Journey Analyticsで接続を作成1 つ以上の実験データセットに対して実行します。

データビューへのコンテキストラベルの追加

Customer Journey Analyticsデータビューの設定では、管理者はディメンションや指標に コンテキストラベルを追加し、目的に合わせて ​ 実験 ​ パネルなどのCustomer Journey Analyticsサービスでこれらのラベルを使用できます。 実験パネルには、次の 2 つの事前定義済みのラベルが使用されます。

実験データを含むデータビューで、2 つのディメンション（1 つは実験データを含むもの、もう 1 つはバリアントデータを含むもの）を選択します。 次に、これらのディメンションに 実験 ラベルと 実験バリアント ラベルを付けます。

これらのラベルが存在しない場合、操作する実験がないため、実験パネルは機能しません。

用途

実験 パネルを使用するには：

パネル入力

実験パネルを使用するには：

パネル出力

実験パネルは、豊富なデータとビジュアライゼーションのセットを返し、実験のパフォーマンスをより深く理解するのに役立ちます。パネルの上部に、選択したパネル設定を示す 変更概要ビジュアライゼーションが表示されます。 右上の編集鉛筆を選択すると、いつでもパネルを編集できます。

また、実験が決定的かどうかを示すテキストの概要を取得し、結果の概要を示します。 結論は統計的優位差に基づきます（ 統計的手法を参照）。 上昇率と信頼性が最も高く、最もパフォーマンスの高いバリアントの概要数値概要数を確認できます。

選択した各成功指標に対して、 フリーフォームテーブルビジュアライゼーションおよびコンバージョン率 折れ線グラフビジュアライゼーションが表示されます。

結果の解釈

アドビの統計方法 statistics

解釈が容易で、安全な統計的推論を提供するために、アドビでは、常に有効な信頼性シーケンスに基づく統計方法を採用しています。

信頼性シーケンスは、信頼区間の 連続的な アナログです。 信頼性シーケンスとは何かを理解するために、実験を 100 回繰り返すと想像してください。 実験に参加する（新規ユーザーごとに 平均ビジネス指標（メール開封率など）と、関連する 95% 信頼性シーケンスの推定を計算 ます。

95% の信頼性シーケンスは、実行した 100 件の実験のうち 95 件のビジネス指標の「true」値を含みます。 （95% の信頼区間は、実験ごとに 1 回だけ計算でき、同じ 95% の範囲を保証します。新規ユーザーごとの計算はできません）。 したがって、信頼性シーケンスを使用すると、偽陽性のエラー率を増やすことなく、実験を継続的に監視できます。つまり、結果を「覗き見」ることができます。

非ランダム化ディメンションの解釈 non-randomized

Customer Journey Analyticsを使用すると、アナリストは任意のディメンションを実験として選択できます。 しかし、実験として選択されたディメンションが、どのユーザーがランダム化されているかではない場合、分析をどのように解釈しますか？

例えば、ユーザーに表示される広告について考えてみましょう。 広告 A ではなく 広告 B を表示することを決定した場合は、一部の指標（平均売上高など）の変化の測定に関心がある可能性があります。 広告 A ではなく広告 B を表示することの因果関係は、マーケティングの決定を下す上で最も重要です。 広告 A を表示するという現状を、広告 B を表示するという別の戦略に置き換えた場合、この因果関係は、母集団全体の平均売上高として測定できます。

A/B テストは、このような介入の効果を客観的に測定するための業界内のゴールドスタンダードです。 A/B テストが因果関係の推定を導き出す決定的な理由は、考えられる変種の 1 つを受け取る人のランダム化にある。

さて、ランダム化によって達成されないディメンションについて考えてみましょう。例えば、人の米国の状態などです。 人は主にニューヨークとカリフォルニアの 2 つの州から来ています。 冬物衣料品ブランドの平均売上高は、地域の天候の違いにより、2 つの州で異なる可能性があります。 このような状況では、天候は冬の衣料品の販売の真の因果的要因であり、人の地理的状態が異なるという事実ではないかもしれません。

Customer Journey Analyticsの実験パネルを使用すると、データを人物の州ごとの平均収益差異として分析できます。 このような状況では、出力には因果的な解釈がありません。 しかし、そのような分析はまだ興味があるかもしれません。 これは、人物の州ごとの平均売上高の違いの推定値（不確実性の測定と共に）を提供します。 この値は、統計的仮説テスト とも呼ばれます。 この分析の結果は興味深いものになるかもしれませんが、必ずしも実用的ではありません。 単に、ランダム化されておらず、ディメンションの可能な値の 1 つに人物をランダム化できないという理由です。

次の図は、これらの状況を対比したものです。

介入 X が結果 Y に与える影響を測定する場合、両者の実際の原因が交絡因子 C である可能性があります。X に人をランダム化してデータを得なければ、影響は測定しにくく、分析は C を明確に説明しています。ランダム化は X の C への依存を壊し、他の変数を心配することなく X の Y への影響を測定できます。

実験で計算指標を使用 use-in-experimentation

すべての計算指標に実験パネルとの互換性があるわけではありません。

次の指標または定数のいずれかを含む計算指標は、実験パネルと互換性がありません。

実験パネルと互換性のない計算指標は、計算指標を作成する際に Customer Journey Analyticsの互換性 フィールドに 製品のすべての場所（実験を除く） という値を持ちます。 計算指標の作成について詳しくは、 指標の作成を参照してください。

実験パネルでの計算指標の使用

実験パネルでの計算指標の使用については、このブログ投稿を参照してください。