実験パネル

実験​パネルを使用すると、アナリストは様々なユーザーエクスペリエンス、マーケティングまたはメッセージングのバリエーションを比較して、特定の結果を導くのに最適なものを判断できます。 A/B 実験の上昇率と信頼性は、オンライン、オフライン、アドビのソリューション、Adobe Journey Optimizer、BYO（bring-your-own）データなど、あらゆる実験プラットフォームから評価できます。

アクセス制御

実験パネルは、すべての Customer Journey Analytics（CJA）ユーザーが使用できます。 管理者権限やその他の権限は必要ありません。 ただし、設定（以下の手順 1 および 2）では、管理者のみが実行できる操作が必要です。

手順 1：実験データセットへの接続の作成

推奨されるデータスキーマは、実験データをオブジェクト配列に配置することです。この配列には、2 つの異なるディメンションでの実験データとバリアントデータが含まれます。 実験データとバリアントデータを区切り文字列で区切った単一のディメンションに実験データがある場合、パネルで使用するために、データビューの部分文字列の設定を使用して 2 つに分割できます。

実験データが Adobe Experience Platform に取り込まれたら、CJA で 1 つ以上の実験データセットへの接続を作成します。

手順 2：データビューでのコンテキストラベルの追加

CJA データビューの設定では、管理者はディメンションや指標にコンテキストラベルをディメンションや指標に追加し、目的に合わせて実験パネルなどの CJA サービスでこれらのラベルを使用できます。実験パネルには、次の 2 つの事前定義済みのラベルが使用されます。

• 実験的な実験
• 実験バリアント

実験データを含むデータビューで、2 つのディメンション（1 つは実験データを含むもの、もう 1 つはバリアントデータを含むもの）を選択します。 次に、これらのディメンションに​実験​ラベルと​バリアント​ラベルを付けます。

これらのラベルが存在しない場合、操作する実験がないため、実験パネルは機能しません。

手順 3：実験パネルの設定

1. CJA Workspace で、実験パネルをプロジェクトにドラッグします。

1. パネル入力設定を行います。

   設定	定義
   実験	どのエクスペリエンスを永続的に保持することが最適かを判断するために、エンドユーザーに公開されたエクスペリエンスに対する一連のバリエーションです。実験は、2 つ以上のバリアントで構成され、そのうちの 1 つがコントロールバリアントと見なされます。 この設定には、データビューで​実験​ラベルが付けられたディメンションと、過去 3 か月分の実験データが事前に入力されています。
   コントロールバリアント	エンドユーザーのエクスペリエンスにおいて、より優れた代替策を特定するために比較する、複数の選択肢の 1 つです。1 つのバリアントをコントロールとして選択する必要があり、1 つのバリアントのみがコントロールバリアントと見なされます。 この設定には、データ ビューで​バリアント​ラベルが付けられたディメンションが事前に入力されています。 この設定により、この実験に関連付けられているバリアントデータを取得します。
   成功指標	ユーザーがバリアントと比較する指標。 コンバージョン指標に対して最も望ましい結果を持つバリアント（最高または最低）が、実験の「最もパフォーマンスの高いバリアント」として宣言されます。 最大 5 つの指標を追加できます。
   指標の標準化	テストが実行される基準（人、セッションまたはイベント）。例えば、テストでは、いくつかのバリエーションのコンバージョン率を比較できます。コンバージョン率​は、セッションあたりのコンバージョン数​または 1 人あたりのコンバージョン数​として計算されます。
   日付範囲	選択した実験に対して CJA で受信した最初のヒット数に基づいて、日付範囲が自動設定されます。 必要に応じて、日付範囲をより具体的な期間に制限または拡張できます。

2. 「作成」をクリックします。

手順 4：パネル出力の表示

実験パネルは、豊富なデータとビジュアライゼーションのセットを返し、実験のパフォーマンスをより深く理解するのに役立ちます。パネルの上部に、選択したパネル設定を示すサマリー行が表示されます。右上の編集鉛筆をクリックすると、いつでもパネルを編集できます。

また、実験が決定的かどうかを示すテキストの概要を取得し、結果の概要を示します。 結論は統計的有意性に基づいています。 （以下の「統計的手法」を参照。） 上昇率と信頼性が最も高く、最もパフォーマンスの高いバリアントの概要数値概要数を確認できます。

選択した各成功指標に対して、1 つのフリーフォームテーブルと 1 つのコンバージョン率トレンドが表示されます。

折れ線グラフでは、コントロール対コントロールバリアントのパフォーマンスを確認できます。

手順 5：結果の解釈

1. 実験は決定的です：アドビでは、実験レポートを表示するたびに、この時点まで実験に累積したデータを分析し、少なくとも 1 つ​のバリアントで、常に有効な信頼性が 95％のしきい値を超えると、実験を「決定的」と宣言します（2 アーム以上の場合は、複数の仮説テストを補正するためにボンフェロンニ補正を適用）。

2. 最も効果の高いバリアント：実験が決定的であると宣言された場合、コンバージョン率の最も高いバリアントには、「最もパフォーマンスの高いバリアント」というラベルが付けられます。このバリアントは、コントロールバリアントかベースラインバリアントであり、または常に有効な信頼性が 95％の（ボンフェロンニ補正が適用された）しきい値を超えるバリアントの 1 つである必要があります。

3. コンバージョン率：表示されるコンバージョン率は、成功指標値と標準化指標値の比率です。指標がバイナリ（実験の各単位に対して 1 または 0）でない場合は、1 より大きくなることがあります。

4. 上昇率：実験レポートの概要には、ベースラインに対する上昇率が表示されます。これは、ベースラインに対する特定のバリアントのコンバージョン率が向上した割合をパーセントで示す指標です。正確に定義すると、特定のバリアントとベースラインのパフォーマンスの差を、ベースラインのパフォーマンスで割って、パーセントで表します。

5. 信頼性：表示される常に有効な信頼性は、特定のバリアントがコントロールバリアントと同じであることの確率的な証拠の量を示す指標です。 信頼性が高いほど、コントロールバリアントおよびコントロールバリアント以外のパフォーマンスが等しいという仮定に対する証拠が少ないことを示します。より正確に言えば、表示される信頼性は、実際には真の基礎となるコンバージョン率に違いがない場合、特定のバリアントとコントロールの間のコンバージョン率の差が小さく観測された確率（パーセントで表現）です。p​値に関しては、表示される信頼性は、1 - p​値です。

アドビの統計方法

解釈が容易で、安全な統計的推論を提供するために、アドビでは、常に有効な信頼性シーケンスに基づく統計方法を採用しています。

信頼性シーケンスは、信頼区間の「連続的な」アナログです。信頼性シーケンスとは何かを理解するには、実験を 100 回繰り返すとして、実験に加わる​新規ユーザー​ごとに、平均ビジネス指標（メール開封率など）とそれに関連する 95％信頼性シーケンスの推定値を計算することを想定します。

95％の信頼性シーケンスは、実行した 100 件の実験のうち 95 件のビジネス指標の「true」値を含みます。（95％の信頼区間は、同じ 95％の範囲を保証するために、新規ユーザーごとの計算ではなく、実験ごとに 1 回の計算となります。） したがって、信頼性シーケンスを使用すると、結果を「覗き見」て確認することができるため、偽陽性のエラー率を増やすことなく、実験を継続的に監視できます。

計算指標の新しい関数

上昇率および信頼性の 2 つの高度な関数が追加されました。詳しくは、リファレンス - 高度な関数を参照してください。

Business.Adobe.com リソース