実験パネル

実験​パネルを使用すると、アナリストは様々なユーザーエクスペリエンス、マーケティングまたはメッセージングのバリエーションを比較して、特定の結果を導くのに最適なものを判断できます。 A/B 実験の上昇率と信頼性は、オンライン、オフライン、アドビのソリューション、Adobe Journey Optimizer、BYO（bring-your-own）データなど、あらゆる実験プラットフォームから評価できます。

アクセス制御

実験パネルは、すべてのCustomer Journey Analyticsユーザーが使用できます。 管理者権限やその他の権限は必要ありません。 ただし、設定（以下の手順 1 および 2）では、管理者のみが実行できる操作が必要です。

計算指標の新しい関数

上昇率および信頼性の 2 つの高度な関数が追加されました。詳しくは、リファレンス - 高度な関数を参照してください。

手順 1：実験データセットへの接続の作成

推奨されるデータスキーマは、実験データをオブジェクト配列に配置することです。この配列には、2 つの異なるディメンションでの実験データとバリアントデータが含まれます。 両方のディメンションは、 シングル オブジェクト配列。 実験データとバリアントデータを区切り文字列で区切った単一のディメンションに実験データがある場合、パネルで使用するために、データビューの部分文字列の設定を使用して 2 つに分割できます。

実験データが 取得済み Adobe Experience Platformに 接続をCustomer Journey Analytics を 1 つ以上の実験データセットに追加します。

手順 2：データビューでのコンテキストラベルの追加

Customer Journey Analyticsのデータビュー設定で、管理者は コンテキストラベル を次のようなディメンションまたは指標やCustomer Journey Analyticsサービスに追加 実験 パネルでは、これらのラベルを使用してラベルを作成できます。 実験パネルには、次の 2 つの事前定義済みのラベルが使用されます。

• 実験的な実験
• 実験バリアント

実験データを含むデータビューで、2 つのディメンション（1 つは実験データを含むもの、もう 1 つはバリアントデータを含むもの）を選択します。 次に、これらのディメンションに​実験​ラベルと​バリアント​ラベルを付けます。

これらのラベルが存在しない場合、操作する実験がないため、実験パネルは機能しません。

手順 3：実験パネルの設定

1. Experimentation Workspace で、Experimentation パネルをプロジェクトにドラッグします。

1. パネル入力設定を行います。

   設定	定義
   実験	どのエクスペリエンスを永続的に保持することが最適かを判断するために、エンドユーザーに公開されたエクスペリエンスに対する一連のバリエーションです。実験は、2 つ以上のバリアントで構成され、そのうちの 1 つがコントロールバリアントと見なされます。 この設定には、データビューで​実験​ラベルが付けられたディメンションと、過去 3 か月分の実験データが事前に入力されています。
   コントロールバリアント	エンドユーザーのエクスペリエンスにおいて、より優れた代替策を特定するために比較する、複数の選択肢の 1 つです。1 つのバリアントをコントロールとして選択する必要があり、1 つのバリアントのみがコントロールバリアントと見なされます。 この設定には、データ ビューで​バリアント​ラベルが付けられたディメンションが事前に入力されています。 この設定により、この実験に関連付けられているバリアントデータを取得します。
   成功指標	ユーザーがバリアントと比較する指標。 コンバージョン指標に対して最も望ましい結果を持つバリアント（最高または最低）が、実験の「最もパフォーマンスの高いバリアント」として宣言されます。 最大 5 つの指標を追加できます。
   指標の標準化	テストが実行される基準（人、セッションまたはイベント）。例えば、テストでは、いくつかのバリエーションのコンバージョン率を比較できます。コンバージョン率​は、セッションあたりのコンバージョン数​または 1 人あたりのコンバージョン数​として計算されます。
   日付範囲	日付範囲は、選択した実験で最初に受け取ったイベントに基づいて、Customer Journey Analyticsに自動的に設定されます。 必要に応じて、日付範囲をより具体的な期間に制限または拡張できます。

2. 「作成」をクリックします。

手順 4：パネル出力の表示

実験パネルは、豊富なデータとビジュアライゼーションのセットを返し、実験のパフォーマンスをより深く理解するのに役立ちます。パネルの上部に、選択したパネル設定を示すサマリー行が表示されます。右上の編集鉛筆をクリックすると、いつでもパネルを編集できます。

また、実験が決定的かどうかを示すテキストの概要を取得し、結果の概要を示します。 結論は統計的有意性に基づいています。 （以下の「統計的手法」を参照。） 上昇率と信頼性が最も高く、最もパフォーマンスの高いバリアントの概要数値概要数を確認できます。

選択した各成功指標に対して、1 つのフリーフォームテーブルと 1 つのコンバージョン率トレンドが表示されます。

折れ線グラフでは、コントロール対コントロールバリアントのパフォーマンスを確認できます。

手順 5：結果の解釈

1. 実験は決定的だ:Adobeは、実験レポートを表示するたびに、この時点まで実験に累積したデータを分析し、有効な信頼性が 95%のしきい値を超えると、いつでも実験を「最終的」と宣言します。 少なくとも 1 つ （Benjamini - Hochberg 補正は、複数の仮説テストのために、2 つ以上の腕がある場合に適用されます）。

2. 最も効果の高いバリアント：実験が決定的であると宣言された場合、コンバージョン率の最も高いバリアントには、「最もパフォーマンスの高いバリアント」というラベルが付けられます。このバリアントは、コントロールバリアントかベースラインバリアントか、95%の有効な信頼のしきい値（Benjamini-Hochberg 修正を適用した場合）を超えるバリアントの 1 つである必要があります。

3. コンバージョン率：表示されるコンバージョン率は、成功指標値と標準化指標値の比率です。指標がバイナリ（実験の各単位に対して 1 または 0）でない場合は、1 より大きくなることがあります。

4. 上昇率：実験レポートの概要には、ベースラインに対する上昇率が表示されます。これは、ベースラインに対する特定のバリアントのコンバージョン率が向上した割合をパーセントで示す指標です。正確に定義すると、特定のバリアントとベースラインのパフォーマンスの差を、ベースラインのパフォーマンスで割って、パーセントで表します。

5. 信頼性：表示される常に有効な信頼性は、特定のバリアントがコントロールバリアントと同じであることの確率的な証拠の量を示す指標です。 信頼性が高いほど、コントロールバリアントおよびコントロールバリアント以外のパフォーマンスが等しいという仮定に対する証拠が少ないことを示します。より正確に言えば、表示される信頼性は、実際には真の基礎となるコンバージョン率に違いがない場合、特定のバリアントとコントロールの間のコンバージョン率の差が小さく観測された確率（パーセントで表現）です。p​値に関しては、表示される信頼性は、1 - p​値です。

アドビの統計方法

解釈が容易で、安全な統計的推論を提供するために、アドビでは、常に有効な信頼性シーケンスに基づく統計方法を採用しています。

信頼性シーケンスは、信頼区間の「連続的な」アナログです。信頼性シーケンスとは何かを理解するには、実験を 100 回繰り返すとして、実験に加わる​新規ユーザー​ごとに、平均ビジネス指標（メール開封率など）とそれに関連する 95％信頼性シーケンスの推定値を計算することを想定します。

95％の信頼性シーケンスは、実行した 100 件の実験のうち 95 件のビジネス指標の「true」値を含みます。（95％の信頼区間は、同じ 95％の範囲を保証するために、新規ユーザーごとの計算ではなく、実験ごとに 1 回の計算となります。） したがって、信頼性シーケンスを使用すると、結果を「覗き見」て確認することができるため、偽陽性のエラー率を増やすことなく、実験を継続的に監視できます。

非ランダム化ディメンションの解釈

Customer Journey Analyticsを使用すると、アナリストは、任意のディメンションを「実験」として選択できます。 しかし、実験として選択された次元がランダム化された個人の次元ではない分析を、どのように解釈するのか。

例えば、ある人に表示される広告について考えます。 「ad A」の代わりに「ad B」を表示する場合は、一部の指標（平均売上高など）の変化を測定したい場合があります。 広告 A の代わりに広告 B を表示する原因効果は、マーケティングの決定に到達する上で最も重要です。 この因果関係は、広告 A の表示の現状を広告 B の表示の代替戦略に置き換えると、母集団全体に対する平均売上高として測定できる。

A/B テストは、こうした介入の効果を客観的に測定するための業界内の金基準です。 A/B テストが原因推定に影響を与える重要な理由は、考えられる変種の 1 つを受け取る人のランダム化が原因です。

次に、ランダム化によって達成されないディメンション（人の米国の州など）について考えてみましょう。 例えば、主にニューヨークとカリフォルニアの 2 つの州から来た人がいるとします。 地域の天候の違いにより、冬物ブランドの売り上げの平均収入は 2 つの州で異なる場合があります。 このような状況では、天候は、冬服販売の真の因果であり、人々の地理的状態が異なるという事実ではないかもしれません。

Customer Journey Analyticsの実験パネルを使用すると、人物の州別の平均売上高差としてデータを分析できます。 このような状況では、出力は因果関係の解釈を持たない。 しかし、そのような分析は、まだ興味を持つ可能性があります。 その結果、人々の州別の平均売上高の差の推定値（不確実性の測定値と共に）が提供されます。 これは、「統計的仮説テスト」とも呼ばれます。 この分析の出力は興味深いものの、必ずしも実用的ではない場合があります。なぜなら、人をディメンションの可能な値の 1 つにランダム化できないからです。

次の図は、これらの状況に対するコントラストを示しています。

干渉 X が結果 Y に与える影響を測定する場合、両者の真の原因は混乱要因 C である可能性があります。X に対する人のランダム化でデータが達成されない場合、影響は測定が難しく、C に対する X の依存性が明示的に計算されます。

実験パネルでの計算指標の使用

詳しくは、このブログ投稿を参照してください。 実験パネルでの派生指標の使用.

Business.Adobe.com リソース