実験パネル experimentation-panel

実験 パネルを使用すると、アナリストは様々なユーザーエクスペリエンス、マーケティングまたはメッセージングのバリエーションを比較して、特定の結果を導くのに最適なものを判断できます。 A/B 実験の上昇率と信頼性は、オンライン、オフライン、Target やJourney OptimizerなどのAdobeソリューション、さらには BYO (bring-your-own)データなど、あらゆる実験プラットフォームから評価できます。

詳しくは、Adobe Customer Journey AnalyticsとAdobe Targetの統合を参照してください。

アクセス制御 access

実験パネルは、すべてのCustomer Journey Analyticsユーザーが使用できます。 管理者権限やその他の権限は必要ありません。 ただし、前提条件では、管理者のみが実行できるアクションが必要です。

計算指標の関数

上昇率および信頼性の 2 つの高度な関数を使用できます。 詳しくは、リファレンス - 高度な関数を参照してください。

前提条件

実験パネルを使用するには、次の前提条件に従う必要があります。

実験データセットへの接続を作成

推奨されるデータスキーマは、実験データを オブジェクト配列に配置することです。この配列には、2 つの異なるディメンションでの実験データとバリアントデータが含まれます。 両方のディメンションは、単一 のオブジェクト配列である必要があります。 実験データが単一のディメンションに(実験データとバリアントデータを区切り文字列で区切った)存在する場合、パネルで使用するために、データビューの 部分文字列設定を使用してディメンションを 2 つに分割できます。

実験データがAdobe Experience Platformに 取り込みれた後、Customer Journey Analyticsで接続を作成1 つ以上の実験データセットに対して実行します。

データビューへのコンテキストラベルの追加

Customer Journey Analyticsデータビューの設定では、管理者はディメンションや指標に コンテキストラベルを追加し、目的に合わせて ​ 実験 ​ パネルなどのCustomer Journey Analyticsサービスでこれらのラベルを使用できます。 実験パネルには、次の 2 つの事前定義済みのラベルが使用されます。

  • 実験的な実験
  • 実験バリアント

実験データを含むデータビューで、2 つのディメンション(1 つは実験データを含むもの、もう 1 つはバリアントデータを含むもの)を選択します。 次に、これらのディメンションに 実験 ラベルと 実験バリアント ラベルを付けます。

実験および実験バリアントのコンテキストラベルオプション。

これらのラベルが存在しない場合、操作する実験がないため、実験パネルは機能しません。

用途

実験 パネルを使用するには:

  1. 実験 パネルを作成します。 パネルの作成方法について詳しくは、 パネルの作成を参照してください。

  2. パネルの 入力を指定します。

  3. パネルの output を確認します。

    note important
    IMPORTANT
    Customer Journey Analyticsデータビューで必要な設定が完了していない場合は、先に進む前に次のメッセージが表示されます。​ データビューで実験ディメンションとバリアントディメンションを設定してください ​。

パネル入力

実験パネルを使用するには:

  1. パネル入力設定を指定します。

    実験パネルがプロジェクトにドラッグされました。

    table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2
    設定 定義
    日付範囲 選択した実験のCustomer Journey Analyticsで最初に受信したイベントに基づいて、実験パネルの日付範囲が自動的に設定されます。 必要に応じて、日付範囲をより具体的な期間に制限または拡張できます。
    実験 どのエクスペリエンスを永続的に保持することが最適かを判断するために、エンドユーザーに公開されたエクスペリエンスに対する一連のバリエーションです。 実験は、2 つ以上のバリアントで構成され、そのうちの 1 つがコントロールバリアントと見なされます。 この設定には、データビューで 実験 ラベルが付けられたディメンションと、過去 3 か月分の実験データが事前に入力されています。
    コントロールバリアント エンドユーザーのエクスペリエンスにおいて、より優れた代替策を特定するために比較する、複数の選択肢の 1 つです。1 つのバリアントをコントロールとして選択する必要があり、1 つのバリアントのみがコントロールバリアントと見なされます。 この設定には、データビューで バリアント ラベルが付けられたディメンションが事前に入力されています。 この設定により、この実験に関連付けられているバリアントデータを取得します。
    成功指標 ユーザーがバリアントと比較する指標。 コンバージョン指標に対して最も望ましい結果を持つバリアント(最高または最低)が、実験の 最もパフォーマンスの高いバリアント として宣言されます。 最大 5 つの指標を追加できます。
    指標の標準化 テストが実行される基準(​ 人 ​、​ セッション ​ または ​ イベント ​)。 例えば、テストでは、いくつかのバリエーションのコンバージョン率を比較できます コンバージョン率 は、ページビューとして計算されます
    信頼性の上限/下限を含める 信頼性レベルの上限と下限を表示するには、このオプションを有効にします。
  2. 作成」を選択します。

パネル出力

実験パネルは、豊富なデータとビジュアライゼーションのセットを返し、実験のパフォーマンスをより深く理解するのに役立ちます。パネルの上部に、選択したパネル設定を示す 変更概要ビジュアライゼーションが表示されます。 右上の編集鉛筆を選択すると、いつでもパネルを編集できます。

また、実験が決定的かどうかを示すテキストの概要を取得し、結果の概要を示します。 結論は統計的優位差に基づきます( 統計的手法を参照)。 上昇率と信頼性が最も高く、最もパフォーマンスの高いバリアントの概要数値概要数を確認できます。

選択した各成功指標に対して、 フリーフォームテーブルビジュアライゼーションおよびコンバージョン率 折れ線グラフビジュアライゼーションが表示されます。

1 つのフリーフォームテーブルと 1 つのコンバージョン率トレンドを示す実験出力

NOTE
このパネルは、現在、A/A テストの分析をサポートしていません。

結果の解釈

  1. 実験は決定的です:実験レポートを表示するたびに、この時点まで実験に累積したデータが分析されます。 分析では、いつでも 有効な信頼性が、バリアントの 少なくとも 1 つ のしきい値である 95% を超えると、実験の最終的な結果が得られることを宣言します。 アームが 2 つ以上ある場合は、Benjamini-Hochberg 補正を適用して、複数の仮説テストを補正する。

  2. 最も効果の高いバリアント:実験が決定的であると宣言された場合、コンバージョン率の最も高いバリアントには、「最もパフォーマンスの高いバリアント」というラベルが付けられます。 このバリアントは、コントロールバリアントかベースラインバリアントであり、または 95%常に)有効な信頼性しきい値を超えるバリアントの 1 つである必要があります Benjamini-Hochberg 補正が適用されます)。

  3. コンバージョン率:表示されるコンバージョン率は、成功指標値と標準化指標値➋の➊比率です。 指標がバイナリ(実験の各単位に対して 1 または 0)でない場合、この値が 1 より大きくなる可能性があることに注意してください

  4. 上昇率:実験レポートの概要には、ベースラインに対する上昇率が表示されます。これは、ベースラインに対する特定のバリアントのコンバージョン率の向上率をパーセントで示す指標です。 正確に定義すると、特定のバリアントとベースラインのパフォーマンスの差を、ベースラインのパフォーマンスで割って、パーセントで表します。

  5. 信頼性:表示される常に有効な信頼性は、特定のバリアントがコントロールバリアントと同じであることの確率的な証拠の量を示す指標です。 信頼性が高いほど、コントロールバリアントおよびコントロールバリアント以外のパフォーマンスが等しいという仮定に対する証拠が少ないことを示します。信頼性は、特定のバリアントとコントロールの間のコンバージョン率の差が小さく観測された確率(パーセントで表現)です。 実際には、真の基礎となるコンバージョン率に違いはありません。 p ​値に関しては、表示される信頼性は、1 - p ​値です。

NOTE
結果の完全な説明では、決定的な結果の宣言だけでなく、利用可能なすべての証拠(実験設計、サンプルサイズ、コンバージョン率、信頼性など)を考慮する必要があります。 結果がまだ最終的でない場合でも、あるバリアントが別のバリアントと異なるという、説得力のある証拠が存在する場合があります(例えば、信頼区間がほぼ重なっていないなど)。 連続的なスペクトルで解釈されるすべての統計的証拠は、意思決定に情報を与える必要があります。

アドビの統計方法 statistics

解釈が容易で、安全な統計的推論を提供するために、アドビでは、常に有効な信頼性シーケンスに基づく統計方法を採用しています。

信頼性シーケンスは、信頼区間の 連続的な アナログです。 信頼性シーケンスとは何かを理解するために、実験を 100 回繰り返すと想像してください。 実験に参加する(新規ユーザーごとに 平均ビジネス指標(メール開封率など)と、関連する 95% 信頼性シーケンスの推定を計算 ます。

95% の信頼性シーケンスは、実行した 100 件の実験のうち 95 件のビジネス指標の「true」値を含みます。 (95% の信頼区間は、実験ごとに 1 回だけ計算でき、同じ 95% の範囲を保証します。新規ユーザーごとの計算はできません)。 したがって、信頼性シーケンスを使用すると、偽陽性のエラー率を増やすことなく、実験を継続的に監視できます。つまり、結果を「覗き見」ることができます。

非ランダム化ディメンションの解釈 non-randomized

Customer Journey Analyticsを使用すると、アナリストは任意のディメンションを実験として選択できます。 しかし、実験として選択されたディメンションが、どのユーザーがランダム化されているかではない場合、分析をどのように解釈しますか?

例えば、ユーザーに表示される広告について考えてみましょう。 広告 A ではなく 広告 B を表示することを決定した場合は、一部の指標(平均売上高など)の変化の測定に関心がある可能性があります。 広告 A ではなく広告 B を表示することの因果関係は、マーケティングの決定を下す上で最も重要です。 広告 A を表示するという現状を、広告 B を表示するという別の戦略に置き換えた場合、この因果関係は、母集団全体の平均売上高として測定できます。

A/B テストは、このような介入の効果を客観的に測定するための業界内のゴールドスタンダードです。 A/B テストが因果関係の推定を導き出す決定的な理由は、考えられる変種の 1 つを受け取る人のランダム化にある。

さて、ランダム化によって達成されないディメンションについて考えてみましょう。例えば、人の米国の状態などです。 人は主にニューヨークとカリフォルニアの 2 つの州から来ています。 冬物衣料品ブランドの平均売上高は、地域の天候の違いにより、2 つの州で異なる可能性があります。 このような状況では、天候は冬の衣料品の販売の真の因果的要因であり、人の地理的状態が異なるという事実ではないかもしれません。

Customer Journey Analyticsの実験パネルを使用すると、データを人物の州ごとの平均収益差異として分析できます。 このような状況では、出力には因果的な解釈がありません。 しかし、そのような分析はまだ興味があるかもしれません。 これは、人物の州ごとの平均売上高の違いの推定値(不確実性の測定と共に)を提供します。 この値は、統計的仮説テスト とも呼ばれます。 この分析の結果は興味深いものになるかもしれませんが、必ずしも実用的ではありません。 単に、ランダム化されておらず、ディメンションの可能な値の 1 つに人物をランダム化できないという理由です。

次の図は、これらの状況を対比したものです。

観測データとランダム化実験を示した図。

介入 X が結果 Y に与える影響を測定する場合、両者の実際の原因が交絡因子 C である可能性があります。X に人をランダム化してデータを得なければ、影響は測定しにくく、分析は C を明確に説明しています。ランダム化は X の C への依存を壊し、他の変数を心配することなく X の Y への影響を測定できます。

実験で計算指標を使用 use-in-experimentation

NOTE
Customer Journey AnalyticsとAdobe Journey Optimizerの両方を使用する組織の場合、この節の情報は、Journey Optimizer内の実験機能にも適用されます。

すべての計算指標に実験パネルとの互換性があるわけではありません。

次の指標または定数のいずれかを含む計算指標は、実験パネルと互換性がありません。

  • 概要データセットのベース指標
  • 相互に分割または乗算された基本指標(Revenue/Orders など)
  • 基本指標に追加または減算される定数(Revenue+50 など)
  • 次のいずれかの基本指標。
    • ユーザー

実験パネルと互換性のない計算指標は、計算指標を作成する際に Customer Journey Analyticsの互換性 フィールドに 製品のすべての場所(実験を除く) という値を持ちます。 計算指標の作成について詳しくは、 指標の作成を参照してください。

実験パネルでの計算指標の使用

実験パネルでの計算指標の使用については、このブログ投稿を参照してください。

recommendation-more-help
080e5213-7aa2-40d6-9dba-18945e892f79