実験パネル

実験 ​パネルを使用すると、アナリストは様々なユーザーエクスペリエンス、マーケティングまたはメッセージングのバリエーションを比較して、特定の結果を導くのに最適なものを判断できます。 A/B 実験の上昇率と信頼性は、Target や Journey Optimizer などのアドビのソリューション、BYO(bring-your-own)データなど、オンラインまたはオフラインのあらゆる実験プラットフォームで評価できます。

詳しくは、Adobe Customer Journey AnalyticsとAdobe Targetの統合を参照してください。

アクセス制御 access

実験パネルは、すべてのCustomer Journey Analyticsユーザーが使用できます。 管理者権限やその他の権限は必要ありません。 ただし、設定(以下の手順 1 および 2)では、管理者のみが実行できる操作が必要です。

計算指標の新しい関数 functions

上昇率および信頼性の 2 つの高度な関数が追加されました。詳しくは、リファレンス - 高度な関数を参照してください。

手順 1:実験データセットへの接続の作成 connection

推奨されるデータスキーマは、実験データをオブジェクト配列に配置することです。この配列には、2 つの異なるディメンションでの実験データとバリアントデータが含まれます。 両方のディメンションは、単一 のオブジェクト配列である必要があります。 実験データとバリアントデータを区切り文字列で区切った単一のディメンションに実験データがある場合、パネルで使用するために、データビューの 部分文字列設定を使用してディメンションを 2 つに分割できます。

実験データがAdobe Experience Platformに 取り込みれた後、Customer Journey Analyticsで接続を作成1 つ以上の実験データセットに対して。

手順 2:データビューでのコンテキストラベルの追加 context-labels

Customer Journey Analyticsデータビューの設定では、管理者はディメンションや指標に コンテキストラベルを追加し、目的に合わせて ​ 実験 ​ パネルなどのCustomer Journey Analyticsサービスでこれらのラベルを使用できます。 実験パネルには、次の 2 つの事前定義済みのラベルが使用されます。

  • 実験的な実験
  • 実験バリアント

実験データを含むデータビューで、2 つのディメンション(1 つは実験データを含むもの、もう 1 つはバリアントデータを含むもの)を選択します。 次に、これらのディメンションに​ 実験 ​ラベルと​ バリアント ​ラベルを付けます。

実験および実験バリアントのコンテキストラベルオプション。

これらのラベルが存在しない場合、操作する実験がないため、実験パネルは機能しません。

手順 3:実験パネルの設定 configure

  1. Customer Journey AnalyticsWorkspaceで、実験パネルをプロジェクトにドラッグします。

プロジェクトにドラッグされた実験パネル。

IMPORTANT
Customer Journey Analyticsデータビューで必要な設定が完了していない場合は、先に進む前に「​ データビューで実験ディメンションとバリアントディメンションを設定してください ​」というメッセージが表示されます。
  1. パネル入力設定を行います。

    table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2
    設定 定義
    実験 どのエクスペリエンスを永続的に保持することが最適かを判断するために、エンドユーザーに公開されたエクスペリエンスに対する一連のバリエーションです。 実験は、2 つ以上のバリアントで構成され、そのうちの 1 つがコントロールバリアントと見なされます。 この設定には、データビューで​ 実験 ​ラベルが付けられたディメンションと、過去 3 か月分の実験データが事前に入力されています。
    コントロールバリアント エンドユーザーのエクスペリエンスにおいて、より優れた代替策を特定するために比較する、複数の選択肢の 1 つです。1 つのバリアントをコントロールとして選択する必要があり、1 つのバリアントのみがコントロールバリアントと見なされます。 この設定には、データ ビューで​ バリアント ​ラベルが付けられたディメンションが事前に入力されています。 この設定により、この実験に関連付けられているバリアントデータを取得します。
    成功指標 ユーザーがバリアントと比較する指標。 コンバージョン指標に対して最も望ましい結果を持つバリアント(最高または最低)が、実験の「最もパフォーマンスの高いバリアント」として宣言されます。 最大 5 つの指標を追加できます。
    指標の標準化 テストが実行される基準(​ 人 ​、​ セッション ​ または ​ イベント ​)。 例えば、テストでは、いくつかのバリエーションのコンバージョン率を比較できます。コンバージョン率 ​は、セッションあたりのコンバージョン数 ​または 1 人あたりのコンバージョン数 ​として計算されます。
    日付範囲 選択した実験に対してCustomer Journey Analyticsで最初に受け取ったイベントに基づいて、日付範囲が自動的に設定されます。 必要に応じて、日付範囲をより具体的な期間に制限または拡張できます。
  2. 作成」をクリックします。

手順 4:パネル出力の表示 view

実験パネルは、豊富なデータとビジュアライゼーションのセットを返し、実験のパフォーマンスをより深く理解するのに役立ちます。パネルの上部に、選択したパネル設定を示すサマリー行が表示されます。右上の編集鉛筆をクリックすると、いつでもパネルを編集できます。

また、実験が決定的かどうかを示すテキストの概要を取得し、結果の概要を示します。 結論は統計的有意性に基づいています。 (以下の「統計的手法」を参照。) 上昇率と信頼性が最も高く、最もパフォーマンスの高いバリアントの概要数値概要数を確認できます。

選択した各成功指標に対して、1 つのフリーフォームテーブルと 1 つのコンバージョン率トレンドが表示されます。

1 つのフリーフォームテーブルと 1 つのコンバージョン率トレンドを示す実験出力

折れ線グラフでは、コントロール対コントロールバリアントのパフォーマンスを確認できます。

コントロール対コントロールバリアントのパフォーマンスを示す折れ線グラフ出力。

NOTE
このパネルは、現在、A/A テストの分析をサポートしていません。

手順 5:結果の解釈 interpret

  1. 実験は決定的です:実験レポートを表示するたびに、この時点まで実験に累積したデータが分析されます。 また、常に有効な信頼性がバリアントの 少なくとも 1 つ のしきい値 95% を超えると、実験が「決定的」であると宣言します(2 つ以上のアームがある場合は、複数の仮説テストを補正するために Benjamini-Hochberg 補正を適用)。

  2. 最も効果の高いバリアント:実験が決定的であると宣言された場合、コンバージョン率の最も高いバリアントには、「最もパフォーマンスの高いバリアント」というラベルが付けられます。このバリアントは、コントロールバリアントかベースラインバリアントであり、または常に有効な信頼性が 95% の(Benjamini-Hochberg 補正が適用された)しきい値を超えるバリアントの 1 つである必要があります。

  3. コンバージョン率:表示されるコンバージョン率は、成功指標値と標準化指標値の比率です。 指標がバイナリ(実験の各単位に対して 1 または 0)でない場合、この値が 1 より大きくなることがあります

  4. 上昇率:実験レポートの概要には、ベースラインに対する上昇率が表示されます。これは、ベースラインに対する特定のバリアントのコンバージョン率の向上率をパーセントで示す指標です。 正確に定義すると、特定のバリアントとベースラインのパフォーマンスの差を、ベースラインのパフォーマンスで割って、パーセントで表します。

  5. 信頼性:表示される常に有効な信頼性は、特定のバリアントがコントロールバリアントと同じであることの確率的な証拠の量を示す指標です。 信頼性が高いほど、コントロールバリアントおよびコントロールバリアント以外のパフォーマンスが等しいという仮定に対する証拠が少ないことを示します。より正確に言えば、表示される信頼性は、実際には真の基礎となるコンバージョン率に違いがない場合、特定のバリアントとコントロールの間のコンバージョン率の差が小さく観測された確率(パーセントで表現)です。 p ​値に関しては、表示される信頼性は、1 - p ​値です。

NOTE
結果の完全な説明では、決定的な結果の宣言だけでなく、利用可能なすべての証拠(実験設計、サンプルサイズ、コンバージョン率、信頼性など)を考慮する必要があります。 結果がまだ最終的でない場合でも、あるバリアントが別のバリアントと異なるという、説得力のある証拠が存在する場合があります(例えば、信頼区間がほぼ重なっていないなど)。 連続的なスペクトルで解釈されるすべての統計的証拠は、意思決定に情報を与える必要があります。

アドビの統計方法 statistics

解釈が容易で、安全な統計的推論を提供するために、アドビでは、常に有効な信頼性シーケンスに基づく統計方法を採用しています。

信頼性シーケンスは、信頼区間の 連続的な アナログです。 信頼性シーケンスとは何かを理解するには、実験を 100 回繰り返すとして、実験に加わる 新規ユーザーごと)の平均ビジネス指標(メール開封率など)とそれに関連する 95% 信頼性シーケンスの推定値を計算する とを想定します。

95% の信頼性シーケンスは、実行した 100 件の実験のうち 95 件のビジネス指標の「true」値を含みます。 (95% の信頼区間は、実験ごとに 1 回だけ計算でき、同じ 95% の範囲を保証します。新規ユーザーごとの計算はできません)。 したがって、信頼性シーケンスを使用すると、偽陽性のエラー率を増やすことなく、実験を継続的に監視できます。つまり、結果を「覗き見」ることができます。

非ランダム化ディメンションの解釈 non-randomized

Customer Journey Analyticsを使用すると、アナリストは任意のディメンションを「実験」として選択できます。 しかし、実験として選択されたディメンションが、どのユーザーがランダム化されているかではない場合、分析をどのように解釈しますか?

例えば、ユーザーに表示される広告について考えてみましょう。 「広告 A」ではなく「広告 B」を表示することを決定した場合は、一部の指標(平均売上高など)の変化を測定することに興味がある可能性があります。 広告 A の代わりに広告 B を表示することの因果関係は、マーケティングの決定に到達する際に最も重要です。 この因果関係は、広告 A を表示するという現状を、広告 B を表示するという代替戦略に置き換えた場合、母集団全体の平均売上高として測定できます。

A/B テストは、このような介入の効果を客観的に測定するための業界内のゴールドスタンダードです。 A/B テストが因果関係の推定を導き出す決定的な理由は、考えられる変種の 1 つを受け取る人のランダム化にある。

さて、ランダム化によって達成されないディメンションについて考えてみましょう。例えば、人の米国の状態などです。 人物が主にニューヨークとカリフォルニアの 2 つの州から来ていると言ってみましょう。 冬物衣料品ブランドの平均売上高は、地域の天候の違いにより、2 つの州で異なる可能性があります。 このような状況では、天候は冬の衣料品の販売の真の因果的要因であり、人の地理的状態が異なるという事実ではないかもしれません。

Customer Journey Analyticsの実験パネルを使用すると、データを人物の州ごとの平均収益差異として分析できます。 このような状況では、出力には因果的な解釈がありません。 しかし、そのような分析はまだ興味があるかもしれません。 これは、人物の州ごとの平均売上高の違いの推定値(不確実性の測定と共に)を提供します。 この値は、「統計的仮説テスト」とも呼ばれます。 この分析の出力は興味深いものになるかもしれませんが、必ずしも実用的ではありません。これは、ディメンションの可能な値の 1 つに人をランダム化していない、またはランダム化できない場合があるからです。

次の図は、これらの状況を対比したものです。

観測データとランダム化実験を示した図。

介入 X が結果 Y に与える影響を測定する場合、両者の実際の原因が交絡因子 C である可能性があります。X に人をランダム化してデータを得なければ、影響は測定しにくく、分析は C を明確に説明しています。ランダム化は X の C への依存を壊し、他の変数を心配することなく X の Y への影響を測定できます。

実験パネルでの計算指標の使用

実験パネルでの派生指標の使用については、このブログ投稿を参照してください。

recommendation-more-help
080e5213-7aa2-40d6-9dba-18945e892f79