コンバージョン率

各エクスペリエンスについて、コンバージョン率、上昇率、信頼性(統計の有意性)および信頼区間が報告されます。

次の図では、サンプルのアクティビティで使用されるチャートのヘッダーを示しています。これには、コンバージョン率、上昇率、信頼性のヘッダーがあります。

メモ

すべてのデータで、渡されると重複注文は無視 orderID されます。監査レポートには、無視された重複注文のリストが示されます。

コンバージョン率

中央値のコンバージョン率、信頼性、間隔およびコンバージョン数を表します。

例えば、次のようなコンバージョン率レポート列があるとします。

最初の行は、コントロールエクスペリエンスです。15%のコンバージョン率で、3 つのコンバージョンがあることを表しています。2 行目のエクスペリエンス B は、15%のコンバージョン率で、プラスマイナス 15.65%の信頼区間、3 つのコンバージョンがあることを表しています。

メモ

現在、信頼区間はバイナリ指標に対してのみ計算されます。

上昇率

各エクスペリエンスのコンバージョン率とコントロールエクスペリエンスを比較します。

上昇率 = (エクスペリエンス CR - コントロール CR)÷コントロール CR

コントロールが 0 の場合、割合上昇率はありません。

信頼性(統計の有意性)

この数値は、再度テストを実施した場合に同じ結果になる可能性を表します。信頼性が 99.995%以上の場合は、100.00%に切り上げられます。

信頼性レベルと信頼区間を参照 してください。

小売データ

発注orderConfirmPage)mbox を挿入して、これをコンバージョン mbox として選択すると、AOV、RPV、販売データが各エクスペリエンスに表示されます。

信頼水準および信頼区間

エクスペリエンスごとに、信頼水準と信頼区間が表示されます。

売上高やエンゲージメント指標などの Target ベースの指標のコンバージョンおよび連続型変数は、次のように計算されます。

  • コンバージョン:「はい」または「いいえ」のどちらか
  • その他:​一定範囲内の値

for Target(A4T)でオフライン計算を実行することはできますが、AnalyticsAnalytics でのデータエクスポートを含む手順が必要になります。詳しくは、以下の「Analytics for Target(A4T)でのオフライン計算の実行」を参照してください。

信頼水準

信頼水準​は、各エクスペリエンスの「コンバージョン率」列の濃いパーセンテージによって表されます。

信頼水準(統計的有意性)は、エクスペリエンスの成功が偶然によるものではなかったという可能性を示します。信頼水準が高い場合は次のことを意味します。

  • エクスペリエンスのパフォーマンスがコントロールとは大幅に異なります。
  • エクスペリエンスのパフォーマンスが単なるノイズによるものではありません。
  • このテストを再び実施すると、同じ結果が得られる可能性が高くなります。

信頼水準が 90%または 95%を超えていれば、統計的有意性のある結果と見なすことができます。ビジネス上の意思決定をおこなうのは、サンプルサイズが十分に大きくなり、1 つ以上のエクスペリエンスの信頼性を表す 4 本のバーが一定した値を一定期間維持し、安定した結果が得られるまで待つようにしてください。

メモ

信頼性が 99.995%以上の場合は、100.00%に切り上げられます。

信頼区間

メモ

現在、信頼区間はバイナリ指標に対してのみ計算されます。

信頼区間​とは、所定の信頼水準で真の値を見つけることができる範囲です。信頼区間は、コンバージョン率列にライトグレーの +/- のパーセンテージとして表示されます。下の例では、エクスペリエンス B の上昇率の信頼区間はプラスマイナス 15.65%です。

例:​エクスペリエンスの RPV が 10 ドルの場合、その信頼水準は 95%で、信頼区間​は 5 ~ 15 ドルです。このテストを複数回実行すると、その回数の 95%で RPV が 5 ~ 15 ドルの範囲に収まることになります。

信頼区間に影響を与えるのは何でしょうか。​この公式は、信頼区間を計算する一般的な統計方法に従っています。

  • サンプルサイズ:​サンプルが増えると間隔が狭くなります。これは、レポートが成功指標の真の値に近づくことを意味しているので、望ましいことです。
  • 標準偏差値が小さい:​結果(AOV や日別のコンバージョンする訪問者数など)の類似性が高いほど、標準偏差値が小さくなります。

信頼性の計算とオフラインでの実行方法

ダウンロードした CSV レポート には生データのみが含まれ、A/B テストで使用される訪問者あたりの売上高、上昇率、信頼性などの計算指標は含まれません。

これらの計算指標を計算するには、ターゲットのComplete Confidence Calculator Excelファイルをダウンロードしてアクティビティの値を入力するか、ターゲット🔗が使用する統計指標を確認します。

メモ

この計算基準は、Target ベースのレポート用であり、A4T レポートでは使用できません。

Analytics for Analyticsのオフライン計算の実行(A4T)

A4T でオフライン計算を実行することはできますが、Analytics でのデータエクスポートを含む手順が必要になります。

A4T では、バイナリ指標ではなく、連続型変数にスチューデントの t 検定計算を使用します。Analytics では、訪問者は常に追跡され、実行されたすべてのアクションがカウントされます。したがって、訪問者が複数回買い物をした場合や成功指標を複数回訪問した場合、これらの追加のヒット数もカウントされます。この場合、指標は連続型変数になります。スチューデントのt検定計算を実行するには、分散の計算に「平方和」が必要です。これはt統計の分母として使用されます。 このドキュメントでは、使用する数式の 詳細を説明します。平方和はAnalyticsから取得できます。 平方和のデータを取得するには、サンプルの期間を対象に、最適化する指標で訪問者レベルのエクスポートを実行する必要があります。

例えば、訪問者あたりのページビュー数を最適化する場合は、数日間などの指定した期間を対象に、訪問者ごとの合計ページビュー数のサンプルをエクスポートします(必要なデータポイントは数千程度)。そのうえでそれぞれの値を 2 乗し、その総和を算出します(ここでは演算の順番が非常に重要です)。この「平方和」の値は、Complete Confidence Calculator で使用されます。これらの値には、このスプレッドシートの「売上高」セクションを使用します。

Analytics のデータエクスポート機能を使用してこれをおこなう手順は次のとおりです。

  1. Adobe Analyticsにログインします。

  2. ツールData Warehouse をクリックします。

  3. Data Warehouse リクエスト」タブで、各フィールドに記入します。

    各フィールドについて詳しくは、Data Warehouse の「Data Warehouse の説明」を参照してください。

    フィールド 説明
    リクエスト名 リクエストの名前を指定します。
    レポート日 期間と精度を指定します。
    最初のリクエストでは 1 時間以内または 1 日以内のデータを選択することをお勧めします。Data Warehouse のファイルは、リクエストする期間が長いほど処理に時間がかかります。そのため、最初は短い期間のデータをリクエストして、ファイルが想定どおりの結果を返すかどうかを確認することをお勧めします。その後リクエストマネージャーに移動してリクエストを複製し、2 回目はより長い期間のデータをリクエストします。また、精度を「なし」以外に切り替えると、サイズが大幅に大きくなります。
    Data Warehouse
    選択可能なセグメント 必要に応じてセグメントを適用します。
    分類 目的のディメンションを選択します。「標準」はあらかじめ用意されている(OOTB)ディメンションで、「カスタム」には eVar と prop が含まれます。訪問者 ID レベルの情報が必要な場合は、「Experience Cloud 訪問者 ID」ではなく、「訪問者 ID」を使用することをお勧めします。
    • 訪問者 ID は、Analytics で使用される最終的な ID で、AID(既存の顧客)か MID(新規の顧客、または Experience Cloud 訪問者 ID サービスが開始されてから Cookie が消去された顧客)になります。
    • Experience Cloud 訪問者 ID が設定されるのは、新規の顧客、または Experience Cloud 訪問者 ID サービスが開始されてから Cookie が消去された顧客のみです。
    指標 目的の指標を選択します。「標準」は OOTB で、「カスタム」にはカスタムイベントが含まれます。
    レポートプレビュー レポートのスケジュールを設定する前に設定を確認します。
    Data Warehouse2
    配信の予定 ファイルを送信する相手のメールアドレスを入力し、ファイルに名前を付けてから、「すぐに送信」を選択します。
    注意: このファイルは、詳細配信オプション
    の下のFTP経由で配信できます。配信の予定
  4. このレポートをリクエスト」をクリックします。

    ファイルの配信には、リクエストしたデータの量に応じて最大で 72 時間かかります。リクエストの進捗状況は、ツール/Data Warehouse/リクエストマネージャーをクリックすることでいつでもチェックできます。

    過去にリクエストしたデータを再度リクエストしたい場合は、必要に応じてリクエストマネージャーから以前のリクエストを複製できます。

Data Warehouse について詳しくは、Analytics のヘルプドキュメントの以下のリンクを参照してください。

カウント手法

カウント手法別にレポートを表示するように選択し、有効期間にわたって、または単一のセッション中にアクティビティがユーザーに及ぼす影響を把握することができます。

カウント手法は、次のアクティビティタイプでサポートされます。

  • A/B テスト

    例外として、自動ターゲット A/B アクティビティは、デフォルトの「訪問」カウント手法のみをサポートします。

  • エクスペリエンスターゲット設定(XT)

  • 多変量分析テスト(MVT)

    MVT 要素貢献度レポートの場合、Target は売上高指標タイプのアクティビティのインプレッションをサポートしません。

  • Recommendations

デフォルトのカウント手法(訪問)のみが、現在、自動パーソナライゼーション(AP)アクティビティでサポートされます。

次のカウント手法でレポートを表示できます。

  • 訪問者:​アクティビティの全期間のユニーク参加者。

    サイトの訪問者が新しいコンピューターまたは新しいブラウザーを使用したか、Cookie を削除したか、または、コンバージョンしてから同じ Cookie を使用してアクティビティを再度訪問した場合、その訪問者は新規参加者としてカウントされます。参加者は、その訪問者の mbox Cookie の PCID によって識別されます。PCID が変更されると、その個人は新規訪問者と見なされます。

  • 訪問: 1 回 30 分のブラウザーセッション中のエクスペリエンスのユニーク参加者。

    コンバージョンを達成した場合、または 30 分以降に訪問者がサイトに戻った場合、再訪問者は新規訪問としてカウントされます。訪問は、訪問者の mbox Cookie の sessionID によって識別されます。sessionID が変更されると、その訪問は新規と見なされます。

  • インプレッション/ページビュー:​訪問者がアクティビティのページを読み込むたびにカウントされます。

    1 回の訪問には、ホームページなどの複数のインプレッションが含まれる場合があります。

メモ

通常、カウントはcookieおよびセッションアクティビティによって決定されます。ただし、アクティビティの最終的なコンバージョンポイントに到達した後でアクティビティを再度訪問すると、アクティビティへの新規参加者および新規訪問と見なされます。これは、PCID と sessionID の値が変わらない場合でも該当します。

なぜTargetがスチューデントのt検定を使うことを推奨するのですか?

A/Bテストは、制御バリアント(エクスペリエンスとも呼ばれる)内の一部のビジネス指標の平均値と、1つ以上の代替エクスペリエンス内の同じ指標の平均値とを比較する実験です。

Target これらのテストでは 🔗、zテストなどの代替オプションよりも前提条件が少なく、対照エクスペリエンスと代替エクスペリエンスの間で(定量)ビジネス指標を一対比較するのに適した統計テストが使用されるので、2つのサンプルスチューデントのtテストを使用することをお勧めします。

詳細

オンラインでA/Bテストを実行する場合、各ユーザー/訪問者は1つのバリアントにランダムに割り当てられます。 その後、関心のあるビジネス指標(コンバージョン、注文、売上高など)を測定します。 の値が各バリアントの訪問者に対して使用されます。 その後使用する統計テストでは、平均ビジネス指標(コンバージョン率、ユーザーあたりの注文数、ユーザーあたりの売上高など)が示す仮説をテストします。 は、コントロールと指定した代替バリアントに等しい。

ビジネス指標自体は任意の分布に従って分布する場合がありますが、(各バリアント内の)この指標の平均の分布は、中心限定理を介して正常な分布に収束する必要があります。 この平均値のサンプリング分布がどれだけ速く正常に収束するかは保証されませんが、通常、オンラインテストで訪問者の規模を考慮すると、この条件が達成されます。

この平均値の正規性を考えると、データからの予測(手段の差の標準誤差)に基づくスケーリング項に対する正規分布値(業務指標の差)の比率であるので、使用するテスト統計量をt分布に従って示すことができる。 スチューデントのt-test​は、t分布に従うテスト統計量に応じて、適切な仮説テストになります。

他のテストが使用されない理由

z-test​は、一般的なA/Bテストのシナリオでは、テスト統計量の分母が既知の平方偏差から導き出されず、代わりにデータから見積もる必要があるので、不適切です。

カイ二乗 テストは、2つのバリアントの間に定性的な関係(つまり、バリアント間に違いがないヌル仮説)があるかどうかを判断するのに適しているので、使用されません。Tテストは、定量的​比較指標のシナリオにより適しています。

Mann-Whitney Uテスト​はノンパラメトリックテストで、(各バリアントに対する)平均ビジネス指標のサンプリング分布が通常分布していない場合に適しています。 しかし、先に述べたように、オンラインテストに関わるトラフィックの大きさを考えると、中心極限定理は通常適用されるので、t検定は安全に適用できます。

ANOVA(2つ以上のバリアントに対してtテストを生成する)のようにより複雑なメソッドは、テストに2つ以上のエクスペリエンスがある場合に適用できます(「A/Bnテスト」)。 ただし、ANOVAは「すべてのバリアントが同じ平均値を持つかどうか」という質問に答えますが、一般的なA/Bnテストでは、どの特定のバリアント​が最も良いかに関心が高くなります。​したがって、Targetでは、複数の比較を考慮して、各バリアントを対照と比較する定期的なt検定を、Bonferroni補正を使用して適用します。

このページ