自動配分レポートの解釈

Adobe Target での Auto-Allocate A/B アクティビティの結果を、上昇率や信頼性を含む重要な指標を調べることで解釈します。

多くのマーケティング担当者は、計算結果によって明確な勝者が示される前に、勝者エクスペリエンスを早めに宣言してしまうというミスを犯します。Target を使用すると、推奨結果を簡単に判断できます。

勝者の宣言に関する一般的な情報については、A/B テストによくある 10 の落とし穴とその回避方法を参照してください。

勝者エクスペリエンスの特定 section_24007470CF5B4D30A06610CE8DD23CE3

Auto-Allocate 機能を使用すると、Target は、アクティビティが十分な信頼性のあるコンバージョンの最低数に達するまで、アクティビティのページの最上部に「まだ勝者がありません」ということを示すバッジを表示します。

勝者なしバッジ

明らかな勝者が宣言されると、Target は、「勝者:エクスペリエンス X」と表示します。

勝者画像

NOTE
自動配分アクティビティは、コントロールの一対比較だけでなく、すべてのオプションの中で最高のエクスペリエンスを見つけるように設計されています。

自動配分の統計的保証 section_7AF3B93E90BA4B80BC9FC4783B6A389C

A/B アクティビティの終了時に、Auto-Allocate は決定された勝者の効果的な偽陽性率が 5% であることを保証します。 これはその時点のみの 5 %を意味し、決定された勝者が実際にアクティビティのすべてのエクスペリエンスの中で最高のエクスペリエンスというわけではありません。(同一のエクスペリエンスの) A/A テストの場合、Target で終了するテストは 5% 未満です。 (同一のエクスペリエンスでの)A/A テストに対して期待される動作は無期限に実行されることであるので、勝者バッジは決して表示されません。

Target では、Auto-Allocate に p 値ベースの信頼性を使用しません。

Auto-Allocate アクティビティの Confidence 列(以下の図)は、エラーの 1% のマージン内でエクスペリエンスが勝者となる可能性を示します。 アルゴリズムでは、最良のコンバージョン率と 2 番目に優れたコンバージョン率の間に最小検出可能な効果である 1% を使用します。 この確率を計算するために、アルゴリズムは Bernstein 不等式を使用します。

通常の A/B テストは、p 値に基づいて信頼性を計算します。Auto-Allocate は p 値を使用しません。 p 値は、特定のエクスペリエンスが対照と異なる確率を「おおまかに」計算します。これらの p 値は、エクスペリエンスが対照と異なるかどうかを判定するためにのみ使用できます。これらの値は、エクスペリエンスが(対照ではない)他のエクスペリエンスと異なるかどうかを判定するためには使用できません。

IMPORTANT
Target は、事前に定義された最小コンバージョン数の後に勝者を表示します。ただし、勝者を決定する最終決定は、常に Adobe Target サンプルサイズ計算ツールの結果に基づく必要があります。 Target では、アクティビティの期間を決定するために、サイトのベースコンバージョン率や、計算ツールに入力されるその他の重要な側面は考慮しません。その結果、最低限 Target コンバージョン数に基づいて、保証されたよりも早く勝者が表示される場合があります。 詳しくは、サンプルサイズ計算ツールを参照してください。

Auto-Allocate アクティビティの上昇率および信頼性レポートについて lift-confidence

Auto-Allocate アクティビティでは、最初のエクスペリエンス(デフォルトでの名前はエクスペリエンス A)は、「Reports」タブで常に「コントロール」エクスペリエンスとして定義されます。 このエクスペリエンスは、エクスペリエンスのパフォーマンスを決定するために使用されるモデリングでは真の統計的コントロールとして扱われませんが、レポート内の一部の図に対する参照またはベースラインとして扱われます。

「上昇率」の数値と各エクスペリエンスの 95%範囲は、常に定義された「コントロール」エクスペリエンスを参照して計算されます。定義された「コントロール」エクスペリエンスには、それ自体を基準とした上昇率を設定できないので、このエクスペリエンスに対して空の「—」値がレポートされます。A/B テストとは異なり、Auto-Allocate テストでは、エクスペリエンスのパフォーマンスが定義されたコントロールよりも低い場合、負の上昇率値はレポートされません。代わりに、「–」が表示されます。

表示される Confidence Interval のバーは、エクスペリエンスのコンバージョン率の平均推定値を中心とした 95% の信頼区間を表します。 これらのバーも、定義された「コントロール」エクスペリエンスに関して色分けされます。 「コントロール」エクスペリエンスのバーは、常に灰色で表示されます。「コントロール」エクスペリエンスの信頼区間の下の信頼区間の部分は赤で色付けされ、「コントロール」エクスペリエンスの上の信頼区間の部分は緑で色付けされます。

上位のエクスペリエンスの 95% の Confidence Interval が他のエクスペリエンスと重複していない場合、勝者が見つかります。 勝者エクスペリエンスには、エクスペリエンス名の左側に緑色の星印が付き、「勝者」のバナーに表示されます。星が表示されていない場合、バナーには「まだ勝者がありません」と表示され、勝者が見つかっていない状態です。

現在リードしているエクスペリエンス、もしくは勝者のエクスペリエンスの横には「信頼性」の数値もレポートされます。この数値は、リードするエクスペリエンスの Confidence が 60% に達するまでの間のみレポートされます。 Auto-Allocate アクティビティに 2 つのエクスペリエンスが存在する場合、この数は、他のエクスペリエンスよりも当該のエクスペリエンスのパフォーマンスが優れている信頼水準を表します。 Auto-Allocate アクティビティに 3 つ以上のエクスペリエンスが存在する場合、この数は、定義された「コントロール」エクスペリエンスよりも当該のエクスペリエンスのパフォーマンスが優れている信頼水準を表します。 「コントロール」エクスペリエンスが勝者である場合、「信頼性」の数値はレポートされません。

よくある質問 section_C8E068512A93458D8C006760B1C0B6A2

よくある質問に対して、次の回答を検討します。

アクティビティに入って数日が経過しました。すべての信頼性の値が 0%のままなのはなぜですか。

次の理由のいずれかにより、すべてのアクティビティでレポートの Confidence 列に 0% が表示される理由が説明されます。

  • 手動の A/B テストおよび Auto-Allocate では、異なる統計を使用して Confidence 値を表示します。

    手動の A/B テストは、Welch の t 検定に基づく p 値を使用します。p 値は、実際にはそのような違いはないと仮定すると、エクスペリエンスと対照の観測された(またはより極端な)違いの確率です。これらの p 値は、観測データが、同じ特定のエクスペリエンスおよび対照と一致するかどうかを判定するためにのみ使用できます。これらの値は、エクスペリエンスが(対照ではない)他のエクスペリエンスと異なるかどうかを判定するためには使用できません。

    Auto-Allocate は、アクティビティ内のすべてのエクスペリエンスにおいて、特定のエクスペリエンスが真の勝者となる確率を示します。 勝者エクスペリエンス(最も勝者となる可能性が高い)にのみ、0 以外の信頼性値があります。 その他はすべて敗者である可能性が最も高く、0% が表示されます。

  • Auto-Allocate は、勝者エクスペリエンスが 60% の信頼性を収集した後にのみ、信頼性の表示を開始します。 これらの信頼水準は、通常、通常の A/B テストが完了するまでにかかる時間の約半分で表示されます(ただし、この時間枠は保証されません)。 通常の A/B テストが実行されるのにどれくらい時間がかかるかを判断するには、Adobe Target サンプルサイズ計算ツールを使用して、コントロールのコンバージョン率を「ベースラインコンバージョン率」に、5% を「上昇率」に、95% を「信頼性」に代入します。 通常、信頼性は、各エクスペリエンスがエクスペリエンスごとに必要なサンプルの少なくとも 50% を蓄積した後に表示し始めます。これにより、信頼性が表示され始めるタイミングがわかります。

  • レポートがボード全体で 0%を表示している場合、アクティビティに入るのが早すぎた可能性があります。

Analytics as the reporting source (A4T)を使用する Auto-Allocate アクティビティでは、「勝者なし」、「勝者」および「星」バッジを使用できますか?

現在、「まだ勝者がありません」と「勝者」のバッジは Analysis Workspace の A4T パネル内では使用できません。 これらのバッジは、同じレポートを Target で表示した場合にも利用できません。A4T を使用する Auto-Allocate アクティビティの Target レポートで表示される勝者の「星」バッジは無視する必要があります。

この他の制限事項や注意事項について詳しくは、Auto-Allocate アクティビティと Auto-Target アクティビティに対する A4T のサポート *自動配分を参照してください*。

recommendation-more-help
3d9ad939-5908-4b30-aac1-a4ad253cd654