自動割り当て レポートを解釈

Adobe Targetの自動配分A/B アクティビティの結果を、上昇率と信頼性を含む重要な指標を確認して解釈します。

多くのマーケティング担当者は、計算結果によって明確な勝者が示される前に、勝者エクスペリエンスを早めに宣言してしまうというミスを犯します。 Targetを使用すると、より簡単に勝者を決定できます。

勝者の宣言に関する一般的な情報については、A/B テストによくある 10 の落とし穴とその回避方法を参照してください。

勝者エクスペリエンスの特定 section_24007470CF5B4D30A06610CE8DD23CE3

自動割り当て機能を使用する場合、Targetは、アクティビティが十分な信頼性を持ってコンバージョンの最小数に達するまで、「勝者なし」を示すバッジをアクティビティのページの上部に表示します。

明確な勝者が宣言されると、Targetには「勝者：エクスペリエンス X」バッジが表示されます。

勝者バッジは、​ アクティビティ ​ リストのアクティビティの情報ポップアップにも表示されるので、自動配分 アクティビティのステータスを開かずに確認できます。

自動配分の統計的保証 section_7AF3B93E90BA4B80BC9FC4783B6A389C

A/B アクティビティの終了時に、自動配分は、決定された勝者の実効偽陽性率が5%であることを保証します。 これはその時点のみの 5 ％を意味し、決定された勝者が実際にアクティビティのすべてのエクスペリエンスの中で最高のエクスペリエンスというわけではありません。 A/A テスト ​ （同じエクスペリエンスを使用）の場合、Targetは5%未満の確率でテストを終了します。 （同一のエクスペリエンスでの）A/A テストに対して期待される動作は無期限に実行されることであるので、勝者バッジは決して表示されません。

Targetは、自動配分に対してp値ベースの信頼性を使用しません。

自動配分 アクティビティのConfidence列には、エクスペリエンスが勝者になる確率が1%の許容誤差で表示されます。 このアルゴリズムでは、最適なコンバージョン率と2番目に高いコンバージョン率の間に、1%の最小検出可能な効果を使用します。 アルゴリズムはBernstein Inequalityを使用して、この確率を計算します。

通常の A/B テストは、p 値に基づいて信頼性を計算します。 自動割り当てはp値を使用しません。 p 値は、特定のエクスペリエンスが対照と異なる確率を「おおまかに」計算します。 これらの p 値は、エクスペリエンスが対照と異なるかどうかを判定するためにのみ使用できます。 これらの値は、エクスペリエンスが（対照ではない）他のエクスペリエンスと異なるかどうかを判定するためには使用できません。

自動配分 アクティビティでの上昇率と信頼性のレポートについて lift-confidence

自動割り当て アクティビティでは、最初のエクスペリエンス（デフォルトではエクスペリエンス A）は常に「​ レポート ​」タブの「コントロール」エクスペリエンスとして定義されます。 このエクスペリエンスは、エクスペリエンスのパフォーマンスを決定するために使用されるモデリングでは真の統計的コントロールとして扱われませんが、レポート内の一部の図に対する参照またはベースラインとして扱われます。

「上昇率」の数値と各エクスペリエンスの 95％範囲は、常に定義された「コントロール」エクスペリエンスを参照して計算されます。 定義された「コントロール」エクスペリエンスには、それ自体を基準とした上昇率を設定できないので、このエクスペリエンスに対して空の「—」値がレポートされます。 A/B テストとは異なり、自動配分 テストでは、エクスペリエンスが定義されたコントロールよりも悪いパフォーマンスを示した場合、負の上昇率はレポートされません。代わりに、「 – 」が表示されます。

表示される信頼区間 バーは、エクスペリエンスのコンバージョン率の平均推定値に関する95%の信頼区間を表しています。 これらのバーも、定義された「コントロール」エクスペリエンスに関して色分けされています。 「コントロール」エクスペリエンスのバーは、常に灰色で表示されます。 「コントロール」エクスペリエンスの信頼区間の下の信頼区間の部分は赤で色付けされ、「コントロール」エクスペリエンスの上の信頼区間の部分は緑で色付けされます。

勝者は、リーディングエクスペリエンスの95%の信頼区間が他のエクスペリエンスと重複していない場合に見つかります。 勝者エクスペリエンスには、エクスペリエンス名の左側に緑色の星印が付き、「勝者」のバナーに表示されます。 星が表示されていない場合、バナーには「まだ勝者がありません」と表示され、勝者が見つかっていない状態です。

現在リードしているエクスペリエンス、もしくは勝者のエクスペリエンスの横には「信頼性」の数値もレポートされます。 この数値は、最初のエクスペリエンスのConfidenceが60%以上に達するまで報告されません。 自動配分 アクティビティに2つのエクスペリエンスが存在する場合、この数値は、エクスペリエンスが他のエクスペリエンスよりもパフォーマンスが高いという信頼性レベルを表します。 自動配分 アクティビティに2つ以上のエクスペリエンスが存在する場合、この数値は、エクスペリエンスが定義された「コントロール」エクスペリエンスよりも優れたパフォーマンスを発揮しているという信頼性レベルを表します。 「コントロール」エクスペリエンスが勝者である場合、「信頼性」の数値はレポートされません。

よくある質問 section_C8E068512A93458D8C006760B1C0B6A2

よくある質問に対して、次の回答を検討します。

アクティビティに入って数日が経過しました。 すべての信頼性の値が 0％のままなのはなぜですか。

レポートですべてのアクティビティの信頼性列に 0％と表示される理由は、次のうちのいずれかです。

Analyticsをレポートソース ​ （A4T）として使用する自動配分 アクティビティで、「勝者なし」、「勝者」および「スター」バッジを使用できますか？

「​ アクティビティ ​」リストのアクティビティ情報ポップアップに、「まだ勝者なし」と「勝者」のバッジが表示されます。 これらは、Analysis WorkspaceのA4T パネルや、Targetの同じレポートを表示する際には表示されません。 A4T 自動配分 アクティビティのTarget レポートに勝者「星」バッジが表示されている場合は、無視します。

この制限と他の注意事項について詳しくは、自動配分および自動ターゲット ​ アクティビティ の A4T サポートの自動配分を参照してください。