自動配分レポートの解釈

結果の解釈自動配分での A/B アクティビティ Adobe Target 上昇率や信頼性を含む重要な指標を調べることで

多くのマーケティング担当者は、計算結果によって明確な勝者が示される前に、勝者エクスペリエンスを早めに宣言してしまうというミスを犯します。そこで、勝者を簡単に特定できるようにしました。

メモ

勝者の宣言に関する一般的な情報については、一般的な A/B テストの落とし穴 10 件と回避方法.

勝者エクスペリエンスを特定する

自動配分機能を使用すると、Target は、アクティビティが十分な信頼性のあるコンバージョンの最低数に達するまで、アクティビティのページの最上部に「まだ勝者がありません」ということを示すバッジを表示します。

勝者なしバッジ

明らかな勝者が宣言されると、Target は、「勝者：エクスペリエンス X」と表示します。

勝者画像

メモ

自動配分アクティビティは、対照との一対比較だけでなく、すべてのオプションの中で最高のエクスペリエンスを見つけるように設計されています。

自動配分の統計的保証

自動配分は、A/B アクティビティの終了時に、決定された勝者の有効な偽陽性率が 5 ％であることを保証します。これはその時点のみの 5 ％を意味し、決定された勝者が実際にアクティビティのすべてのエクスペリエンスの中で最高のエクスペリエンスというわけではありません。（同一のエクスペリエンスでの）A/A テストの場合、その時点の 5％未満でテストを終了します。（同一のエクスペリエンスでの）A/A テストに対して期待される動作は無期限に実行されることであるので、勝者バッジは決して表示されません。

自動配分では p 値ベースの信頼値を使用しません。

自動配分アクティビティの信頼性列（下図参照）には、あるエクスペリエンスが 1％以内の誤差で勝者になる確率が表示されます（つまり、このアルゴリズムは最高のコンバージョン率と 2 番目のコンバージョン率の間で検出可能な影響の最小値である 1％を使用します）。アルゴリズムは、ベルンシュタインの不等式を使用してこの確率を計算することに注意してください。

通常の A/B テストは、p 値に基づいて信頼性を計算します。自動配分は、p 値を使用しません。p 値は、特定のエクスペリエンスが対照と異なる確率を「おおまかに」計算します。これらの p 値は、エクスペリエンスが対照と異なるかどうかを判定するためにのみ使用できます。これらの値は、エクスペリエンスが（対照ではない）他のエクスペリエンスと異なるかどうかを判定するためには使用できません。

重要

Target は、事前に定義された最小コンバージョン数の後に勝者を表示します。ただし、勝者を決定する最終決定は、常に Adobe Target サンプルサイズ計算ツール Target では、アクティビティの期間を決定するために、サイトのベースコンバージョン率や、計算ツールに入力されるその他の重要な側面を考慮しません。その結果、Target では、最低限のコンバージョン数に基づいて、保証されたよりも早く勝者が表示される場合があります。詳しくは、サンプルサイズ計算ツール.

自動配分アクティビティの上昇率および信頼性レポートについて

自動配分アクティビティでは、最初のエクスペリエンス（デフォルトでは「エクスペリエンス A」）は、常に「レポート」タブで「コントロール」エクスペリエンスとして定義されます。このエクスペリエンスは、エクスペリエンスのパフォーマンスを決定するために使用されるモデリングでは真の統計的コントロールとして扱われませんが、レポート内の一部の図に対する参照またはベースラインとして扱われます。

「上昇率」の数値と各エクスペリエンスの 95%範囲は、常に、定義された「コントロール」エクスペリエンスを参照して計算されます。定義された「コントロール」エクスペリエンスには、それ自体を基準とした上昇率を設定できないので、このエクスペリエンスに対して空の「 — 」値がレポートされます。 A/B テストとは異なり、自動配分テストでは、エクスペリエンスのパフォーマンスが定義されたコントロールよりも低い場合、負の上昇率値はレポートされません。代わりに、「 — 」が表示されます。

表示される信頼区間のバーは、エクスペリエンスのコンバージョン率の平均推定値を中心とした 95%の信頼区間を表します。これらは、定義された「コントロール」エクスペリエンスに関しても色分けされます。「コントロール」エクスペリエンスのバーは、常に灰色で表示されます。「コントロール」エクスペリエンスの信頼区間の下の信頼区間の部分は赤で色付けされ、「コントロール」エクスペリエンスの上の信頼区間の部分は緑で色付けされます。

上位のエクスペリエンスの 95%信頼区間が他のエクスペリエンスと重複していない場合、勝者が見つかります。勝者エクスペリエンスには、エクスペリエンス名の左側に緑色の星印が付き、「勝者」のバナーに表示されます。星が表示されない場合、バナーには「まだ勝者がありません」と表示され、勝者が見つかりません。

現在リードまたは勝者のエクスペリエンスの横には、「信頼性」の数値もレポートされます。この数値は、先行するエクスペリエンスの信頼性が 60%以上に達するまでの間のみレポートされます。自動配分実験に 2 つのエクスペリエンスが存在する場合、この数は、他のエクスペリエンスよりもエクスペリエンスのパフォーマンスが優れている信頼水準を表します。自動配分実験に 3 つ以上のエクスペリエンスが存在する場合、この数は、定義された「コントロール」エクスペリエンスよりもエクスペリエンスのパフォーマンスが優れている信頼水準を表します。「コントロール」エクスペリエンスが勝者である場合、「信頼性」の数値はレポートされません。

よくある質問

よくある質問に対して、次の回答を検討します。

アクティビティに入って数日が経過しました。すべての信頼性の値が 0％のままなのはなぜですか。

レポートですべてのアクティビティの信頼性列に 0％と表示される理由は、次のうちのいずれかです。

手動の A/B テストと自動配分は、異なる統計を使用して信頼性の値を表示します。

手動の A/B テストでは、ウェルチ t 検定. p 値は、実際にはそのような違いはないと仮定すると、エクスペリエンスと対照の観測された（またはより極端な）違いの確率です。これらの p 値は、観測データが、同じ特定のエクスペリエンスおよび対照と一致するかどうかを判定するためにのみ使用できます。これらの値は、エクスペリエンスが（対照ではない）他のエクスペリエンスと異なるかどうかを判定するためには使用できません。

自動配分は、特定のエクスペリエンスがアクティビティのすべてのエクスペリエンスにわたる真の勝者になる確率を示します。これは、勝者エクスペリエンス（勝者になる可能性が最も高い）のみが、ゼロ以外の信頼性の値を持つことを意味します。その他すべては、敗者になる可能性が最も高く、0％と表示されます。
自動配分は、勝者エクスペリエンスが 60％の信頼性を集めた後にのみ、信頼性を表示し始めます。これらの信頼水準は、通常、通常の A/B テストが完了するまでにかかる時間の約半分で表示されます（ただし、保証はされません）。通常の A/B テストを実行する期間を判断するには、 Adobe Target サンプルサイズ計算ツール:プラグインコントロールのコンバージョン率（「ベースラインコンバージョン率」の場合）、「上昇率」の場合は「5%」、「信頼性」の場合は 95%。通常、信頼性は、各エクスペリエンスがエクスペリエンスごとに必要なサンプルの少なくとも 50％を蓄積した後に表示し始めます。これによって、信頼性が表示され始めるタイミングを把握できます。
レポートがボード全体で 0％を表示している場合、アクティビティに入るのが早すぎた可能性があります。