自動配分レポートの解釈

Adobe Target での自動配分 A/B アクティビティの結果を、上昇率や信頼性を含む重要な指標を調べることで解釈します。

多くのマーケティング担当者は、計算結果によって明確な勝者が示される前に、勝者エクスペリエンスを早めに宣言してしまうというミスを犯します。Target を使用すると、勝者を簡単に決定できます。

勝者の宣言に関する一般的な情報については、A/B テストによくある 10 の落とし穴とその回避方法を参照してください。

勝者エクスペリエンスの特定

自動配分機能を使用すると、Target は、アクティビティが十分な信頼性のあるコンバージョンの最低数に達するまで、アクティビティのページの最上部に「まだ勝者がありません」ということを示すバッジを表示します。

明らかな勝者が宣言されると、 Target 「勝者：エクスペリエンス」と表示 X."

自動配分の統計的保証

A/B アクティビティの終わりに、 自動配分 では、決定された勝者の有効な偽陽性率が 5%であることが保証されます。 これはその時点のみの 5 ％を意味し、決定された勝者が実際にアクティビティのすべてのエクスペリエンスの中で最高のエクスペリエンスというわけではありません。の A/A テスト （同一のエクスペリエンスを使用） Target テストは 5%未満で終了します。 （同一のエクスペリエンスでの）A/A テストに対して期待される動作は無期限に実行されることであるので、勝者バッジは決して表示されません。

Target 次に対して p 値ベースの信頼性を使用しない 自動配分.

The 信頼性 列の 自動配分 アクティビティ（下図を参照）は、エラーの 1%以内にエクスペリエンスが勝者になる確率を表示します。 アルゴリズムでは、最良のコンバージョン率と 2 番目に良いコンバージョン率の間で、最小検出可能な効果が 1%で使用されます。 アルゴリズムは、 ベルンシュタインの不等式 この確率を計算するために。

通常の A/B テストは、p 値に基づいて信頼性を計算します。自動配分は、p 値を使用しません。p 値は、特定のエクスペリエンスが対照と異なる確率を「おおまかに」計算します。これらの p 値は、エクスペリエンスが対照と異なるかどうかを判定するためにのみ使用できます。これらの値は、エクスペリエンスが（対照ではない）他のエクスペリエンスと異なるかどうかを判定するためには使用できません。

での上昇率および信頼性レポートについて 自動配分 アクティビティ

In 自動配分 アクティビティの場合、最初のエクスペリエンス（デフォルトではエクスペリエンス A という名前）は、常に、 レポート タブをクリックします。 このエクスペリエンスは、エクスペリエンスのパフォーマンスを決定するために使用されるモデリングでは真の統計的コントロールとして扱われませんが、レポート内の一部の図に対する参照またはベースラインとして扱われます。

「上昇率」の数値と各エクスペリエンスの 95％範囲は、常に定義された「コントロール」エクスペリエンスを参照して計算されます。定義された「コントロール」エクスペリエンスには、それ自体を基準とした上昇率を設定できないので、このエクスペリエンスに対して空の「—」値がレポートされます。A/B テストとは異なり、 自動配分 テストの場合、エクスペリエンスのパフォーマンスが定義されたコントロールよりも低い場合は、負の上昇率値はレポートされず、代わりに「 — 」が表示されます。

表示された 信頼区間 棒グラフは、エクスペリエンスのコンバージョン率の平均推定値を基にした 95%の信頼区間を表します。 これらのバーは、定義された「コントロール」エクスペリエンスに関しても色分けされます。 「コントロール」エクスペリエンスのバーは、常に灰色で表示されます。「コントロール」エクスペリエンスの信頼区間の下の信頼区間の部分は赤で色付けされ、「コントロール」エクスペリエンスの上の信頼区間の部分は緑で色付けされます。

優れたエクスペリエンスの 95%が勝者と見なされる 信頼区間 は、他のエクスペリエンスと重複していません。 勝者エクスペリエンスには、エクスペリエンス名の左側に緑色の星印が付き、「勝者」のバナーに表示されます。星が表示されていない場合、バナーには「まだ勝者がありません」と表示され、勝者が見つかっていない状態です。

現在リードしているエクスペリエンス、もしくは勝者のエクスペリエンスの横には「信頼性」の数値もレポートされます。この数値は、主要なエクスペリエンスの 信頼性 が 60%以上に達する。 に 2 つのエクスペリエンスが存在する場合 自動配分 アクティビティの場合、この数値は、他のエクスペリエンスよりもエクスペリエンスのパフォーマンスが優れている信頼水準を表します。 に 2 つ以上のエクスペリエンスが存在する場合 自動配分 アクティビティの場合、この数値は、定義された「コントロール」エクスペリエンスよりもエクスペリエンスのパフォーマンスが優れている信頼水準を表します。 「コントロール」エクスペリエンスが勝者である場合、「信頼性」の数値はレポートされません。

よくある質問

よくある質問に対して、次の回答を検討します。

アクティビティに入って数日が経過しました。すべての信頼性の値が 0％のままなのはなぜですか。

レポートですべてのアクティビティの信頼性列に 0％と表示される理由は、次のうちのいずれかです。

• 手動の A/B テストと 自動配分 異なる統計を使用して表示する 信頼性 値。

  手動の A/B テストは、Welch の t 検定に基づく p 値を使用します。p 値は、実際にはそのような違いはないと仮定すると、エクスペリエンスと対照の観測された（またはより極端な）違いの確率です。これらの p 値は、観測データが、同じ特定のエクスペリエンスおよび対照と一致するかどうかを判定するためにのみ使用できます。これらの値は、エクスペリエンスが（対照ではない）他のエクスペリエンスと異なるかどうかを判定するためには使用できません。

  自動配分 は、アクティビティのすべてのエクスペリエンスで、特定のエクスペリエンスが真の勝者である確率を示します。 勝者エクスペリエンス（最も勝者となる可能性が高い）のみ、ゼロ以外の信頼値を持ちます。 それ以外の値はすべて、敗者となり、0%と表示される可能性が最も高くなります。

• 自動配分は、勝者エクスペリエンスが 60％の信頼性を集めた後にのみ、信頼性を表示し始めます。これらの信頼水準は、通常、通常の A/B テストが完了するまでにかかる時間の約半分で表示されます（この時間枠は保証されません）。 通常の A/B テストを実行する期間を判断するには、 Adobe Target サンプルサイズ計算ツール：プラグインコントロールのコンバージョン率（「ベースラインコンバージョン率」では「5%」、「上昇率」では「5%」、「信頼性」では 95%）。 通常、信頼性は、各エクスペリエンスがエクスペリエンスごとに必要なサンプルの少なくとも 50％ を蓄積した後に表示し始めます。これにより、信頼性が表示され始めるタイミングを把握できます。

• レポートがボード全体で 0％を表示している場合、アクティビティに入るのが早すぎた可能性があります。

レポートソースとしての Analytics（A4T）を使用する自動配分アクティビティでは、「勝者なし」、「勝者」および「星」バッジを使用できますか？

現在、「まだ勝者がありません」と「勝者」のバッジは Analysis Workspace の A4T パネル内では使用できません。これらのバッジは、同じレポートを Target で表示した場合にも利用できません。A4T を使用する自動配分アクティビティの Target レポートで表示される勝者の「星」バッジは無視する必要があります。

この他の制限事項や注意事項について詳しくは、自動配分および自動ターゲットアクティビティ​用の自動配分の A4T サポートを参照してください。