自動配分アクティビティの信頼性を手動で計算

説明 description

環境

Adobe Target

問題/症状

自動配分アクティビティの信頼性は、Target UI と、信頼性計算ツール Excel で計算した場合とで異なります。 なぜでしょう？

解決策 resolution

自動配分では、通常の A/B テスト（使用した計算が適用される場所、つまり t 検定を使用する場所、つまり t 分布から派生した p 値）と異なる信頼性計算ツール（Bernstein 範囲に基づく）を使用します。

自動配分で使用される信頼性の計算は、通常の T 検定で使用される計算よりはるかに保守的です。 偽陽性を制御するために行われます。つまり、表示されている効果がランダム性に起因する場合、ある腕が別の腕よりも優れていると早期に判断するのを防ぎます。

そのため、従来の t 検定ベースの信頼性は > 93% ですが、自動割り当ての信頼性ははるかに低くなります。 また、​ 自動配分の概要 ​ ドキュメントでも共有されます。

​ こちら ​ で説明されているように、自動配分アクティビティには 60% の信頼性レベルが必要です。