A/Bn テストによる統計計算

この記事では、Adobe Targetの手動A/Bn テストで使用される詳細な統計計算について説明します。 定義は、コンバージョン率、コンバージョン率​の信頼区間、上昇率、上昇率、信頼性​および​ ベイジアン ​の決定指標に対して提供されます。

A/B テスト （手動）アクティビティは、目標と設定のアクティビティごとに選択された2つの統計的手法をサポートしています。

ウェルチのt検定

平均性能

次の節では、次の図で使用する計算について説明します。

A/B テスト アクティビティの​ コンバージョン率、平均上昇率と信頼区間、および信頼性を示す

訪問者あたりのコンバージョン率と収益（RPV）キャンペーン

次の図は、Target レポートの​コンバージョン率、コンバージョン率​の信頼区間、および​ コンバージョン数 ​を示しています。 例えば、最初の行は、エクスペリエンス Aについて、コンバージョン率​は25.81%で、信頼区間​は±7.7%で、コンバージョンは32件が記録されていることを示しています。 124人の訪問者がこのエクスペリエンスを視聴したことを考えると、これは32/124 = 25.81%に相当します。

{width="25%"}

実験の各エクスペリエンス ν​に対するコンバージョン率（平均、μ_ν）は、指標の合計と、その指標に割り当てられた単位数（N_ν）の比率として定義されます。

{width="125px"}

ここで、

平均/​ コンバージョン率の信頼区間

コンバージョン率の信頼区間は、基礎データと一貫性のある可能なコンバージョン率の範囲として直感的に定義されます。

実験を実行する場合、特定のエクスペリエンスのコンバージョン率は、「真」のコンバージョン率の​ 推定 ​です。 この見積もりの不確実性を定量化するために、Targetは信頼区間を使用します。 Targetは常に95%の信頼区間を報告します。つまり、最終的に計算された信頼区間の95%には、エクスペリエンスの真のコンバージョン率が含まれます。

現在リードしているエクスペリエンス、もしくは勝者のエクスペリエンスの横には「信頼性」の数値もレポートされます。 この数値は、最初のエクスペリエンスの​ Confidence ​が60%以上に達するまで報告されません。 アクティビティに2つのエクスペリエンスが存在する場合、この数値は、エクスペリエンスが他のエクスペリエンスよりもパフォーマンスが高い信頼性レベルを表します。 アクティビティに2つ以上のエクスペリエンスが存在する場合、この数値は、エクスペリエンスが定義された「コントロール」エクスペリエンスよりも優れたパフォーマンスを示す信頼性レベルを表します。 「コントロール」エクスペリエンスが勝者である場合、「信頼性」の数値はレポートされません。

コンバージョン率​ μ_ν ​の95%信頼区間は、次の値の範囲として定義されます。

{width="30%"}

平均の標準誤差は、次のように定義されます

{width="75px"}

サンプル標準偏差の偏りのない推定値を使用する場合：

{width="200px"}

キャンペーンがコンバージョン率キャンペーンの場合（つまり、コンバージョン指標がバイナリの場合）、標準エラーは次のように減少します。

{width="150px"}

上昇率

次の図は、Target レポートの​ 上昇率 ​と​ 上昇率 ​の信頼区間を示しています。 数値は、リフト境界の範囲の平均を表し、矢印はリフトが正または負の場合を反映します。 信頼度が95%に達するまで、矢印はグレーで表示されます。 信頼度がしきい値を通過すると、正または負の上昇率に基づいて矢印が緑色または赤になります。

{width="35%"}

エクスペリエンス ν​とコントロール エクスペリエンス ν₀​との間の上昇率は、コンバージョン率の相対的な「差分」です。次のように定義されます

{width="15%"}

各コンバージョン率は上記で定義したとおりです。 よりシンプルに，

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

コントロールエクスペリエンス ν₀​のコンバージョン率が0の場合、上昇率はありません。

Confidence Interval of Lift

平均上昇率と信頼区間​列のボックスプロットグラフは、上昇率​ の平均値と95% ​信頼区間を表します。 ある非制御エクスペリエンスの信頼区間と制御エクスペリエンスの信頼区間に重複がある場合、ボックスプロットはグレーになります。 与えられたエクスペリエンスの信頼区間の範囲がコントロールエクスペリエンスの信頼区間の上下にある場合、ボクスプロットは緑または赤になります。

エクスペリエンス ν​と制御エクスペリエンス ν₀​との間のリフトの標準エラーは、次のように定義されます。

{width="35%"}

そして、リフトの95%信頼区間は次のようになります。

{width="40%"}

この計算は、「Delta」メソッドを使用します。詳しくは、このドキュメントで説明しています

信頼性

最後の列は、Target レポートの信頼性を示しています。 経験の信頼性は、帰無仮説が真であるとして、観察された結果として極端な結果を得る確率（パーセンテージとして表される）です。 p値に関しては、表示される信頼性は​ 1 - p値 ​です。 直感的には、信頼性が高いほど、コントロールされたエクスペリエンスとコントロールされていないエクスペリエンスのコンバージョン率が等しい可能性が低いことを意味します。

Targetでは、テスト エクスペリエンスと制御エクスペリエンスの間に2つのテール Welchのt-test​が実行され、テスト エクスペリエンスと制御エクスペリエンスの手段が同じかどうかをテストします。 通常、実験を実行する前に、2つのグループのサンプルサイズと分散が同じかどうか分からず、またTargetでは、各エクスペリエンスに送信されるトラフィックの割合が同じになることも可能なので、各エクスペリエンスの分散が同じであるとは仮定しません。 したがって、ウェルチのt検定は、学生のt検定の代わりに選択されます。

ウェルチのt検定を実行するには、まずt統計量と自由度の計算を開始し、次に2 テールのt検定を実行してp値を生成します。 最後に、p値に基づいて信頼性を計算します。

t – 統計量は、ν​と​ ν₀ ​の2つの独立確率変数の平均の差を、その差の標準誤差で割ったものと定義されています。

{width="100px"}

ここで、μ_v​および​ μ_v0 ​はそれぞれ​ ν ​および​ ν₀ ​の手段であり、μ_v​および​ μ_v0 ​の差の標準誤差は次のように与えられる：

{width="150px"}

σ²_v​および​ σ²_v0 ​は、それぞれ2つのエクスペリエンス ν​および​ ν₀ ​の分散であり、N_v​および​ N_v0 ​はそれぞれ​ν_{のサンプルサイズです。**}

ウェルチのt検定では、自由度は次のように計算される：

{width="180px"}

ν​および​ ν₀ ​の自由度は、次のように定義されます。

{width="100px"}

{width="100px"}

次に、p値は、t​分布の末尾の領域から計算できます。

{width="20%"}

最後に、Targetで報告された信頼性は、次のように定義されます。

{width="20%"}

ベイズ統計

近似分布からp値を計算する代わりに、ベイジアン アクティビティのレポートでは、各エクスペリエンスの目標指標の事後分布の全体から計算された結果を確率として表します。 これにより、ベイズ​報告書を継続的に監視しても安全です。これは、固定サンプルサイズに達する前に結果を確認する統計的ペナルティがなく、ウェルチのt-test​よりも小さいサンプルでより速く収束できるためです。

ベイズ​手法では、マーケターは過去の実験とコントロール バリアントの結果に基づいて仮説をフィードすることもできます。

ベイズ​手法は、主な目標指標が​ コンバージョン ​のアクティビティでのみ使用できます。主な目標が​ 収益 ​または​ エンゲージメント ​のアクティビティでは、常に​ ウェルチのt-test ​を使用します。 方法論の選択について詳しくは、目標と設定を参照してください。

平均上昇率と信頼区間

{width="35%"}

平均上昇率と信頼性の高い間隔を合わせることで、ベイズ アクティビティにおけるパフォーマンスの向上とその不確実性を測定します。 「平均上昇率」は、処理とコントロール間の平均変化率です。一方、「信頼性の高い」区間は、指定された確率で真の上昇率が低下する範囲を定義します。

​ コントロールを打ち負かすチャンス ​

{width="35%"}

ビートコントロールの可能性​は、エクスペリエンスの目標指標が​コントロール エクスペリエンスを上回る可能性です（例：「92% chance B beats A」）。 これは、ベイズ アクティビティの主な意思決定指標です。チャレンジャーエクスペリエンスは、ビートコントロールのチャンス​がアクティビティの意思決定閾値を満たす場合、コントロール​に代わる候補です。

オフラインでの計算の実行

ダウンロードした CSV レポート には生データのみが含まれ、A/B テストで使用される訪問者あたりの売上高、上昇率、信頼性などの計算指標は含まれません。

これらの統計量を計算するには、Target 信頼計算を完了 Excel ファイルをダウンロードして、アクティビティの値を入力します。