A/Bn測試中的統計計算

最後更新： 2026年7月30日

主題：
Reports

本文記錄了Adobe Target中手動A/Bn測試使用的詳細統計計算。已提供轉換率、轉換率的信賴區間、提升度、提升度的信賴區間、信賴度以及 貝葉斯 決定度量的定義。

A/B測試 （手動）活動支援兩種統計方法，在目標與設定中針對每個活動選取：

Welch的t檢定：一種頻率方法，會根據固定樣本大小的假設檢驗，報告信賴百分比和信賴區間。用於具有收入或參與主要目標的活動。
Bayesian：將結果報告為機率，例如 勝出控制機會 和可信間隔，由每個體驗的目標量度的完整後驗分佈計算。此設定僅適用於主要目標量度為轉換的活動。

韋爾奇的t檢定

平均績效

下節將說明下圖中所使用的計算。

顯示A/B測試活動的轉換率、平均提升度和信賴區間以及信賴的目標報告。

轉換率和每位訪客帶來的收入(RPV)行銷活動

下圖顯示Target報表中的轉換率、轉換率的信賴區間以及轉換的數目。例如，第一行顯示對於體驗A： 轉換率為25.81%，且 信賴區間 為±7.7%，並且已記錄32次轉換。假設有124位訪客看過該體驗，則等於32/124 = 25.81%。

{width="25%"}

實驗中的每個體驗 ν 的轉換率或平均值，μ_ν，定義為量度總和相對於指派給該量度的單位數的比率，N_ν：

{width="125px"}

此處，

Y_iν是指派給指定體驗 ν 之每個單位 i 的量度值。
單位 i 的總和取決於計數方法的選擇。
- 如果將訪客當做計數方法，則每個單位都是定義為活動終身不重複參與者的不重複訪客。
- 如果使用造訪做為計數方法，則每個單位都是定義為在Target工作階段期間體驗中唯一參與者的唯一造訪（具有唯一的sessionId）。當sessionId變更時，或訪客達到轉換步驟時，即會計為新造訪。
- 如果使用 活動曝光次數 做為計數方法，則每個單位都是定義為每次訪客載入活動任何頁面時的唯一曝光次數。

平均/轉換率的信賴區間

轉換率的信賴區間在直覺上定義為與基礎資料一致的可能轉換率範圍。

執行實驗時，特定體驗的轉換率是"true"轉換率的預估值。若要量化此估計中的不確定性，Target會使用信賴區間。 Target一律會報告95%的信賴區間，這表示到最後，95%的信賴區間都會包含體驗的真正轉換率。

目前領先或勝出的體驗旁邊也會報告「信賴度」數字。此數字只會在領先體驗的 信賴度 達到至少60%時報告。如果活動中存在兩個體驗，此數字代表體驗表現優於其他體驗的信賴等級。如果活動中存在兩個以上的體驗，此數字代表體驗執行優於定義「控制」體驗的信賴等級。如果「控制」體驗獲勝，則不會報告「信賴度」數字。

轉換率 μ_ν 的95%信賴區間定義為值的範圍：

{width="30%"}

其中平均值的標準誤差定義為

{width="75px"}

其中使用樣本標準差的無偏估計值：

{width="200px"}

當行銷活動為轉換率行銷活動時（即轉換量度為二進位），標準錯誤會減少為：

{width="150px"}

提升度

下圖顯示Target報表中的 提升度 和 提升度 信賴區間。數字代表提升度界限的平均值，而箭頭則反映提升度是正數或負數。箭頭會以灰色顯示，直到信賴度超過95%為止。信賴度超過臨界值後，箭頭會根據提升度為正值或負值，變成綠色或紅色。

{width="35%"}

體驗 ν 與控制體驗 ν₀ 之間的提升度是轉換率的相對「差異」，定義為

{width="15%"}

其中個別轉換率定義如上。更簡單地說，

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

如果控制體驗 ν₀ 的轉換率為0，則沒有提升度。

Confidence Interval of Lift

平均提升度和信賴區間資料行中的箱形圖代表提升度的平均值和95% 信賴區間。指定非控制體驗的信賴區間與控制體驗的信賴區間發生任何重疊時，箱形圖就會呈現灰色。當指定體驗的信賴區間範圍高於或低於控制體驗的信賴區間時，箱形圖就會呈現綠色或紅色。

體驗 ν 與控制體驗 ν₀ 之間提升度的標準錯誤定義為：

量度平均值 {width="35%"}

提升度的95%信賴區間是：

{width="40%"}

此計算使用「差異」方法，本檔案將詳細說明🔗

信賴度

最後一欄顯示Target報表中的可信度。體驗的信賴度是一種取得極端結果的機率（以百分比表示），當作觀察到的結果，假設null假設為true。就p值而言，顯示的信賴度為1 - p值。直覺上，較高的信賴度表示控制體驗和非控制體驗擁有相同轉換率的可能性較低。

在Target中，會在測試體驗與控制體驗之間執行雙尾Welch的t檢定，以測試測試與控制體驗的方法是否相同。因為在執行實驗之前，我們通常不知道兩個群組的樣本大小和差異是否相同，而且Target也允許您傳送到每個體驗的流量百分比不相等，因此我們不假設每個體驗的差異相等。因此，選擇Welch的t檢驗，而非Student的t檢驗。

若要執行Welch的t檢定，我們先開始計算t統計值和自由度，然後執行雙尾t檢定，以產生p值。最後，我們會根據p值計算可信度。

t統計值定義為任何兩個獨立隨機變數 ν 和 ν₀ 之平均值除以差異的標準誤差：

{width="100px"}

其中 μ_v 和 μ_v0 分別為 ν 和 ν₀ 的均值，且 μ_v 和 μ_v0 之間差值的標準誤差由以下給出：

{width="150px"}

其中 σ²_v 和 σ²_v₀ 分別為兩個體驗 ν 和 ν₀ 的變異，而 N_v 和 N_v₀ 分別為 ν 和 ν₀ 的樣本大小。

對於Welch的t檢定，自由度計算如下：

{width="180px"}

ν和 ν₀ 的自由度定義為：

{width="100px"}

然後可以從t — 分佈尾部的區域計算p值：

{width="20%"}

最後，Target中報告的信賴度定義為：

{width="20%"}

貝葉斯統計資料

Bayesian活動的報告不會從近似分佈計算p值，而是將結果表示為機率，從每個體驗的目標量度的完整後驗分佈計算。如此一來，連續監視 Bayesian 報告就變得安全了，因為在達到固定樣本大小之前檢查結果沒有統計上的懲罰，而且它在小樣本上的收斂速度比 Welch的t檢驗 更快。

Bayesian方法也讓行銷人員根據過去實驗和控制變體的結果提供假設。

Bayesian方法僅適用於主要目標量度為轉換的活動，具有收入或參與主要目標的活動一律使用Welch的t檢定。如需選取方法的詳細資訊，請參閱目標與設定。