A/B 測試該執行多久？
在Adobe Target中成功的A/B Test活動需要足夠的訪客（樣本大小）來提高轉換率。 您如何知道執行A/B測試的時間長度？ 本文包含有關Auto-Allocate活動與Adobe Target樣本大小計算器的資訊，可協助您確保您的活動具有足夠的訪客來達成您的目標。
如果其中一個選件在活動的最初幾天效能優於或低於其他選件，您就很容易停止活動。 不過，當觀察值數目太少時，觀察到正提升度或負提升度極有可能只是機遇，因為轉換率以很少的訪客數目來算平均值。隨著活動收集更多的資料點，轉換率就會往真正長期值收斂。
IMPORTANTAdobe Target提供的工具可協助確保您的活動有足夠的樣本大小來達成您的轉換目標：自動分配。
自動分配
自動分配活動是A/B測試的型別，可識別兩個或多個體驗中的獲勝者。 Auto-Allocate測試會自動重新分配更多流量給成功者以增加轉換，同時測試會繼續執行和學習。
標準 A/B 測試有其固有成本。您必須耗費流量來測量每個體驗的效能，並透過分析來定奪勝出體驗。即使在您認定某些體驗勝過其他體驗之後，流量分布仍然固定。另外，很難決定樣本大小，必須等到活動執行完整個過程，您才能對獲勝者採取動作。而且已識別的獲勝者也有可能不是真正的獲勝者。
方案是Auto-Allocate。 Auto-Allocate可減少決定成功體驗的成本和額外負荷。 Auto-Allocate會監視所有體驗的目標量度績效，並成比例地將更多新加入者傳送至表現優異的體驗。 有足夠的流量保留來探索其他體驗。即使活動仍在執行中，您仍可在結果中看到活動的好處：最佳化與學習同時發生。
Auto-Allocate會逐步將訪客推向成功體驗，而不是要求您等到活動結束再決定成功者。 您會更快從提升中受益，因為原本安排到較差體驗的活動加入者會看到潛在的勝出體驗。
使用Auto-Allocate時，Target會在活動的頁面頂端顯示徽章，指出「尚未有贏家」，直到活動達到具有足夠信賴的最低轉換數量為止。 Target接著會在活動頁面頂端顯示徽章，以宣告成功體驗。
如需詳細資訊，請參閱自動分配總覽。
AdobeTarget樣本大小電腦
如果您選擇使用手動A/B Test活動而非Auto-Allocate，Target樣本大小計算器可協助您判斷成功測試所需的樣本大小。 手動A/B測試是固定水平線測試，因此計算器會很有幫助。 使用Auto-Allocate活動的計算器是選用的，因為Auto-Allocate會為您宣告獲勝者。 計算器會提供您所需樣本大小的粗略估計。 如需有關如何使用此計算機的詳細資訊，請繼續閱讀。
設定A/B測試之前，請先存取Adobe Target 樣本大小電腦。
在執行A/B測試以建立活動在評估結果之前應執行的時間之前，請務必確定足夠的樣本大小（訪客數）。 在達到統計顯著性之前簡單地監控活動會導致信賴區間被大幅低估，使測試變得不可靠。 這個結果背後的直覺是，在偵測到統計上顯著的結果時，測試會停止，並宣告獲勝者。 不過，如果結果沒有統計顯著性，則可繼續測試。 此程序非常偏袒正面結果，這會增加誤判率，因而扭曲測試的有效顯著水準。
此程式可能會導致許多誤判，進而導致實施未最終提供預測提升度的選件。 提升度本身不佳，令人不滿意，但更嚴重的後果是，隨著時間的推移，無法準確預測提升度會削弱組織對測試慣例的信任。
本文討論決定樣本大小時必須平衡的因素，並介紹用於估計足夠樣本大小的計算器。 在任何A/B測試開始之前，使用樣本大小計算器（以上提供的連結）計算樣本大小，有助於確保您一律執行符合統計標準的高品質A/B測試。
有五個使用者定義參數可定義 A/B 測試。這些參數相互關聯，建立其中四個時，即可算出第五個:
- 統計顯著性
- 統計檢定力
- 最低可靠偵測提升度
- 基準轉換率
- 訪客數目
IMPORTANT在 A/B 測試中，統計顯著性、統計檢定力、最低可靠偵測提升度及基準轉換率由分析師設定，然後從這些數目算出必要的訪客數目。本文會討論這些元素，並提供如何針對特定測試決定這些量度的准則。
下圖顯示 A/B 測試可能的四種結果:
最好是沒有偽陽性或偽陰性。然而，統計測試永遠無法保證取得零誤判。 觀察的趨勢很可能無法代表基礎轉換率。例如，在測試中，看看翻硬幣時正面或反面是否更可能，即使使用平價硬幣，十次擲硬幣時也有可能得到10個正面或反面。 統計顯著性和檢定力協助我們將偽陽性率和偽陰性率量化，還可讓我們在給定的測試中，將這兩種比率維持在合理的水準。
統計顯著性
測試的顯著水準會決定測試報告兩個不同選件之間轉換率重大差異的可能性，而事實上並沒有實際差異。 這種情況稱為誤判或Type I錯誤。 顯著水準是使用者指定的臨界值，是誤判容許度與必須包含在測試中的訪客數量之間的折衷。
在 A/B 測試中，最初會假設兩個選件有相同的轉換率。然後，根據此假設來計算觀察結果的機率。如果此機率（p值）小於某些預先定義的臨界值（顯著水準），Target會得出初始假設（兩個選件具有相同轉換率）不正確。 因此，A和B的轉換率在指定的顯著水準上有統計上的差異。
A/B 測試中常用的顯著水準是 5%，這對應於信賴水準 95% (信賴水準 = 100% - 顯著水準)。信賴水準 95% 表示每次執行測試時，即使選件之間沒有差異，仍有 5% 的機會偵測到統計顯著的提升度。
下表彙總了信賴水準的一般解釋:
建議一律使用 95% 或更高的信賴水準。
建議您使用最高的可信度等級，這樣測試就不會產生多少誤判。 不過，較高的信賴水準需要較大量的訪客，因而增加執行測試所需的時間。再者，信賴水準提高會導致統計檢定力降低。
統計檢定力
A/B 測試的統計檢定力是指偵測到某個數量的轉換率有實質差異的機率。由於轉換事件的隨機（隨機）性質，即使兩個選件的轉換率有實際差異，也可能沒有觀察到統計上顯著的差異（只是偶然）。 這種情況稱為誤報或型別II錯誤。
人們經常忽略統計檢定力，因為與統計顯著性相反，執行 A/B 測試不需要判定統計檢定力。然而，忽略統計檢定力時，可能會因為樣本量太小，導致測試無法偵測到不同選件轉換率之間的實際差異。 這種情況會導致測試被誤報主導。
我們會希望統計檢定力較高，測試才會有較大機會可識別出轉換率的實質差異，並產生較少的偽陰性結果。不過，若要提高偵測任何指定提升度的統計能力，需要較多的訪客數量，這會增加進行測試所需的時間。
統計檢定力的常用值是 80%，這表示測試有 80% 的機會偵測到差異等於最低可靠偵測提升度。測試偵測到小幅提升度的機率較低，而偵測到大幅提升度的機率較高。
最低可靠偵測提升度
大部分組織需要測量轉換率中可能的最小差異，因為即使小幅提升度也值得實作。不過，如果您希望A/B測試偵測到小幅提升的機率很高，必須納入測試的訪客數量將高得令人望而卻步。 原因在於，如果轉換率的差異很小，則必須以高精確度來估計這兩個轉換率，以識別差異，這需要許多訪客。 因此，應該依商業需求來決定最低可靠偵測提升度，而且在偵測小幅提升度與花更多時間執行測試之間需要取捨。
例如，假設兩個選件 (A 和 B) 的真實轉換率分別為 10% 和 15%。如果這些選件各顯示給 100 位訪客，由於轉換的隨機本質，選件 A 所觀察到的轉換率有 95% 的機會將落在 4% 至 16% 範圍內，而選件 B 則是落在 8% 至 22% 的範圍內。在統計學上，這些範圍稱為信賴區間。代表對於預估轉換率準確度的信賴度。樣本大小越大 (越多訪客)，您對轉換率預估正確就越有信心。
下圖顯示這些機率分布。
因為兩個範圍之間有很大重疊，測試無法判斷轉換率是否不同。因此，有 100 位訪客的這項測試無法區別兩個選件。但是，如果Target向5,000位訪客個別公開選件，則有95%的機會會觀察到轉換率分別落在9%到11%和14%到16%的範圍內。
在此情況下，測試不太可能得出錯誤的結論，因此具有5,000位訪客的測試可區分兩個選件。 有5,000位訪客的測試具有+/-1%的信賴區間。 這表示測試可以偵測到約1%的差異。 因此，舉例來說，如果選件的真實轉換率是 10% 和 10.5%，而非 10% 和 15%，則需要更多訪客才能偵測到差異。
