解讀自動分配報告
透過檢查重要指標(包括提升度和信賴度)來解譯Adobe Target中Auto-Allocate A/B活動的結果。
許多行銷人員犯了一種錯誤,在結果指出明確的贏家之前便提早宣告獲勝體驗。Target讓您更容易決定獲勝者。
如需宣告獲勝者的一般資訊,請參閱十個常見的A/B測試陷阱以及避免方法。
識別成功體驗 section_24007470CF5B4D30A06610CE8DD23CE3
使用Auto-Allocate功能時,Target會在活動的頁面上方顯示徽章,指出「尚未有贏家」,直到活動達到具有足夠信賴的最低轉換數量為止。
宣告明確的獲勝者時,Target會顯示「獲勝者:體驗 X」。
自動分配的統計保證 section_7AF3B93E90BA4B80BC9FC4783B6A389C
在A/B活動結束時,Auto-Allocate可保證已決定的獲勝者有5%的有效誤判率。 這表示在活動的所有體驗之中,只有 5% 的時間,決定的獲勝者實際上不是最佳體驗。對於A/A測試 (具有相同的體驗),Target會結束不到5%時間的測試。 A/A 測試 (使用相同的體驗) 的預期行為是無限期執行,所以獲勝者徽章永遠不會出現。
Target沒有對Auto-Allocate使用p值型信賴度。
Auto-Allocate活動(如下圖所示)中的Confidence欄會顯示體驗在1%錯誤邊界內成為獲勝者的機率。 演演算法使用最佳和次最佳轉換率之間的最小可偵測效果為1%。 演演算法使用Bernstein不等式來計算此機率。
一般 A/B 測試會根據 p 值來計算信賴度。Auto-Allocate不使用p值。 P 值會「寬鬆」計算所給定體驗與控制項不同的機率。這些 p 值只能用來判斷體驗是否可能與控制不同。這些值只能用來判斷體驗是否與另一個體驗 (非控制) 不同。
瞭解Auto-Allocate活動中的提升度和可信度報告 lift-confidence
在Auto-Allocate活動中,第一個體驗(預設為體驗A)一律定義為Reports索引標籤上的「控制」體驗。 在用來判斷體驗效能的模型中,此體驗不會被視為真正的統計控制,但會被視為報表中某些圖表的參考或基準。
「提升度」數值和每個體驗的95%界限一律會參考定義的「控制」體驗進行計算。 定義的「控制」體驗不能有相對於本身的提升度,因此會報告此體驗的空白「 — 」值。 不同於A/B測試,在Auto-Allocate測試中,如果體驗的執行效能比定義的控制項差,則不會報告負的提升值,而是顯示「 — 」。
顯示的Confidence Interval長條代表體驗轉換率平均估計值的95%信賴區間。 這些長條也會針對定義的「控制」體驗進行色彩編碼。 「控制」體驗的列一律為灰色。 「控制」體驗信賴區間下方的信賴區間部分會以紅色顯示,而「控制」體驗上方的信賴區間部分則會以綠色顯示。
當領導體驗的95% Confidence Interval與任何其他體驗不重疊時,就會找到獲勝者。 成功體驗會在體驗名稱左側和「成功者」橫幅中指定綠色星形徽章。 看不到任何星星時,橫幅會顯示「尚未有贏家」,而且尚未找到贏家。
目前領先或勝出的體驗旁邊也會報告「信賴度」數字。 此數字只會在領先體驗的Confidence達到至少60%時報告。 如果Auto-Allocate活動中存在兩個體驗,此數字代表該體驗執行優於其他體驗的信賴等級。 如果Auto-Allocate活動中存在兩個以上的體驗,此數字代表體驗的執行勝過定義的「控制」體驗的信賴等級。 如果「控制」體驗獲勝,則不會報告「信賴度」數字。
常見問題集 section_C8E068512A93458D8C006760B1C0B6A2
請考量下列常見問題的回答:
此活動已進行幾天。 為何所有信賴值仍顯示0%?
下列任一原因說明為什麼0%會在報表所有活動的Confidence欄中顯示:
-
手動A/B測試和Auto-Allocate使用不同的統計資料來顯示Confidence值。
手動A/B測試使用以Welch的t檢定為基礎的p值。 由於實際上並沒有這種差異,P 值是尋找在體驗與控制之間觀察到 (或更極端) 之差異的機率。這些 P 值只能用來判斷觀察到的資料是否與指定體驗一致,並且有相同的控制。這些值只能用來判斷體驗是否與另一個體驗 (非控制) 不同。
Auto-Allocate會顯示指定體驗在活動中的所有體驗中成為真正成功者的機率。 只有成功體驗(最有可能是成功者)具有非零信賴值。 所有其他最有可能是損失者,並顯示0%。
-
Auto-Allocate只有在成功體驗收集到60%的信賴度後,才會開始顯示信賴度。 這些信賴等級通常大約會顯示在一般A/B測試完成所需時間的一半(雖然此時間範圍並無保證)。 若要判斷一般A/B測試會執行多久,請使用Adobe Target 樣本大小電腦:在「基準轉換率」中插入控制項的轉換率,「提升度」為"5%",「信賴度」為95%。 通常在每一個體驗至少累積每一體驗必要樣本的 50% 之後,才會開始出現信賴度。這讓您知道何時開始出現可信度。
-
如果報表完全顯示 0%,可能表示太早進入活動。
「沒有贏家」、「贏家」和「星星」徽章適用於使用Analytics as the reporting source (A4T)的Auto-Allocate活動嗎?
「尚未有贏家」和「贏家」徽章目前在Analysis Workspace的A4T面板中無法使用。 如果在Target中檢視相同的報表,則也無法使用這些徽章。 使用A4T的Auto-Allocate活動在Target報告中顯示的獲勝者「星星」徽章應予以忽略。
如需此專案以及其他限制和附註的詳細資訊,請參閱Auto-Allocate和Auto-Target活動 在 A4T支援中的自動分配。