解讀自動分配報告

解釋 自動分配 A/B活動 Adobe Target 通過研究重要指標,包括提振和信心。

許多行銷人員犯了一種錯誤,在結果指出明確的贏家之前便提早宣告獲勝體驗。我們現在已經可讓您輕鬆決定獲勝者。

注意

有關聲明贏家的一般資訊,請參見 常見的10種A/B測試缺陷及其避免方法

確定成功體驗

使用自動分配功能時,在活動達到最低轉換次數且有足夠信賴度之前,Target 會在活動頁面頂端顯示徽章,指出「尚未有贏家」。

無贏家徽章

宣告明確的獲勝者時,Target 會顯示「獲勝者: 體驗 X」。

注意

「自動分配」活動旨在所有選項之中找出最佳體驗,而不只與控制項進行成對比較而已。

自動分配的統計保證

A/B 活動結束時,「自動分配」會保證決定的獲勝者有 5% 的有效誤判率。這表示在活動的所有體驗之中,只有 5% 的時間,決定的獲勝者實際上不是最佳體驗。如果是 A/A 測試 (使用相同的體驗),我們發現測試有小於 5% 的時間。A/A 測試 (使用相同的體驗) 的預期行為是無限期執行,所以獲勝者徽章永遠不會出現。

對於「自動分配」,我們不採用 p 值信賴度。

「自動分配」的「信賴度」欄 (如下圖) 顯示體驗是獲勝者的機率,誤差率在 1% 之內 (亦即,在最佳和次佳轉換率之間,演算法採用最低可偵測效應 1%)。請注意,演算法採用 Bernstein 不等式來計算此機率。

一般 A/B 測試會根據 p 值來計算信賴度。「自動分配」不使用 p 值。P 值會「寬鬆」計算所給定體驗與控制項不同的機率。這些 p 值只能用來判斷體驗是否可能與控制不同。這些值只能用來判斷體驗是否與另一個體驗 (非控制) 不同。

重要

目標在預定義的最小轉換次數後顯示獲勝者;但是,挑選獲勝者的最終決定應始終取決於Adobe Target的結果 示例大小計算器。 目標不考慮站點的基本轉換率以及輸入計算器以確定活動持續時間的其他重要方面。 因此,Target可能會根據最小轉換次數提前顯示勝者。 有關詳細資訊,請參見 示例大小計算器

瞭解自動分配活動中的提升和信心報告

在「自動分配」活動中,第一個體驗(預設情況下名為「體驗A」)始終定義為「報告」頁籤上的「控制」體驗。 在用於確定經驗表現的模型中,這種經驗不被視為真正的統計控制,但是它被視為報告中某些數字的參考或基準。

每次體驗的「提升」數值和95%界限總是參考定義的「控制」體驗計算。 定義的「控制」體驗不能相對於自身具有提升,因此會報告此體驗的空白「 — 」值。 與A/Btest中的「自動分配」test不同,如果體驗的效能低於定義的控制,則不報告負提升值;顯示。

所顯示的置信區間條表示圍繞經驗的轉換率的平均估計的95%置信區間。 這些也與定義的「控制」體驗相關。 「Control」體驗的欄總是呈灰色。 在「控制」經驗的置信區間下的置信區間部分被著色為紅色,而在「控制」經驗上方的置信區間部分被著色為綠色。

當領先經驗的95%置信區間與任何其他經驗不重疊時,會發現贏家。 獲勝的體驗在體驗名稱的左側和「獲勝者」的橫幅上用綠色星章指定。 當沒有星星出現時,橫幅上寫著「尚未贏家」,而尚未找到贏家。

在當前領先或獲勝的體驗旁邊還報告了「信心」數字。 該數字只在領先經驗的信心達到至少60%之前才報告。 如果「自動分配」實驗中只有兩個經驗,則此數字表示該經驗比其他經驗表現更好的置信水準。 如果「自動分配」實驗中存在兩個以上的經驗,則此數字表示該經驗比定義的「控制」經驗表現更好的信心級別。 如果「控制」體驗獲勝,則不報告「信心」數字。

常見問題

請考慮以下常見問題的答案:

進入活動已過了幾天。為何所有信賴度仍顯示 0%?

下列任何原因說明所有活動在報表的「信賴度」欄中為何顯示 0%:

  • 手動 A/B 測試和「自動分配」使用不同的統計量來顯示「信賴度」值。

    手動 A/B 測試採用基於 Student 的 t 檢定的 p 值。由於實際上並沒有這種差異,P 值是尋找在體驗與控制之間觀察到 (或更極端) 之差異的機率。這些 P 值只能用來判斷觀察到的資料是否與指定體驗一致,並且有相同的控制。這些值只能用來判斷體驗是否與另一個體驗 (非控制) 不同。

    自動分配顯示在活動的所有體驗之中,所給定體驗是真正獲勝者的機率。這表示只有勝出體驗 (很可能就是獲勝者) 才有非零的信賴值。其他很可能全部都是失敗者,將會顯示 0%。

  • 只有在勝出體驗收集到 60% 信賴度時,「自動分配」才會開始顯示信賴度。這些置信度通常出現在正常A/Btest完成所需時間的一半左右(儘管這並不保證)。 要確定正常A/Btest將運行多長時間,請使用 示例大小計算器:插入控制項的轉換率在「基線轉換率」中,在「Lift」中為「5%」,在「Ficte」中為95%。 通常在每一個體驗至少累積每一體驗必要樣本的 50% 之後,才會開始出現信賴度。這樣可讓您大概知道何時會開始出現信賴度。

  • 如果報表完全顯示 0%,可能表示太早進入活動。

「沒有贏家」、「贏家」和「星星」徽章適用於使用 Analytics 做為報告來源 (A4T) 的自動分配活動嗎?

"尚未獲得獲獎者"和"獲獎者"徽章目前在 A4T 面板 Analysis Workspace。 如果在中查看同一報告,則這些徽章也不可用 Target。 一枚獲獎的星章 Target 報告 自動分配 應忽略使用A4T的活動。

有關此限制和注釋的詳細資訊,請參見 自動分配A4T支援 自動分配 和 自動目標 活動

本頁內容