安 自動分配 活動 Adobe Target 識別兩個或多個體驗中的獲勝者,並自動重新分配更多流量給獲勝者以增加轉換,同時測試繼續執行和學習。
使用三步驟引導式工作流程建立A/B活動時,您可以選取 自動分配至最佳體驗 選項。
標準 A/B 測試有其固有成本。您必須耗費流量來測量每個體驗的效能,並透過分析來定奪勝出體驗。即使在您認定某些體驗勝過其他體驗之後,流量分布仍然固定。另外,很難決定樣本大小,必須等到活動執行完整個過程,您才能對獲勝者採取動作。而且,確定的獲勝者仍有可能不是真正的獲勝者。
自動分配可降低這項成本及定奪勝出體驗時的額外負荷。自動分配會監控所有體驗的目標量度效能,並依比例將更多新加入者安排到表現優異的體驗。有足夠的流量保留來探索其他體驗。即使活動仍在執行,您也可以看到測試帶給結果的好處: 最佳化與學習同步進行。
自動分配會逐漸將訪客移往勝出體驗,您不必等到活動結束才決定獲勝者。您會更快從提升中受益,因為原本安排到較差體驗的活動加入者會看到潛在的勝出體驗。
中的一般A/B測試 Target 只顯示挑戰者與控制的成對比較。 例如,如果活動有體驗:A、B、C和D,其中A是控制,正常 Target A/B測試會比較A與B、A與C、A與D。
在這類測試中,大部分產品,包括 Target,請使用 韋爾奇的T型以產生p值型信賴度。 接著,此信賴值用來判斷挑戰體驗與控制體驗是否明顯不同。不過, Target 不會自動執行尋找「最佳」體驗所需的隱含比較(B與C、B與D、C與D)。 因此,市場行銷人員必須手動分析結果,才能決定「最佳」體驗。
自動分配會對所有體驗執行全部的隱含比較,以產生「真正」贏家。測試中沒有「控制」體驗的概念。
自動分配 智慧地分配體驗的新訪客,直到最佳體驗的信賴區間與任何其他體驗的信賴區間不重疊為止。 通常,此程式會產生誤判,但 自動分配 根據 Bernstein不等式 補償重複評估。 現在,真有贏家。 當 自動分配 停止,前提是到達頁面的訪客沒有實質的時間依賴性,則至少有95%的機會 自動分配 傳回的體驗,其真實回應不會低於成功體驗之真正回應的1%(相對)。
在討論 自動分配:
多臂吃角子老虎機:最佳化的多臂吃角子老虎機方法可平衡探索學習和該學習的利用。
背後的整體邏輯 自動分配 納入累積資料的測量效能(例如轉換率)和信賴區間。 不同於在標準A/B測試中,流量會平均分割給不同體驗, 自動分配 變更各體驗的流量分配。
在利用表現良好的體驗時,多臂吃角子老虎機法會保留一些體驗以供探索。除了將更多的新訪客安排到表現較佳的體驗,仍然能夠隨情況變化而做出反應。這些模型至少每一小時更新一次,以確保模型是對最新資料做出反應。
隨著越多訪客進入活動,有些體驗會開始變得更成功,而更多流量會分配給成功體驗。20% 的流量會持續地隨機供應,以探索所有體驗。如果其中一個表現較差的體驗開始有較好的表現,則會分配更多流量給該體驗。或者,如果表現較佳的活動變得較不成功,則分配給該體驗的流量會變少。例如,若某事件促使訪客在您的媒體網站上尋找不同資訊,或您的零售網站上的週末銷售提供不同的結果。
下圖指出演算法在測試四個體驗時如何運作:
圖中顯示分配給每個體驗的流量如何經歷活動期限的幾個回合而增加,直到確定完勝贏家為止。
四捨五入 | 說明 |
---|---|
![]() |
熱身回合 (0): 在熱身回合期間,每個體驗會獲得相等的流量分配,直到活動中的每個體驗至少有 1,000 位訪客和 50 次轉換為止。
只有兩個體驗會前進到下一個回合:D和C。 未來表示80%的流量會平均分配給兩個體驗。其他兩個體驗會繼續參與,但只會在新訪客進入活動時,以20%隨機流量分配的一部分呈現。 所有分配每小時更新一次 (如沿著上面 x 軸的回合所示)。每個回合之後會比較累積資料。 |
![]() |
第 1 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量隨機分配給 A、B、C、D (各 5%)。在此回合中,體驗 A 表現良好。
|
![]() |
第 2 回合: 在這個回合中,80%的流量會分配給體驗 A 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 B 表現良好。
|
![]() |
第 3 回合: 在這個回合中,80%的流量會分配給體驗 B 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 D 持續表現良好,體驗 C 也表現良好。
|
![]() |
第 4 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 C 表現良好。
|
![]() |
回合 n:隨著活動進行,表現優異的體驗會開始浮現,過程會持續到出現勝出體驗為止。當轉換率最高的體驗和任何其他體驗的信賴區間不重疊時,即會標示為獲勝者。 A 徽章會顯示在成功活動的頁面上 和 活動 清單。
重要: 如果您在過程中太早手動選擇獲勝者,很容易會選出錯誤的體驗。因此,最好等待演算法決定勝出體驗。 |
如果活動只有兩個體驗,則兩個體驗會獲得相等的流量,直到 Target 找出具有75%可信度的成功體驗。 到時,三分之二的流量會分配給獲勝者,三分之一分配給失敗者。 之後,當體驗達到95%信賴度時,90%的流量會分配給獲勝者,10%會分配給失敗者。 Target 一律會維護一些會傳送至「遺失」體驗的流量,以避免最後出現誤判(亦即維持一些探索)。
在 自動分配 活動時,不允許從UI執行下列操作:
如需詳細資訊,請參閱 自動分配可讓您比手動測試更快地獲得測試結果和更高的收入
此 自動分配 功能只能搭配一個進階量度設定運作: 增加計數並讓使用者留在活動中
不支援下列進階量度設定: 增加計數, 發行使用者, 允許重新進入和增加計數,和 釋放用戶並禁止重新進入.
經常回訪的訪客會抬高體驗轉換率。
如果一位見到體驗 A 的訪客經常再度訪問且多次轉換,則體驗 A 的轉換率 (CR) 會不自然地提高。將此結果與體驗B進行比較,體驗B的訪客會轉換,但不常回訪。 因此,體驗A的CR看起來比體驗B的CR好,因此新訪客分配給A的可能性比分配給B的可能性大。如果您選擇對每個加入者計數一次,則A的CR和B的CR可能相同。
如果再度訪問的訪客隨機分佈,則對轉換率的影響很可能互相抵銷。為了減輕這種效應,請考慮將目標量度的計數方法變更為每一個加入者只算一次。
區別較佳表現者,而非較差表現者。
自動分配擅長區別表現優異的體驗 (並找出獲勝者)。有時,表現不佳的體驗之間沒有足夠的差異性。
如果您想在所有體驗之間產生統計顯著的差異,建議您使用手動流量分配模式。
時間相關 (或隨情境變化) 的轉換率可能扭曲分配量。
標準A/B測試期間可以忽略的某些因素,因為這些因素對所有體驗的影響相同,在 自動分配 測試。 演算法易受觀察的轉換率所影響。可能以不同程度影響體驗效能的因素範例如下:
具有不同情境(時間、位置、性別等)相關性的體驗。
例如:
使用具有不同上下文相關性的體驗可能會扭曲 自動分配 測試比A/B測試更多,因為A/B測試會在較長的期間內分析結果。
體驗的延遲轉換時間不同,可能是由於消息的迫切性。
例如,「七折促銷只到今天」暗示訪客今天應該成交,但「首購五折」就不會讓人感到相同的急迫性。
使用時,請參閱下列常見問題集和解答 自動分配 活動:
是.如需詳細資訊,請參閱「自動分配」和「自動鎖定目標」活動的 A4T 支援。
無.只會自動重新分配新的訪客。再度訪問的訪客會繼續看見其原始體驗,以保護A/B測試的有效性。
如果您等待到獲勝者徽章出現,演算法可保證 95% 可信度或 5% 誤判率。
當活動中的所有體驗皆至少有 1,000 位訪客和 50 次轉換之後,演算法就開始運作。
80%的流量使用 自動分配 20%的流量是隨機提供的。 識別出獲勝者之後,80% 的流量就全部流向它,而所有體驗皆繼續從 20% 之中獲得部分流量,包括勝出體驗。
是.多臂吃角子老虎機會確保至少保留 20% 的流量,以供探索所有體驗不斷變化的模式或轉換率。
只要所有正在最佳化的體驗都面臨類似的延遲,其行為就等同於轉換週期更快的活動。 不過,流量分配程式開始前,達到50轉換臨界值所需的時間會更長。
自動個人化根據每個訪客的設定檔屬性來決定最佳體驗。這樣做不僅會最佳化,還會將該使用者的活動個人化。
自動分配另一方面,是A/B測試,會產生總獲勝者(最受歡迎的體驗,但不一定是每位訪客最有效的體驗)。
目前,邏輯偏好快速轉換或經常瀏覽的訪客,因為這類訪客會暫時抬高其所屬體驗的整體轉換率。 演算法會經常自行調整,因此,轉換率提高每次皆會放大。如果網站有大量回訪訪客,他們的轉換可能會誇大其所屬體驗的整體轉換率。 再度訪問的訪客極可能是隨機分布,在此情況下,集體效應 (提升度增加) 會互相抵銷。為了減輕這種效應,請考慮將成功量度的計數方法變更為每一個加入者只算一次。
您可以使用現有 Adobe Target 樣本大小電腦 以估計測試執行的時間。 (如同傳統A/B測試一樣,如果您要測試兩個以上選件或多個轉換量度/假設,請套用Bonferroni校正。) 此計算器專為傳統固定水準A/B測試而設計,僅提供估計值。 使用計算器 自動分配 活動是選用項目,因為 自動分配 宣佈獲勝者。 您不需要選取固定的時間點來查看測試結果。 提供的值一律有統計效果。
在我們的實驗中,我們發現了下列內容:
沒有理由移除表現欠佳的體驗。 自動分配 自動更頻繁地提供高績效體驗,並較少地提供表現欠佳的體驗。 在活動中保留執行不佳的體驗不會大幅影響決定獲勝者的速度。
20% 的訪客是隨機分配到所有體驗。提供給表現欠佳體驗的流量最小(20%除以體驗數量)。
Adobe 不建議您在活動中途變更目標量度。 雖然在活動期間有可能使用 Target UI 變更目標量度,您應該總是開始一個新的活動。Adobe 無法保證如果您在活動執行後變更活動中的目標量度,會發生什麼事。
此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)
Adobe 不建議您在活動中途變更報表來源。 雖然可以變更報表來源(從 Target 至A4T(或反之亦然) Target UI,您應一律啟動新活動。 Adobe 無法保證如果您在活動執行後變更活動中的報表來源,會發生什麼情況。
此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)
使用 重設報表資料 選項 自動分配 不建議使用活動。 雖然會移除可見的報表資料,但此選項不會移除 自動分配 模型。 而非使用 重設報表資料 選項 自動分配 活動,建立新活動並取消啟動原始活動。 (本指引亦適用於 自動鎖定目標 和 Automated Personalization 活動)。
自動分配 僅根據預設環境中記錄的流量和轉換行為建立模型。 依預設, 生產 為預設環境,但可在 Target 管理>環境.
如果點擊發生在其他(非預設)環境,則流量會根據預設環境中觀察到的轉換行為進行分配。 該點擊的結果(轉換或非轉換)會記錄以用於報表用途,但不會計入 自動分配 模型。
選取其他環境時,報表會顯示該環境的流量和轉換。 報表的預設選取環境是選取的帳戶範圍預設值。 預設環境無法根據每個活動設定。
例如,活動是否可考慮12月份來決定如何分配流量,而非查看9月的訪客資料(測試開始時)?
不, 自動分配 考量整個活動的績效。
自動分配 使用黏著決策,原因與 A/B測試 活動是固定的。 流量分配僅適用於新訪客。
以下影片含有本文章探討之概念的詳細資訊。
此視訊包含有關如何設定流量分配的資訊。
此視訊示範如何使用 Target 三步驟引導式工作流程來建立 A//B 測試。自動分配 4:45開始討論。