安 自動分配 活動 Adobe Target 在兩個或多個體驗中確定獲勝者,並自動將更多流量重新分配給獲勝者以增加轉換,同時test繼續運行和學習。
使用三步指導工作流建立A/B活動時,您可以選擇 自動分配以獲得最佳體驗 的雙曲餘切值。
標準 A/B 測試有其固有成本。您必須耗費流量來測量每個體驗的效能,並透過分析來定奪勝出體驗。即使在您認定某些體驗勝過其他體驗之後,流量分布仍然固定。另外,很難決定樣本大小,必須等到活動執行完整個過程,您才能對獲勝者採取動作。而且,確定的贏家可能不是真正的贏家。
自動分配可降低這項成本及定奪勝出體驗時的額外負荷。自動分配會監控所有體驗的目標量度效能,並依比例將更多新加入者安排到表現優異的體驗。有足夠的流量保留來探索其他體驗。即使活動仍在執行,您也可以看到測試帶給結果的好處: 最佳化與學習同步進行。
自動分配會逐漸將訪客移往勝出體驗,您不必等到活動結束才決定獲勝者。您會更快從提升中受益,因為原本安排到較差體驗的活動加入者會看到潛在的勝出體驗。
正常A/Btest Target 只顯示挑戰者與控制者的成對比較。 例如,如果活動有經驗:A、B、C和D,其中A是控制,正常 Target A/Btest將比較A與B、A與C、A與D。
在此類test中,大多數產品,包括 Target,使用學生的ttest生成基於p值的信心。 接著,此信賴值用來判斷挑戰體驗與控制體驗是否明顯不同。但是, Target 不會自動執行查找「最佳」體驗所需的隱式比較(B與C、B與D、C與D)。 因此,市場行銷人員必須手動分析結果,才能決定「最佳」體驗。
自動分配會對所有體驗執行全部的隱含比較,以產生「真正」贏家。測試中沒有「控制」體驗的概念。
自動分配 智慧地為體驗分配新的訪問者,直到最佳體驗的置信區間與任何其他體驗的置信區間不重疊。 通常,此過程會產生誤報,但 自動分配 使用基於 伯恩斯坦不等式 來補償反複評估。 現在,真正的贏家。 當 自動分配 只要訪問者沒有明顯的時間依賴性,至少有95%的機會 自動分配 返回真實響應不比獲勝體驗的真實響應低1%(相對)的體驗。
以下術語在討論 自動分配:
多臂吃角子老虎機:最佳化的多臂吃角子老虎機方法可平衡探索學習和該學習的利用。
背後的總邏輯 自動分配 併入累積資料的測量效能(如轉換率)和置信區間。 不同於標準的A/Btest,即流量在體驗之間平均分割, 自動分配 更改了不同體驗之間的流量分配。
在利用表現良好的體驗時,多臂吃角子老虎機法會保留一些體驗以供探索。除了將更多的新訪客安排到表現較佳的體驗,仍然能夠隨情況變化而做出反應。這些模型至少每一小時更新一次,以確保模型是對最新資料做出反應。
隨著越多訪客進入活動,有些體驗會開始變得更成功,而更多流量會分配給成功體驗。20% 的流量會持續地隨機供應,以探索所有體驗。如果其中一個表現較差的體驗開始有較好的表現,則會分配更多流量給該體驗。或者,如果表現較佳的活動變得較不成功,則分配給該體驗的流量會變少。例如,若某事件促使訪客在您的媒體網站上尋找不同資訊,或您的零售網站上的週末銷售提供不同的結果。
下圖指出演算法在測試四個體驗時如何運作:
圖中顯示分配給每個體驗的流量如何經歷活動期限的幾個回合而增加,直到確定完勝贏家為止。
四捨五入 | 說明 |
---|---|
![]() |
熱身回合 (0): 在熱身回合期間,每個體驗會獲得相等的流量分配,直到活動中的每個體驗至少有 1,000 位訪客和 50 次轉換為止。
下一輪只有兩條經歷:D和C 向前看,這兩種體驗在流量中的分配比例是80%。另外兩種體驗繼續參與,但只是作為20%隨機流量分配的一部分,因為新訪問者進入活動。 所有分配每小時更新一次 (如沿著上面 x 軸的回合所示)。每個回合之後會比較累積資料。 |
![]() |
第 1 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量隨機分配給 A、B、C、D (各 5%)。在此回合中,體驗 A 表現良好。
|
![]() |
第 2 回合: 在這個回合中,80%的流量會分配給體驗 A 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 B 表現良好。
|
![]() |
第 3 回合: 在這個回合中,80%的流量會分配給體驗 B 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 D 持續表現良好,體驗 C 也表現良好。
|
![]() |
第 4 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 C 表現良好。
|
![]() |
回合 n:隨著活動進行,表現優異的體驗會開始浮現,過程會持續到出現勝出體驗為止。當具有最高轉換率的經驗的置信區間與任何其它經驗的置信區間不重疊時,它被標籤為贏家。 A 獎章顯示在獲勝活動的頁面上 在 活動 清單框。
重要: 如果您在過程中太早手動選擇獲勝者,很容易會選出錯誤的體驗。因此,最好等待演算法決定勝出體驗。 |
如果一個活動只有兩個體驗,則兩個體驗的流量相等,直到 Target 有75%的信心。 到那時,三分之二的流量被分配給了贏家,三分之一的流量被分配給了輸家。 之後,當一次體驗達到95%的置信度時,90%的流量分配給贏家,10%分配給輸家。 Target 始終保持一些流量被發送到「丟失」體驗,以避免最終誤報(即保持一些探索)。
在 自動分配 活動已激活,不允許從UI執行以下操作:
有關詳細資訊,請參見 與手動test相比,自動分配可以更快地分配結果和更高的收入
的 自動分配 功能僅與一個高級度量設定一起使用: 增量計數和保留活動中的用戶
不支援以下高級度量設定: 增量計數。 發佈用戶。 允許再入和增量計數, 釋放用戶和欄以阻止再入。
經常再度訪問的訪客會抬高體驗轉換率。
如果一位見到體驗 A 的訪客經常再度訪問且多次轉換,則體驗 A 的轉換率 (CR) 會不自然地提高。將此結果與體驗B進行比較,在B中,訪問者會轉換,但不會經常回來。 因此,經驗A的CR看起來比經驗B的CR好,因此新的訪問者更有可能被分配給A而不是B。如果選擇每個入口計數一次,則A的CR和B的CR可能相同。
如果再度訪問的訪客隨機分佈,則對轉換率的影響很可能互相抵銷。為了減輕這種效應,請考慮將目標量度的計數方法變更為每一個加入者只算一次。
區別較佳表現者,而非較差表現者。
自動分配擅長區別表現優異的體驗 (並找出獲勝者)。有時,表現不佳的體驗之間沒有足夠的差異性。
如果要在所有體驗之間產生統計顯著差異,則可能需要考慮使用手動流量分配模式。
時間相關 (或隨情境變化) 的轉換率可能扭曲分配量。
在標準A/Btest中,由於它們對所有體驗的影響相同,因此可以忽略的一些因素不能在 自動分配 test。 演算法易受觀察的轉換率所影響。可能以不同程度影響體驗效能的因素範例如下:
具有不同背景(時間、地點、性別等)相關性的體驗。
例如:
使用具有不同上下文相關性的體驗可以扭曲結果 自動分配 test比在A/Btest中要多,因為A/Btest在較長的時間段內分析結果。
體驗的延遲轉換時間不同,可能是由於消息的迫切性。
例如,「七折促銷只到今天」暗示訪客今天應該成交,但「首購五折」就不會讓人感到相同的急迫性。
使用時請參考以下常見問題和答案 自動分配 活動:
是.如需詳細資訊,請參閱「自動分配」和「自動鎖定目標」活動的 A4T 支援。
無.只會自動重新分配新的訪客。回訪者繼續看到他們的原始經驗,以保護A/Btest的有效性。
如果您等待到獲勝者徽章出現,演算法可保證 95% 可信度或 5% 誤判率。
當活動中的所有體驗皆至少有 1,000 位訪客和 50 次轉換之後,演算法就開始運作。
80%的流量使用 自動分配 20%的交通是隨機的。 識別出獲勝者之後,80% 的流量就全部流向它,而所有體驗皆繼續從 20% 之中獲得部分流量,包括勝出體驗。
是.多臂吃角子老虎機會確保至少保留 20% 的流量,以供探索所有體驗不斷變化的模式或轉換率。
只要所有優化的體驗都面臨類似的延遲,其行為就與轉換週期更快的活動相同。 但是,在流量分配過程開始之前,達到50轉換閾值需要更長的時間。
自動個人化根據每個訪客的設定檔屬性來決定最佳體驗。這樣做不僅會最佳化,還會將該使用者的活動個人化。
自動分配另一方面,A/Btest會產生總贏家(最流行的體驗,但未必是每位遊客最有效的體驗)。
目前,這種邏輯有利於快速轉換或更頻繁地訪問的訪問者,因為這些訪問者會暫時抬高他們所享受體驗的整體轉換率。 演算法會經常自行調整,因此,轉換率提高每次皆會放大。如果網站有大量回訪者,他們的轉換可能會誇大他們所經歷的整體轉換率。 再度訪問的訪客極可能是隨機分布,在此情況下,集體效應 (提升度增加) 會互相抵銷。為了減輕這種效應,請考慮將成功量度的計數方法變更為每一個加入者只算一次。
您可以使用現有 示例大小計算器 來估計test的運行時間。 (與傳統的A/B測試一樣,如果您測試的是兩個以上的報價或一個以上的轉換度量/假設,則應用Bonferroni校正。) 此計算器專為傳統的固定視距A/B測試而設計,僅提供估計。 使用計算器 自動分配 活動是可選的,因為 自動分配 為你宣告勝利。 您不需要選擇一個固定的時間點來查看test結果。 提供的值始終在統計上有效。 在我們的實驗中,我們發現了以下幾點:
沒有理由刪除表現不佳的體驗。 自動分配 自動更頻繁地提供高效能體驗,而較少地提供低效能體驗。 在活動中留下表現不佳的體驗不會顯著影響確定獲勝者的速度。
20% 的訪客是隨機分配到所有體驗。為表現不佳的體驗提供的流量最少(20%除以體驗次數)。
Adobe 不建議您在活動中途更改目標度量。 雖然在活動期間有可能使用 Target UI 變更目標量度,您應該總是開始一個新的活動。Adobe 無法保證在活動運行後更改目標度量時會發生什麼。
此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)
Adobe 不建議您在活動中途更改報告源。 雖然可以更改報告源(從 Target 到A4T或反之亦然) Target UI,應始終啟動新活動。 Adobe 無法保證在活動運行後更改其報告源時會發生什麼。
此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)
使用 重置報告資料 選項 自動分配 不建議活動。 儘管它刪除了可見的報告資料,但此選項不會從 自動分配 模型。 而不是使用 重置報告資料 選項 自動分配 活動,建立新活動並取消激活原始活動。 (本指南也適用於 自動目標 和 Automated Personalization 活動。)
自動分配 僅基於預設環境中記錄的通信量和轉換行為構建模型。 預設情況下, 生產 是預設環境,但可在 Target 管理>環境。
如果在另一個(非預設)環境中發生命中,則根據預設環境中觀察到的轉換行為來分配流量。 該點擊率(轉換或未轉換)之結果乃為報告而記錄,惟並無於 自動分配 模型。
選擇另一個環境時,報告將顯示該環境的通信量和轉換。 報告的預設選定環境是選定的帳戶範圍預設環境。 不能按活動設定預設環境。
例如,活動是否可以考慮12月份如何分配流量,而不是考慮9月份的訪問者資料(當test開始時)?
不, 自動分配 考慮整個活動的績效。
自動分配 使用粘滯決定,原因與 A/BTest 活動很棘手。 流量分配僅適用於新訪問者。
以下影片含有本文章探討之概念的詳細資訊。
此視訊包含有關如何設定流量分配的資訊。
此視訊示範如何使用 Target 三步驟引導式工作流程來建立 A//B 測試。自動分配 4點45分開始討論。