一個 自動分配 中的活動 Adobe Target 會從兩個或多個體驗中識別獲勝者,並自動重新分配更多流量給獲勝者以增加轉換,同時測試會繼續執行和學習。
當 建立A/B活動 使用三步驟引導式工作流程,選擇 自動分配至最佳體驗 上的選項 目標定位 頁面(步驟2)。
標準 A/B 測試有其固有成本。您必須耗費流量來測量每個體驗的效能,並透過分析來定奪勝出體驗。即使在您認定某些體驗勝過其他體驗之後,流量分布仍然固定。另外,很難決定樣本大小,必須等到活動執行完整個過程,您才能對獲勝者採取動作。此外,已識別的獲勝者仍有可能不是真正的獲勝者。
一個 自動分配 活動可減少決定成功體驗的成本與額外負荷。 自動分配會監控所有體驗的目標量度效能,並依比例將更多新加入者安排到表現優異的體驗。有足夠的流量保留來探索其他體驗。即使活動仍在執行,您也可以看到測試帶給結果的好處: 最佳化與學習同步進行。
自動分配會逐漸將訪客移往勝出體驗,您不必等到活動結束才決定獲勝者。您會更快從提升中受益,因為原本安排到較差體驗的活動加入者會看到潛在的勝出體驗。
中的正常A/B測試 Target 僅顯示具有控制項的挑戰者配對比較。 例如,如果活動有體驗:A、B、C和D,其中A是控制項,則為正常 Target A/B測試會比較A與B、A與C以及A與D。
在此類測試中,大多數產品包括 Target,使用 韋爾奇的t檢定 以產生p值型信賴度。 接著,此信賴值用來判斷挑戰體驗與控制體驗是否明顯不同。不過, Target 不會自動執行尋找「最佳」體驗所需的隱含比較(B對C、B對D、C對D)。 因此,市場行銷人員必須手動分析結果,才能決定「最佳」體驗。
自動分配會對所有體驗執行全部的隱含比較,以產生「真正」贏家。測試中沒有「控制」體驗的概念。
自動分配 智慧地分配新訪客給體驗,直到最佳體驗的信賴區間與任何其他體驗的信賴區間不重疊。 這個過程通常會產生誤判,但是 自動分配 使用的信賴區間是根據 Bernstein不等式 以補償重複評估。 此時,就會有真正的贏家。 時間 自動分配 停止,假設對到達頁面的訪客沒有顯著的時間相依性,則至少有95%的機會會 自動分配 傳回其真實回應不比成功體驗的真實回應差1% (相對)的體驗。
討論下列詞語時,相當實用 自動分配:
多臂吃角子老虎機:最佳化的多臂吃角子老虎機方法可平衡探索學習和該學習的利用。
背後的整體邏輯 自動分配 會結合所測量的效能(例如轉換率)和累積資料的信賴區間。 有別於標準A/B測試在體驗之間平均分割流量, 自動分配 會變更不同體驗之間的流量分配。
在利用表現良好的體驗時,多臂吃角子老虎機法會保留一些體驗以供探索。除了將更多的新訪客安排到表現較佳的體驗,仍然能夠隨情況變化而做出反應。這些模型至少每一小時更新一次,以確保模型是對最新資料做出反應。
隨著越多訪客進入活動,有些體驗會開始變得更成功,而更多流量會分配給成功體驗。20% 的流量會持續地隨機供應,以探索所有體驗。如果其中一個表現較差的體驗開始有較好的表現,則會分配更多流量給該體驗。或者,如果表現較佳的活動變得較不成功,則分配給該體驗的流量會變少。例如,若某事件促使訪客在您的媒體網站上尋找不同資訊,或您的零售網站上的週末銷售提供不同的結果。
下圖代表演演算法可能在測試期間對四個體驗(按一下以展開圖)的執行方式:
圖中顯示分配給每個體驗的流量如何經歷活動期限的幾個回合而增加,直到確定完勝贏家為止。
四捨五入 | 說明 |
---|---|
![]() |
熱身回合 (0): 在熱身回合期間,每個體驗會獲得相等的流量分配,直到活動中的每個體驗至少有 1,000 位訪客和 50 次轉換為止。
只有兩個體驗會前進到下一個回合:D和C。 往後移動表示這兩個體驗平均分配80%的流量。其他兩個體驗會持續參與,但只有在新訪客進入活動時,才會作為20%隨機流量分配的一部分提供。 所有分配每小時更新一次 (如沿著上面 x 軸的回合所示)。每個回合之後會比較累積資料。 |
![]() |
第 1 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量隨機分配給 A、B、C、D (各 5%)。在此回合中,體驗 A 表現良好。
|
![]() |
第 2 回合: 在這個回合中,80%的流量會分配給體驗 A 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 B 表現良好。
|
![]() |
第 3 回合: 在這個回合中,80%的流量會分配給體驗 B 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 D 持續表現良好,體驗 C 也表現良好。
|
![]() |
第 4 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 C 表現良好。
|
![]() |
回合 n:隨著活動進行,表現優異的體驗會開始浮現,過程會持續到出現勝出體驗為止。當轉換率最高的體驗和任何其他體驗的信賴區間不重疊時,即會標示為獲勝者。 A 徽章會顯示在成功活動的頁面上 和 活動 清單。
重要: 如果您在過程中太早手動選擇獲勝者,很容易會選出錯誤的體驗。因此,最好等待演算法決定勝出體驗。 |
如果活動只有兩個體驗,則兩個體驗會獲得相等的流量,直到 Target 找到75%信賴度的成功體驗。 到那時,三分之二的流量會分配給成功者,三分之一分配給失敗者。 之後,當體驗達到95%信賴度時,90%的流量會分配給獲勝者,而10%會分配給失敗者。 Target 一律會傳送一些流量給「遺失」體驗,以避免最後的誤判(也就是說,維持一些探索)。
之後 自動分配 活動已啟動,從Tar進行下列操作不允許取得UI:
如需詳細資訊,請參閱 自動分配讓您能比手動測試更快速地測試果並獲得更高的收入.
使用時,請考慮下列資訊 自動分配:
不支援下列進階量度設定: 遞增計數, 發行使用者, 允許重新進入和增加計數、和 釋放使用者並禁止重新進入.
如果一位見到體驗 A 的訪客經常再度訪問且多次轉換,則體驗 A 的轉換率 (CR) 會不自然地提高。將此結果與體驗B進行比較,後者訪客轉換但不常回訪。 因此,體驗A的CR看起來比體驗B的CR更好,因此新訪客更有可能分配至A而不是B。如果您選擇對每個加入者計算一次,A的CR和B的CR可能會相同。
如果再度訪問的訪客隨機分佈,則對轉換率的影響很可能互相抵銷。為了減輕這種效應,請考慮將目標量度的計數方法變更為每一個加入者只算一次。
自動分配擅長區別表現優異的體驗 (並找出獲勝者)。有時,表現不佳的體驗之間沒有足夠的差異性。
如果您想要在所有體驗之間產生統計上顯著的差異,可以考慮使用手動流量分配模式。
在標準A/B測試中因會影響所有體驗而可忽略的某些因素,在 自動分配 活動。 演算法易受觀察的轉換率所影響。
可能以不同程度影響體驗效能的因素範例如下:
具有不同內容(時間、位置、性別等)相關性的體驗。
例如:
使用具有不同內容關聯性的體驗可能會使結果產生偏差 自動分配 測試的時間比A/B測試長,因為A/B測試會分析較長期間的結果。
體驗的延遲轉換時間不同,可能是由於消息的迫切性。
例如,「七折促銷只到今天」暗示訪客今天應該成交,但「首購五折」就不會讓人感到相同的急迫性。
在使用時查詢下列的常見問答 自動分配 活動:
是.如需詳細資訊,請參閱「自動分配」和「自動鎖定目標」活動的 A4T 支援。
無.只會自動重新分配新的訪客。再度訪問的訪客會繼續看見其原始體驗,以保護A/B測試的有效性。
如果您等待到獲勝者徽章出現,演算法可保證 95% 可信度或 5% 誤判率。
當活動中的所有體驗皆至少有 1,000 位訪客和 50 次轉換之後,演算法就開始運作。
80%的流量是透過以下方式提供: 自動分配 和20%的流量是隨機提供的。 識別出獲勝者時,80%的流量會流向該獲勝者,而所有體驗仍會隨著20%的流量繼續獲得一些流量,包括獲勝者體驗。
是.多臂吃角子老虎機會確保至少保留 20% 的流量,以供探索所有體驗不斷變化的模式或轉換率。
只要所有要最佳化的體驗皆面臨類似的延遲,行為就同於轉換週期較快的活動。 不過,在流量分配程式開始之前,需要更長的時間才能達到50次轉換臨界值。
自動個人化根據每個訪客的設定檔屬性來決定最佳體驗。這樣做不僅會最佳化,還會將該使用者的活動個人化。
自動分配另一方面,是A/B測試,可產生彙總成功者(最熱門的體驗,但不一定是每個訪客最有效的體驗)。
目前,邏輯偏好快速轉換或瀏覽較頻繁的訪客,因為這類訪客會暫時誇大其所屬體驗的整體轉換率。 演算法會經常自行調整,因此,轉換率提高每次皆會放大。如果網站獲得大量回訪訪客,其轉換可能會導致其所屬體驗的整體轉換率膨脹。 再度訪問的訪客極可能是隨機分布,在此情況下,集體效應 (提升度增加) 會互相抵銷。為了減輕這種效應,請考慮將成功量度的計數方法變更為每一個加入者只算一次。
您可以使用現有的 Adobe Target 樣本大小電腦 以取得測試執行時間的預估值。 (和傳統A/B測試一樣,如果您測試兩個以上的選件或多個轉換量度/假設,請套用Bonferroni校正。) 此計算器專為傳統的固定地平線A/B測試所設計,僅提供預估值。 將計算器用於 自動分配 活動為選用,因為 自動分配 為您宣告獲勝者。 您不需要挑選固定的時間點來檢視測試結果。 提供的值在統計上一律有效。
內部 Adobe 實驗發現以下內容:
沒有必要移除表現缺佳的體驗。 自動分配 會自動增加提供高成效體驗的頻率,並減少提供表現不佳的體驗的頻率。 在活動中保留表現缺佳的體驗不會大幅影響決定獲勝者的速度。
20% 的訪客是隨機分配到所有體驗。系統會將提供給表現缺佳的體驗的流量減至最少(20%除以體驗數量)。
Adobe 不建議您在活動中途變更目標量度。 雖然在活動期間有可能使用 Target UI 變更目標量度,您應該總是開始一個新的活動。Adobe 無法保證您在活動執行後變更目標量度會發生什麼情況。
此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)
Adobe 不建議您在活動中途變更報表來源。 雖然可以變更報表來源(從 Target 到A4T或以相反的方式) Target UI,您應該總是開始一個新的活動。 Adobe 無法保證您在活動執行後變更報表來源時,會發生什麼情況。
此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)
使用 重設報表資料 選項 自動分配 不建議使用活動。 雖然此選項會移除可見的報表資料,它不會移除報表中的所有訓練記錄, 自動分配 模型。 不要使用 重設報表資料 選項 自動分配 活動、建立新活動和停用原始活動。 (本指引亦適用於 自動鎖定目標 和 Automated Personalization 活動。)
自動分配 僅根據預設環境中記錄的流量和轉換行為來建置模型。 根據預設, 生產 是預設環境,但預設環境可在以下位置變更: Target (管理>環境)。
如果點選發生在其他(非預設)環境中,流量會根據在預設環境中觀察到的轉換行為分配。 該點選的結果(轉換或非轉換)會記錄下來以用於報表用途,但不會考慮在 自動分配 模型。
選取其他環境時,報表會顯示該環境的流量和轉換。 報表的預設選定環境為已選取的帳戶範圍預設值。 預設環境無法根據每個活動進行設定。
例如,活動是否可考慮12月份來決定如何分配流量,而非檢視9月的訪客資料(測試開始的時間)?
否, 自動分配 考量整個活動的效能。
自動分配 基於與以下相同的原因,使用粘性決策: A/B測試 活動有粘性。 流量分配僅適用於新訪客。
以下影片含有本文章探討之概念的詳細資訊。
此視訊包含有關如何設定流量分配的資訊。
此視訊示範如何使用 Target 三步驟引導式工作流程來建立 A//B 測試。自動分配 4:45處開始討論。