自動分配概覽

安 自動分配 活動 Adobe Target 在兩個或多個體驗中確定獲勝者,並自動將更多流量重新分配給獲勝者以增加轉換,同時test繼續運行和學習。

使用三步指導工作流建立A/B活動時,您可以選擇 自動分配以獲得最佳體驗 的雙曲餘切值。

挑戰

標準 A/B 測試有其固有成本。您必須耗費流量來測量每個體驗的效能,並透過分析來定奪勝出體驗。即使在您認定某些體驗勝過其他體驗之後,流量分布仍然固定。另外,很難決定樣本大小,必須等到活動執行完整個過程,您才能對獲勝者採取動作。而且,確定的贏家可能不是真正的贏家。

解決方案: 自動分配

自動分配可降低這項成本及定奪勝出體驗時的額外負荷。自動分配會監控所有體驗的目標量度效能,並依比例將更多新加入者安排到表現優異的體驗。有足夠的流量保留來探索其他體驗。即使活動仍在執行,您也可以看到測試帶給結果的好處: 最佳化與學習同步進行。

自動分配會逐漸將訪客移往勝出體驗,您不必等到活動結束才決定獲勝者。您會更快從提升中受益,因為原本安排到較差體驗的活動加入者會看到潛在的勝出體驗。

正常A/Btest Target 只顯示挑戰者與控制者的成對比較。 例如,如果活動有經驗:A、B、C和D,其中A是控制,正常 Target A/Btest將比較A與B、A與C、A與D。

在此類test中,大多數產品,包括 Target,使用學生的ttest生成基於p值的信心。 接著,此信賴值用來判斷挑戰體驗與控制體驗是否明顯不同。但是, Target 不會自動執行查找「最佳」體驗所需的隱式比較(B與C、B與D、C與D)。 因此,市場行銷人員必須手動分析結果,才能決定「最佳」體驗。

自動分配會對所有體驗執行全部的隱含比較,以產生「真正」贏家。測試中沒有「控制」體驗的概念。

自動分配 智慧地為體驗分配新的訪問者,直到最佳體驗的置信區間與任何其他體驗的置信區間不重疊。 通常,此過程會產生誤報,但 自動分配 使用基於 伯恩斯坦不等式 來補償反複評估。 現在,真正的贏家。 當 自動分配 只要訪問者沒有明顯的時間依賴性,至少有95%的機會 自動分配 返回真實響應不比獲勝體驗的真實響應低1%(相對)的體驗。

何時使用 自動分配 與A/B或 Automated Personalization

  • 當您想要從一開始便最佳化活動,並盡快識別勝出體驗時,請使用​自動分配。更常提供表現優異的體驗可增進整體活動效能。
  • 當您想要在最化佳網站之前查明所有活動的效能時,請使用標準​A/B 測試。A/Btest可幫助您對所有體驗進行排序,而 自動分配 找到表現最好的人,但並不保證表現較差的人之間的差異。
  • 使用 Automated Personalization 當您希望獲得最高複雜度的優化算法時,例如基於單個配置檔案屬性構建預測的機器學習模型。 自動分配 觀察體驗的集合行為(就像標準A/Btest),並不區分訪客。

主要優勢

  • 保留 A/B 測試的的嚴謹度
  • 比手動 A/B 測試更快找出統計意義上的顯著成功者
  • 比手動 A/B 測試提供更高的平均促銷活動提升度

術語

以下術語在討論 自動分配:

多臂吃角子老虎機:​最佳化的多臂吃角子老虎機方法可平衡探索學習和該學習的利用。

算法的工作原理

背後的總邏輯 自動分配 併入累積資料的測量效能(如轉換率)和置信區間。 不同於標準的A/Btest,即流量在體驗之間平均分割, 自動分配 更改了不同體驗之間的流量分配。

  • 80% 的訪客是透過下述的智慧型邏輯來分配。
  • 20% 的訪客是隨機分配到所有體驗,以適應於不斷改變的訪客行為。

在利用表現良好的體驗時,多臂吃角子老虎機法會保留一些體驗以供探索。除了將更多的新訪客安排到表現較佳的體驗,仍然能夠隨情況變化而做出反應。這些模型至少每一小時更新一次,以確保模型是對最新資料做出反應。

隨著越多訪客進入活動,有些體驗會開始變得更成功,而更多流量會分配給成功體驗。20% 的流量會持續地隨機供應,以探索所有體驗。如果其中一個表現較差的體驗開始有較好的表現,則會分配更多流量給該體驗。或者,如果表現較佳的活動變得較不成功,則分配給該體驗的流量會變少。例如,若某事件促使訪客在您的媒體網站上尋找不同資訊,或您的零售網站上的週末銷售提供不同的結果。

下圖指出演算法在測試四個體驗時如何運作:

圖中顯示分配給每個體驗的流量如何經歷活動期限的幾個回合而增加,直到確定完勝贏家為止。

四捨五入 說明
熱身回合 熱身回合 (0): 在熱身回合期間,每個體驗會獲得相等的流量分配,直到活動中的每個體驗至少有 1,000 位訪客和 50 次轉換為止。
  • 體驗 A=25%
  • 體驗 B=25%
  • 體驗 C=25%
  • 體驗 D=25%
當每個體驗達到 1,000 位訪客和 50 次轉換之後,Target 會開始自動分配流量。所有分配皆透過回合輪翻進行,每個回合會挑出兩個體驗。
下一輪只有兩條經歷:D和C
向前看,這兩種體驗在流量中的分配比例是80%。另外兩種體驗繼續參與,但只是作為20%隨機流量分配的一部分,因為新訪問者進入活動。
所有分配每小時更新一次 (如沿著上面 x 軸的回合所示)。每個回合之後會比較累積資料。
第 1 回合 第 1 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量隨機分配給 A、B、C、D (各 5%)。在此回合中,體驗 A 表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 A 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 A 會前進。
第 2 回合 第 2 回合: 在這個回合中,80%的流量會分配給體驗 A 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 B 表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 B 來前進,因為相較剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 B 會前進。
第 3 回合 第 3 回合: 在這個回合中,80%的流量會分配給體驗 B 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 D 持續表現良好,體驗 C 也表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 C 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 C 會前進。
第 4 回合 第 4 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 C 表現良好。
  • 演算法挑選體驗 C 來前進到下一個回合,因為其轉換率最高 (如每個活動的直垂標度上的 所示)。
  • 演算法還會挑選體驗 D 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 C 和 D 會前進。
第 n 回合 回合 n:隨著活動進行,表現優異的體驗會開始浮現,過程會持續到出現勝出體驗為止。當具有最高轉換率的經驗的置信區間與任何其它經驗的置信區間不重疊時,它被標籤為贏家。 A 獎章顯示在獲勝活動的頁面上 在 活動 清單框。
  • 演算法會挑選體驗 C 成為確定贏家
此時,演算法會將 80% 的流量供應給體驗 C,而 20% 的流量持續地隨機供應給所有體驗 (A、B、C、D)。C 總共獲得 85% 的流量。在很罕見的情況下,萬一獲勝者的信賴區間又開始重疊,演算法會回復到上面回合 4 的行為。
重要: 如果您在過程中太早手動選擇獲勝者,很容易會選出錯誤的體驗。因此,最好等待演算法決定勝出體驗。
注意

如果一個活動只有兩個體驗,則兩個體驗的流量相等,直到 Target 有75%的信心。 到那時,三分之二的流量被分配給了贏家,三分之一的流量被分配給了輸家。 之後,當一次體驗達到95%的置信度時,90%的流量分配給贏家,10%分配給輸家。 Target 始終保持一些流量被發送到「丟失」體驗,以避免最終誤報(即保持一些探索)。

在 自動分配 活動已激活,不允許從UI執行以下操作:

  • 將「流量配置」模式切換為「手動」
  • 變更目標量度類型
  • 變更「進階設定」面板中的選項

請參閱自動分配的工作原理

有關詳細資訊,請參見 與手動test相比,自動分配可以更快地分配結果和更高的收入

注意事項

的 自動分配 功能僅與一個高級度量設定一起使用: 增量計數和保留活動中的用戶

不支援以下高級度量設定: 增量計數。 發佈用戶。 允許再入和增量計數, 釋放用戶和欄以阻止再入。

經常再度訪問的訪客會抬高體驗轉換率。

如果一位見到體驗 A 的訪客經常再度訪問且多次轉換,則體驗 A 的轉換率 (CR) 會不自然地提高。將此結果與體驗B進行比較,在B中,訪問者會轉換,但不會經常回來。 因此,經驗A的CR看起來比經驗B的CR好,因此新的訪問者更有可能被分配給A而不是B。如果選擇每個入口計數一次,則A的CR和B的CR可能相同。

如果再度訪問的訪客隨機分佈,則對轉換率的影響很可能互相抵銷。為了減輕這種效應,請考慮將目標量度的計數方法變更為每一個加入者只算一次。

區別較佳表現者,而非較差表現者。

自動分配擅長區別表現優異的體驗 (並找出獲勝者)。有時,表現不佳的體驗之間沒有足夠的差異性。

如果要在所有體驗之間產生統計顯著差異,則可能需要考慮使用手動流量分配模式。

時間相關 (或隨情境變化) 的轉換率可能扭曲分配量。

在標準A/Btest中,由於它們對所有體驗的影響相同,因此可以忽略的一些因素不能在 自動分配 test。 演算法易受觀察的轉換率所影響。可能以不同程度影響體驗效能的因素範例如下:

  • 具有不同背景(時間、地點、性別等)相關性的體驗。

    例如:

    • 「歡樂星期五」導致星期五的轉換偏高
    • 「起跑星期一」在星期一有較高的轉換
    • "為東海岸冬季做準備"在東海岸或受冬季影響的地區提供更高的轉換

使用具有不同上下文相關性的體驗可以扭曲結果 自動分配 test比在A/Btest中要多,因為A/Btest在較長的時間段內分析結果。

  • 體驗的延遲轉換時間不同,可能是由於消息的迫切性。

    例如,「七折促銷只到今天」暗示訪客今天應該成交,但「首購五折」就不會讓人感到相同的急迫性。

常見問題

使用時請參考以下常見問題和答案 自動分配 活動:

是 目標分析 (A4T)支援 自動分配 活動?

是.如需詳細資訊,請參閱「自動分配」和「自動鎖定目標」活動的 A4T 支援

再度訪問的訪客會自動重新分配到表現優異的體驗嗎?

無.只會自動重新分配新的訪客。回訪者繼續看到他們的原始經驗,以保護A/Btest的有效性。

演算法如何處理誤判?

如果您等待到獲勝者徽章出現,演算法可保證 95% 可信度或 5% 誤判率。

什麼時候 自動分配 開始分配流量?

當活動中的所有體驗皆至少有 1,000 位訪客和 50 次轉換之後,演算法就開始運作。

演算法的利用積極性如何?

80%的流量使用 自動分配 20%的交通是隨機的。 識別出獲勝者之後,80% 的流量就全部流向它,而所有體驗皆繼續從 20% 之中獲得部分流量,包括勝出體驗。

到底會不會顯示失敗體驗?

是.多臂吃角子老虎機會確保至少保留 20% 的流量,以供探索所有體驗不斷變化的模式或轉換率。

轉換延遲很久的活動會如何?

只要所有優化的體驗都面臨類似的延遲,其行為就與轉換週期更快的活動相同。 但是,在流量分配過程開始之前,達到50轉換閾值需要更長的時間。

如何 自動分配 不同 Automated Personalization?

自動個人化根據每個訪客的設定檔屬性來決定最佳體驗。這樣做不僅會最佳化,還會將該使用者的活動個人化。

自動分配另一方面,A/Btest會產生總贏家(最流行的體驗,但未必是每位遊客最有效的體驗)。

再度訪問的訪客會在我的成功量度上增加轉換率嗎?

目前,這種邏輯有利於快速轉換或更頻繁地訪問的訪問者,因為這些訪問者會暫時抬高他們所享受體驗的整體轉換率。 演算法會經常自行調整,因此,轉換率提高每次皆會放大。如果網站有大量回訪者,他們的轉換可能會誇大他們所經歷的整體轉換率。 再度訪問的訪客極可能是隨機分布,在此情況下,集體效應 (提升度增加) 會互相抵銷。為了減輕這種效應,請考慮將成功量度的計數方法變更為每一個加入者只算一次。

在使用 自動分配 估計確定獲勝者所需的活動時間?

您可以使用現有 示例大小計算器 來估計test的運行時間。 (與傳統的A/B測試一樣,如果您測試的是兩個以上的報價或一個以上的轉換度量/假設,則應用Bonferroni校正。) 此計算器專為傳統的固定視距A/B測試而設計,僅提供估計。 使用計算器 自動分配 活動是可選的,因為 自動分配 為你宣告勝利。 您不需要選擇一個固定的時間點來查看test結果。 提供的值始終在統計上有效。 在我們的實驗中,我們發現了以下幾點:

  • 在測試兩個體驗時, 自動分配 在體驗之間的效能差異較大時,比固定水準測試(即樣本大小計算器建議的時間範圍)更快找到獲勝者。 但是, 自動分配 在體驗之間的效能差異很小時,可能需要額外的時間來確定獲勝者。 在這些情況下,固定水準test通常不會產生統計上顯著的結果。
  • 在測試兩個以上的體驗時, 自動分配 在單個體驗表現強於所有其他體驗時,比固定水準測試(即樣本大小計算器建議的時間框架)更快找到獲勝者。 當兩條以上的經驗都是"打得贏",但又是相得益彰, 自動分配 可能需要額外時間來確定哪個更優越。 在這些情況下,固定視線test通常會得出結論:"獲勝"的經歷比表現較差的經歷好,但沒有確定哪個更好。

是否應從 自動分配 是否要加快確定獲勝者的過程?

沒有理由刪除表現不佳的體驗。 自動分配 自動更頻繁地提供高效能體驗,而較少地提供低效能體驗。 在活動中留下表現不佳的體驗不會顯著影響確定獲勝者的速度。

20% 的訪客是隨機分配到所有體驗。為表現不佳的體驗提供的流量最少(20%除以體驗次數)。

是否可以在目標度量中間更改 自動分配 活動?

Adobe 不建議您在活動中途更改目標度量。 雖然在活動期間有可能使用 Target UI 變更目標量度,您應該總是開始一個新的活動。Adobe 無法保證在活動運行後更改目標度量時會發生什麼。

此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)

我可以在自動分配活動中途變更報表來源嗎?

Adobe 不建議您在活動中途更改報告源。 雖然可以更改報告源(從 Target 到A4T或反之亦然) Target UI,應始終啟動新活動。 Adobe 無法保證在活動運行後更改其報告源時會發生什麼。

此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)

我能用 重置報告資料 選項 自動分配 活動?

使用 重置報告資料 選項 自動分配 不建議活動。 儘管它刪除了可見的報告資料,但此選項不會從 自動分配 模型。 而不是使用 重置報告資料 選項 自動分配 活動,建立新活動並取消激活原始活動。 (本指南也適用於 自動目標 和 Automated Personalization 活動。)

如何 自動分配 建立環境模型?

自動分配 僅基於預設環境中記錄的通信量和轉換行為構建模型。 預設情況下, 生產 是預設環境,但可在 Target 管理>環境

如果在另一個(非預設)環境中發生命中,則根據預設環境中觀察到的轉換行為來分配流量。 該點擊率(轉換或未轉換)之結果乃為報告而記錄,惟並無於 自動分配 模型。

選擇另一個環境時,報告將顯示該環境的通信量和轉換。 報告的預設選定環境是選定的帳戶範圍預設環境。 不能按活動設定預設環境。

能 自動分配 活動在test過程中調整回望窗口,以考慮隨時間變化的趨勢?

例如,活動是否可以考慮12月份如何分配流量,而不是考慮9月份的訪問者資料(當test開始時)?

不, 自動分配 考慮整個活動的績效。

是 自動分配 如果成功體驗與訪問者在參加活動時看到的不同,請向返回的訪問者顯示成功體驗?

自動分配 使用粘滯決定,原因與 A/BTest 活動很棘手。 流量分配僅適用於新訪問者。

訓練影片

以下影片含有本文章探討之概念的詳細資訊。

活動工作流程 - 鎖定目標 (2:14) Tutorial badge

此視訊包含有關如何設定流量分配的資訊。

  • 指派對象至您的活動
  • 向上或向下調節流量
  • 選取您的流量分配方法
  • 在不同體驗之間分配流量

建立A/BTest(8:36) 教程徽章

此視訊示範如何使用 Target 三步驟引導式工作流程來建立 A//B 測試。自動分配 4點45分開始討論。

  • 在中建立A/B活動 Adobe Target
  • 使用手動分割或自動流量分配來分配流量

本頁內容