自動分配概覽

Adobe Target中的自動分配活動會從兩個或多個體驗中識別獲勝者,並自動重新分配更多流量給獲勝者以增加轉換,同時測試會繼續執行和學習。

使用三步驟引導式工作流程建立A/B活動時,您可以選擇自動分配至最佳體驗選項。

挑戰

標準 A/B 測試有其固有成本。您必須耗費流量來測量每個體驗的效能,並透過分析來定奪勝出體驗。即使在您認定某些體驗勝過其他體驗之後,流量分布仍然固定。另外,很難決定樣本大小,必須等到活動執行完整個過程,您才能對獲勝者採取動作。而且,確定的獲勝者仍有可能不是真正的獲勝者。

解決方案:自動分配

自動分配可降低這項成本及定奪勝出體驗時的額外負荷。自動分配會監控所有體驗的目標量度效能,並依比例將更多新加入者安排到表現優異的體驗。有足夠的流量保留來探索其他體驗。即使活動仍在執行,您也可以看到測試帶給結果的好處: 最佳化與學習同步進行。

自動分配會逐漸將訪客移往勝出體驗,您不必等到活動結束才決定獲勝者。您會更快從提升中受益,因為原本安排到較差體驗的活動加入者會看到潛在的勝出體驗。

Target中的一般A/B測試只顯示挑戰者與控制項的成對比較。 例如,如果活動有體驗:A、B、C和D,其中A為控制,一般的Target A/B測試會比較A與B、A與C,以及A與D。

在這類測試中,大部分產品(包括Target)使用Student的t檢定來產生基於p值的信賴度。 接著,此信賴值用來判斷挑戰體驗與控制體驗是否明顯不同。不過,Target不會自動執行尋找「最佳」體驗所需的隱含比較(B與C、B與D、C與D)。 因此,市場行銷人員必須手動分析結果,才能決定「最佳」體驗。

自動分配會對所有體驗執行全部的隱含比較,以產生「真正」贏家。測試中沒有「控制」體驗的概念。

自動分配 會聰明地分配新訪客給體驗,直到最佳體驗的信賴區間與任何其他體驗的信賴區間不重疊為止。這個過程通常會產生誤判,但自動分配會根據補償重複評估的Bernstein不等式使用信賴區間。 現在,真有贏家。 當自動分配停止時,假設對到達頁面的訪客沒有實質的時間相依性,則至少有95%的機會讓自動分配傳回的體驗的真正回應不比成功體驗的真正回應低1%(相對)。

何時使用自動分配與A/B或Automated Personalization

  • 當您想要從一開始便最佳化活動,並盡快識別勝出體驗時,請使用​自動分配。更常提供表現優異的體驗可增進整體活動效能。
  • 當您想要在最化佳網站之前查明所有活動的效能時,請使用標準​A/B 測試。A/B測試可協助您對所有體驗進行排名,而自動分配可找出表現最佳者,但無法保證表現較差者之間的差異性。
  • 當您想要將最複雜的演算法最佳化時,請使用Automated Personalization,例如根據個別設定檔屬性建立預測的機器學習模型。 自動分 配會查看體驗的匯總行為(就像標準A/B測試),不會區分訪客。

主要優點

  • 保留 A/B 測試的的嚴謹度
  • 比手動 A/B 測試更快找出統計意義上的顯著成功者
  • 比手動 A/B 測試提供更高的平均促銷活動提升度

術語

討論自動分配時,下列詞語相當實用:

多臂吃角子老虎機:​最佳化的多臂吃角子老虎機方法可平衡探索學習和該學習的利用。

演算法的運作方式

自動分配背後的整體邏輯包含累積資料的測量效能(如轉換率)和信賴區間。 不同於標準A/B測試中流量平均分割給不同體驗,自動分配會變更不同體驗的流量分配。

  • 80% 的訪客是透過下述的智慧型邏輯來分配。
  • 20% 的訪客是隨機分配到所有體驗,以適應於不斷改變的訪客行為。

在利用表現良好的體驗時,多臂吃角子老虎機法會保留一些體驗以供探索。除了將更多的新訪客安排到表現較佳的體驗,仍然能夠隨情況變化而做出反應。這些模型至少每一小時更新一次,以確保模型是對最新資料做出反應。

隨著越多訪客進入活動,有些體驗會開始變得更成功,而更多流量會分配給成功體驗。20% 的流量會持續地隨機供應,以探索所有體驗。如果其中一個表現較差的體驗開始有較好的表現,則會分配更多流量給該體驗。或者,如果表現較佳的活動變得較不成功,則分配給該體驗的流量會變少。例如,若某事件促使訪客在您的媒體網站上尋找不同資訊,或您的零售網站上的週末銷售提供不同的結果。

下圖指出演算法在測試四個體驗時如何運作:

圖中顯示分配給每個體驗的流量如何經歷活動期限的幾個回合而增加,直到確定完勝贏家為止。

四捨五入 說明
熱身回合 熱身回合 (0): 在熱身回合期間,每個體驗會獲得相等的流量分配,直到活動中的每個體驗至少有 1,000 位訪客和 50 次轉換為止。
  • 體驗 A=25%
  • 體驗 B=25%
  • 體驗 C=25%
  • 體驗 D=25%
當每個體驗達到 1,000 位訪客和 50 次轉換之後,Target 會開始自動分配流量。所有分配皆透過回合輪翻進行,每個回合會挑出兩個體驗。
只有兩個體驗會前進到下一個回合:D和C.進
一步表示80%的流量會平均分配給兩個體驗。其他兩個體驗會繼續參與,但只會在新訪客進入活動時,以20%隨機流量分配的一部分呈現。
所有分配每小時更新一次 (如沿著上面 x 軸的回合所示)。每個回合之後會比較累積資料。
第 1 回合 第 1 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量隨機分配給 A、B、C、D (各 5%)。在此回合中,體驗 A 表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 A 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 A 會前進。
第 2 回合 第 2 回合: 在這個回合中,80%的流量會分配給體驗 A 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 B 表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 B 來前進,因為相較剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 B 會前進。
第 3 回合 第 3 回合: 在這個回合中,80%的流量會分配給體驗 B 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 D 持續表現良好,體驗 C 也表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 C 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 C 會前進。
第 4 回合 第 4 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 C 表現良好。
  • 演算法挑選體驗 C 來前進到下一個回合,因為其轉換率最高 (如每個活動的直垂標度上的 所示)。
  • 演算法還會挑選體驗 D 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 C 和 D 會前進。
第 n 回合 回合 n:隨著活動進行,表現優異的體驗會開始浮現,過程會持續到出現勝出體驗為止。當轉換率最高的體驗和任何其他體驗的信賴區間不重疊時,即會標示為獲勝者。 徽章會顯示在成功活動的頁面和活動清單中。
  • 演算法會挑選體驗 C 成為確定贏家
此時,演算法會將 80% 的流量供應給體驗 C,而 20% 的流量持續地隨機供應給所有體驗 (A、B、C、D)。C 總共獲得 85% 的流量。在很罕見的情況下,萬一獲勝者的信賴區間又開始重疊,演算法會回復到上面回合 4 的行為。
重要: 如果您在過程中太早手動選擇獲勝者,很容易會選出錯誤的體驗。因此,最好等待演算法決定勝出體驗。
注意

如果活動只有兩個體驗,則兩個體驗會獲得相等的流量,直到Target找到具有75%信賴的成功體驗為止。 到時,三分之二的流量會分配給獲勝者,三分之一分配給失敗者。 之後,當體驗達到95%信賴度時,90%的流量會分配給獲勝者,10%會分配給失敗者。 Target 一律會維護一些會傳送至「遺失」體驗的流量,以避免最後出現誤判(亦即維持一些探索)。

啟動自動分配活動後,不允許從UI執行下列操作:

  • 將「流量配置」模式切換為「手動」
  • 變更目標量度類型
  • 變更「進階設定」面板中的選項

查看自動分配的運作方式

如需詳細資訊,請參閱自動分配可提供比手動測試更快的測試結果和更高的收入

注意事項

自動 分配功 能只適用於一個進階量度設定: 增加計數並讓使用者留在活動中

不支援下列進階量度設定:增加計數、釋放用戶、允許重新進入和增加計數和釋放用戶和禁止重新進入。

經常再度訪問的訪客會抬高體驗轉換率。

如果一位見到體驗 A 的訪客經常再度訪問且多次轉換,則體驗 A 的轉換率 (CR) 會不自然地提高。將此結果與體驗B進行比較,體驗B的訪客會轉換,但不常回訪。 因此,體驗A的CR看起來比體驗B的CR好,因此新訪客分配給A的可能性比分配給B的可能性大。如果您選擇對每個加入者計數一次,則A的CR和B的CR可能相同。

如果再度訪問的訪客隨機分佈,則對轉換率的影響很可能互相抵銷。為了減輕這種效應,請考慮將目標量度的計數方法變更為每一個加入者只算一次。

區別較佳表現者,而非較差表現者。

自動分配擅長區別表現優異的體驗 (並找出獲勝者)。有時,表現不佳的體驗之間沒有足夠的差異性。

如果您想在所有體驗之間產生統計顯著的差異,建議您使用手動流量分配模式。

時間相關 (或隨情境變化) 的轉換率可能扭曲分配量。

在標準A/B測試期間,由於對所有體驗的影響相等,因此可以忽略的某些因素,在自動分配測試中不可忽略。 演算法易受觀察的轉換率所影響。可能以不同程度影響體驗效能的因素範例如下:

  • 具有不同情境(時間、位置、性別等)相關性的體驗。

    例如:

    • 「歡樂星期五」導致星期五的轉換偏高
    • 「起跑星期一」在星期一有較高的轉換
    • 「為東海岸冬天做好準備」在東海岸或受冬季影響的地區提供了更高的轉換率

使用具有變化上下文相關性的體驗,可能會比A/B測試中更扭曲自動分配測試中的結果,因為A/B測試會在較長的期間內分析結果。

  • 體驗的延遲轉換時間不同,可能是由於消息的迫切性。

    例如,「七折促銷只到今天」暗示訪客今天應該成交,但「首購五折」就不會讓人感到相同的急迫性。

常見問題

處理自動分配活動時,請參閱下列常見問題集和解答:

Analytics for Target (A4T)支援自動分配活動嗎?

是.如需詳細資訊,請參閱「自動分配」和「自動鎖定目標」活動的 A4T 支援

再度訪問的訪客會自動重新分配到表現優異的體驗嗎?

無.只會自動重新分配新的訪客。再度訪問的訪客會繼續看見其原始體驗,以保護A/B測試的有效性。

演算法如何處理誤判?

如果您等待到獲勝者徽章出現,演算法可保證 95% 可信度或 5% 誤判率。

自動分配何時開始分配流量?

當活動中的所有體驗皆至少有 1,000 位訪客和 50 次轉換之後,演算法就開始運作。

演算法的利用積極性如何?

使用自動分配提供80%的流量,並隨機提供20%的流量。 識別出獲勝者之後,80% 的流量就全部流向它,而所有體驗皆繼續從 20% 之中獲得部分流量,包括勝出體驗。

到底會不會顯示失敗體驗?

是.多臂吃角子老虎機會確保至少保留 20% 的流量,以供探索所有體驗不斷變化的模式或轉換率。

轉換延遲很久的活動會如何?

只要所有正在最佳化的體驗都面臨類似的延遲,其行為就等同於轉換週期更快的活動。 不過,流量分配程式開始前,達到50轉換臨界值所需的時間會更長。

自動分配與Automated Personalization有何不同?

自動個人化根據每個訪客的設定檔屬性來決定最佳體驗。這樣做不僅會最佳化,還會將該使用者的活動個人化。

另一方面,自動分配是A/B測試,會產生總獲勝者(最熱門的體驗,但不一定是每位訪客最有效的體驗)。

再度訪問的訪客會在我的成功量度上增加轉換率嗎?

目前,邏輯偏好快速轉換或經常瀏覽的訪客,因為這類訪客會暫時抬高其所屬體驗的整體轉換率。 演算法會經常自行調整,因此,轉換率提高每次皆會放大。如果網站有大量回訪訪客,他們的轉換可能會誇大其所屬體驗的整體轉換率。 再度訪問的訪客極可能是隨機分布,在此情況下,集體效應 (提升度增加) 會互相抵銷。為了減輕這種效應,請考慮將成功量度的計數方法變更為每一個加入者只算一次。

使用自動分配時,我可以利用樣本大小電腦來預估活動識別獲勝者所需的時間嗎?

您可以使用現有的樣本大小電腦來取得測試執行時間長短的預估值。 (如同傳統A/B測試一樣,如果您要測試兩個以上選件或多個轉換量度/假設,請套用Bonferroni校正。) 此計算器專為傳統固定水準A/B測試而設計,僅提供估計值。 使用自動分配活動的計算器是選用的,因為自動分配會為您宣告獲勝者。 您不需要選取固定的時間點來查看測試結果。 提供的值一律有統計效果。 在我們的實驗中,我們發現了下列內容:

  • 在僅測試兩個體驗時,當體驗之間的效能差異很大時,自動分配會比固定視界測試(即樣本大小計算器建議的時間範圍)更快找到獲勝者。 不過,當體驗之間的效能差異較小時,自動分配可能需要額外的時間來識別獲勝者。 在這些情況下,固定水準測試通常不會產生統計顯著結果。
  • 在測試超過兩個體驗時,當單一體驗執行力強超出所有其他體驗時,自動分配會比固定視界測試(即樣本大小計算器建議的時間範圍)更快找到獲勝者。 當兩個或多個體驗均與其他體驗「成功」,但彼此非常相符時,自動分配可能需要額外的時間來判斷哪個體驗較優秀。 在這些情況下,固定水準測試通常會以下結論結束: 「成功」體驗優於表現較差的體驗,但並未確定哪個體驗優於前者。

是否應從自動分配活動中移除表現欠佳的體驗,以加速決定獲勝者的程式?

沒有理由移除表現欠佳的體驗。 自動分配 會自動更頻繁地提供表現優異的體驗,並較少地提供表現欠佳的體驗。在活動中保留執行不佳的體驗不會大幅影響決定獲勝者的速度。

20% 的訪客是隨機分配到所有體驗。提供給表現欠佳體驗的流量最小(20%除以體驗數量)。

我可以在自動分配活動中途變更目標量度嗎?

Adobe 不建議您在活動中途變更目標量度。雖然在活動期間有可能使用 Target UI 變更目標量度,您應該總是開始一個新的活動。Adobe 無法保證如果您在活動執行後變更活動中的目標量度,會發生什麼事。

此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)

我可以在自動分配活動中途變更報表來源嗎?

Adobe 不建議您在活動中途變更報表來源。雖然在使用Target UI的活動期間可以將報表來源(從Target變更為A4T,反之亦然),但您應一律啟動新活動。 Adobe 無法保證如果您在活動執行後變更活動中的報表來源,會發生什麼情況。

此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)

執行自動分配活動時,我可以使用重設報表資料選項嗎?

不建議對自動分配活動使用重設報表資料選項。 雖然會移除可見的報表資料,但此選項不會從自動分配模型中移除所有訓練記錄。 針對自動分配活動,請建立新活動並取消啟動原始活動,而非使用重設報表資料選項。 (本指南也適用於自動鎖定目標和Automated Personalization活動。)

自動分配如何建立與環境有關的模型?

自動分 配僅根據預設環境中記錄的流量和轉換行為來建立模型。預設情況下,Production是預設環境,但可在Target Administration > Environments中更改預設環境。

如果點擊發生在其他(非預設)環境,則流量會根據預設環境中觀察到的轉換行為進行分配。 該點擊(轉換或非轉換)的結果會記錄以用於報表用途,但不會在自動分配模型中考慮。

選取其他環境時,報表會顯示該環境的流量和轉換。 報表的預設選取環境是選取的帳戶範圍預設值。 預設環境無法根據每個活動設定。

訓練影片

以下影片含有本文章探討之概念的詳細資訊。

活動工作流程 - 鎖定目標 (2:14) Tutorial badge

此視訊包含有關如何設定流量分配的資訊。

  • 指派對象至您的活動
  • 向上或向下調節流量
  • 選取您的流量分配方法
  • 在不同體驗之間分配流量

建立A/B測試(8:36) 教學課程徽章

此視訊示範如何使用 Target 三步驟引導式工作流程來建立 A//B 測試。4:45 開始討論自動分配。

  • 在Adobe Target中建立A/B活動
  • 使用手動分割或自動流量分配來分配流量

本頁內容