自動分配總覽

安 自動分配 活動 Adobe Target 識別兩個或多個體驗中的獲勝者,並自動重新分配更多流量給獲勝者以增加轉換,同時測試繼續執行和學習。

使用三步驟引導式工作流程建立A/B活動時,您可以選取 自動分配至最佳體驗 選項。

挑戰

標準 A/B 測試有其固有成本。您必須耗費流量來測量每個體驗的效能,並透過分析來定奪勝出體驗。即使在您認定某些體驗勝過其他體驗之後,流量分布仍然固定。另外,很難決定樣本大小,必須等到活動執行完整個過程,您才能對獲勝者採取動作。而且,確定的獲勝者仍有可能不是真正的獲勝者。

解決方案: 自動分配

自動分配可降低這項成本及定奪勝出體驗時的額外負荷。自動分配會監控所有體驗的目標量度效能,並依比例將更多新加入者安排到表現優異的體驗。有足夠的流量保留來探索其他體驗。即使活動仍在執行,您也可以看到測試帶給結果的好處: 最佳化與學習同步進行。

自動分配會逐漸將訪客移往勝出體驗,您不必等到活動結束才決定獲勝者。您會更快從提升中受益,因為原本安排到較差體驗的活動加入者會看到潛在的勝出體驗。

中的一般A/B測試 Target 只顯示挑戰者與控制的成對比較。 例如,如果活動有體驗:A、B、C和D,其中A是控制,正常 Target A/B測試會比較A與B、A與C、A與D。

在這類測試中,大部分產品,包括 Target,請使用 韋爾奇的T型以產生p值型信賴度。 接著,此信賴值用來判斷挑戰體驗與控制體驗是否明顯不同。不過, Target 不會自動執行尋找「最佳」體驗所需的隱含比較(B與C、B與D、C與D)。 因此,市場行銷人員必須手動分析結果,才能決定「最佳」體驗。

自動分配會對所有體驗執行全部的隱含比較,以產生「真正」贏家。測試中沒有「控制」體驗的概念。

自動分配 智慧地分配體驗的新訪客,直到最佳體驗的信賴區間與任何其他體驗的信賴區間不重疊為止。 通常,此程式會產生誤判,但 自動分配 根據 Bernstein不等式 補償重複評估。 現在,真有贏家。 當 自動分配 停止,前提是到達頁面的訪客沒有實質的時間依賴性,則至少有95%的機會 自動分配 傳回的體驗,其真實回應不會低於成功體驗之真正回應的1%(相對)。

使用時機 自動分配 與A/B或 Automated Personalization

  • 當您想要從一開始便最佳化活動,並盡快識別勝出體驗時,請使用​自動分配。更常提供表現優異的體驗可增進整體活動效能。
  • 當您想要在最化佳網站之前查明所有活動的效能時,請使用標準​A/B 測試。A/B測試可協助您對所有體驗進行排名,但 自動分配 找出表現最佳者,但無法保證表現較差者之間的差異性。
  • 使用 Automated Personalization 當您想要最複雜的最佳化演算法時,例如根據個別設定檔屬性建立預測的機器學習模型。 自動分配 會查看體驗的匯總行為(就像標準A/B測試),且不會區分訪客。

主要優點

  • 保留 A/B 測試的的嚴謹度
  • 比手動 A/B 測試更快找出統計意義上的顯著成功者
  • 比手動 A/B 測試提供更高的平均促銷活動提升度

術語

在討論 自動分配:

多臂吃角子老虎機:​最佳化的多臂吃角子老虎機方法可平衡探索學習和該學習的利用。

演算法的運作方式

背後的整體邏輯 自動分配 納入累積資料的測量效能(例如轉換率)和信賴區間。 不同於在標準A/B測試中,流量會平均分割給不同體驗, 自動分配 變更各體驗的流量分配。

  • 80% 的訪客是透過下述的智慧型邏輯來分配。
  • 20% 的訪客是隨機分配到所有體驗,以適應於不斷改變的訪客行為。

在利用表現良好的體驗時,多臂吃角子老虎機法會保留一些體驗以供探索。除了將更多的新訪客安排到表現較佳的體驗,仍然能夠隨情況變化而做出反應。這些模型至少每一小時更新一次,以確保模型是對最新資料做出反應。

隨著越多訪客進入活動,有些體驗會開始變得更成功,而更多流量會分配給成功體驗。20% 的流量會持續地隨機供應,以探索所有體驗。如果其中一個表現較差的體驗開始有較好的表現,則會分配更多流量給該體驗。或者,如果表現較佳的活動變得較不成功,則分配給該體驗的流量會變少。例如,若某事件促使訪客在您的媒體網站上尋找不同資訊,或您的零售網站上的週末銷售提供不同的結果。

下圖指出演算法在測試四個體驗時如何運作:

自動分配影像

圖中顯示分配給每個體驗的流量如何經歷活動期限的幾個回合而增加,直到確定完勝贏家為止。

四捨五入 說明
熱身回合 熱身回合 (0): 在熱身回合期間,每個體驗會獲得相等的流量分配,直到活動中的每個體驗至少有 1,000 位訪客和 50 次轉換為止。
  • 體驗 A=25%
  • 體驗 B=25%
  • 體驗 C=25%
  • 體驗 D=25%
當每個體驗達到 1,000 位訪客和 50 次轉換之後,Target 會開始自動分配流量。所有分配皆透過回合輪翻進行,每個回合會挑出兩個體驗。
只有兩個體驗會前進到下一個回合:D和C。
未來表示80%的流量會平均分配給兩個體驗。其他兩個體驗會繼續參與,但只會在新訪客進入活動時,以20%隨機流量分配的一部分呈現。
所有分配每小時更新一次 (如沿著上面 x 軸的回合所示)。每個回合之後會比較累積資料。
第 1 回合 第 1 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量隨機分配給 A、B、C、D (各 5%)。在此回合中,體驗 A 表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 A 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 A 會前進。
第 2 回合 第 2 回合: 在這個回合中,80%的流量會分配給體驗 A 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 B 表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 B 來前進,因為相較剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 B 會前進。
第 3 回合 第 3 回合: 在這個回合中,80%的流量會分配給體驗 B 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 D 持續表現良好,體驗 C 也表現良好。
  • 演算法會挑選體驗 D 來進行下一個循環,因為它有最高的轉換率 (如每個活動垂直刻度上的 所示)。
  • 演算法還會挑選體驗 C 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 D 和 C 會前進。
第 4 回合 第 4 回合: 在此回合中,80% 的流量分配給體驗 C 和 D (各 40%)。20% 的流量會隨機分配,因此,這表示 A、B、C 和 D 每個都會獲得 5% 的流量。在此回合中,體驗 C 表現良好。
  • 演算法挑選體驗 C 來前進到下一個回合,因為其轉換率最高 (如每個活動的直垂標度上的 所示)。
  • 演算法還會挑選體驗 D 來前進,因為相較於剩餘的體驗,它的 Bernstein 95% 信賴區間上界最高。
體驗 C 和 D 會前進。
第 n 回合 回合 n:隨著活動進行,表現優異的體驗會開始浮現,過程會持續到出現勝出體驗為止。當轉換率最高的體驗和任何其他體驗的信賴區間不重疊時,即會標示為獲勝者。 A 徽章會顯示在成功活動的頁面上 和 活動 清單。
  • 演算法會挑選體驗 C 成為確定贏家
此時,演算法會將 80% 的流量供應給體驗 C,而 20% 的流量持續地隨機供應給所有體驗 (A、B、C、D)。C 總共獲得 85% 的流量。在很罕見的情況下,萬一獲勝者的信賴區間又開始重疊,演算法會回復到上面回合 4 的行為。
重要: 如果您在過程中太早手動選擇獲勝者,很容易會選出錯誤的體驗。因此,最好等待演算法決定勝出體驗。
注意

如果活動只有兩個體驗,則兩個體驗會獲得相等的流量,直到 Target 找出具有75%可信度的成功體驗。 到時,三分之二的流量會分配給獲勝者,三分之一分配給失敗者。 之後,當體驗達到95%信賴度時,90%的流量會分配給獲勝者,10%會分配給失敗者。 Target 一律會維護一些會傳送至「遺失」體驗的流量,以避免最後出現誤判(亦即維持一些探索)。

在 自動分配 活動時,不允許從UI執行下列操作:

  • 將「流量配置」模式切換為「手動」
  • 變更目標量度類型
  • 變更「進階設定」面板中的選項

查看自動分配的運作方式

如需詳細資訊,請參閱 自動分配可讓您比手動測試更快地獲得測試結果和更高的收入

注意事項

此 自動分配 功能只能搭配一個進階量度設定運作: 增加計數並讓使用者留在活動中

不支援下列進階量度設定: 增加計數, 發行使用者, 允許重新進入和增加計數,和 釋放用戶並禁止重新進入.

經常回訪的訪客會抬高體驗轉換率。

如果一位見到體驗 A 的訪客經常再度訪問且多次轉換,則體驗 A 的轉換率 (CR) 會不自然地提高。將此結果與體驗B進行比較,體驗B的訪客會轉換,但不常回訪。 因此,體驗A的CR看起來比體驗B的CR好,因此新訪客分配給A的可能性比分配給B的可能性大。如果您選擇對每個加入者計數一次,則A的CR和B的CR可能相同。

如果再度訪問的訪客隨機分佈,則對轉換率的影響很可能互相抵銷。為了減輕這種效應,請考慮將目標量度的計數方法變更為每一個加入者只算一次。

區別較佳表現者,而非較差表現者。

自動分配擅長區別表現優異的體驗 (並找出獲勝者)。有時,表現不佳的體驗之間沒有足夠的差異性。

如果您想在所有體驗之間產生統計顯著的差異,建議您使用手動流量分配模式。

時間相關 (或隨情境變化) 的轉換率可能扭曲分配量。

標準A/B測試期間可以忽略的某些因素,因為這些因素對所有體驗的影響相同,在 自動分配 測試。 演算法易受觀察的轉換率所影響。可能以不同程度影響體驗效能的因素範例如下:

  • 具有不同情境(時間、位置、性別等)相關性的體驗。

    例如:

    • 「歡樂星期五」導致星期五的轉換偏高
    • 「起跑星期一」在星期一有較高的轉換
    • 「為東海岸冬天做好準備」在東海岸或受冬季影響的地區提供了更高的轉換率

使用具有不同上下文相關性的體驗可能會扭曲 自動分配 測試比A/B測試更多,因為A/B測試會在較長的期間內分析結果。

  • 體驗的延遲轉換時間不同,可能是由於消息的迫切性。

    例如,「七折促銷只到今天」暗示訪客今天應該成交,但「首購五折」就不會讓人感到相同的急迫性。

常見問題

使用時,請參閱下列常見問題集和解答 自動分配 活動:

是 Analytics for Target (A4T)支援 自動分配 活動?

是.如需詳細資訊,請參閱「自動分配」和「自動鎖定目標」活動的 A4T 支援

再度訪問的訪客會自動重新分配到表現優異的體驗嗎?

無.只會自動重新分配新的訪客。再度訪問的訪客會繼續看見其原始體驗,以保護A/B測試的有效性。

演算法如何處理誤判?

如果您等待到獲勝者徽章出現,演算法可保證 95% 可信度或 5% 誤判率。

何時 自動分配 開始分配流量?

當活動中的所有體驗皆至少有 1,000 位訪客和 50 次轉換之後,演算法就開始運作。

演算法的利用積極性如何?

80%的流量使用 自動分配 20%的流量是隨機提供的。 識別出獲勝者之後,80% 的流量就全部流向它,而所有體驗皆繼續從 20% 之中獲得部分流量,包括勝出體驗。

到底會不會顯示失敗體驗?

是.多臂吃角子老虎機會確保至少保留 20% 的流量,以供探索所有體驗不斷變化的模式或轉換率。

轉換延遲很久的活動會如何?

只要所有正在最佳化的體驗都面臨類似的延遲,其行為就等同於轉換週期更快的活動。 不過,流量分配程式開始前,達到50轉換臨界值所需的時間會更長。

如何 自動分配 不同 Automated Personalization?

自動個人化根據每個訪客的設定檔屬性來決定最佳體驗。這樣做不僅會最佳化,還會將該使用者的活動個人化。

自動分配另一方面,是A/B測試,會產生總獲勝者(最受歡迎的體驗,但不一定是每位訪客最有效的體驗)。

再度訪問的訪客會在我的成功量度上增加轉換率嗎?

目前,邏輯偏好快速轉換或經常瀏覽的訪客,因為這類訪客會暫時抬高其所屬體驗的整體轉換率。 演算法會經常自行調整,因此,轉換率提高每次皆會放大。如果網站有大量回訪訪客,他們的轉換可能會誇大其所屬體驗的整體轉換率。 再度訪問的訪客極可能是隨機分布,在此情況下,集體效應 (提升度增加) 會互相抵銷。為了減輕這種效應,請考慮將成功量度的計數方法變更為每一個加入者只算一次。

使用時,我是否可使用樣本大小電腦 自動分配 來預估活動識別出獲勝者所需的時間?

您可以使用現有 Adobe Target 樣本大小電腦 以估計測試執行的時間。 (如同傳統A/B測試一樣,如果您要測試兩個以上選件或多個轉換量度/假設,請套用Bonferroni校正。) 此計算器專為傳統固定水準A/B測試而設計,僅提供估計值。 使用計算器 自動分配 活動是選用項目,因為 自動分配 宣佈獲勝者。 您不需要選取固定的時間點來查看測試結果。 提供的值一律有統計效果。

在我們的實驗中,我們發現了下列內容:

  • 只測試兩個體驗時, 自動分配 當體驗之間的效能差異很大時,比固定視界測試(即樣本大小計算器建議的時間範圍)更快找到獲勝者。 不過, 自動分配 當體驗之間的效能差異較小時,可能需要額外的時間來識別獲勝者。 在這些情況下,固定水準測試通常不會產生統計顯著結果。
  • 測試兩個以上的體驗時, 自動分配 當單一體驗執行力強弱超出所有其他體驗時,比固定水準測試(即樣本大小計算器建議的時間範圍)更快找到獲勝者。 當兩個或多個體驗都對其他體驗「獲勝」,但彼此緊密相符時, 自動分配 可能需要額外時間來判斷哪個更優秀。 在這些情況下,固定水準測試通常會以下結論結束: 「成功」體驗優於表現較差的體驗,但並未確定哪個體驗優於前者。

是否應從 自動分配 加速決定獲勝者的程式的活動?

沒有理由移除表現欠佳的體驗。 自動分配 自動更頻繁地提供高績效體驗,並較少地提供表現欠佳的體驗。 在活動中保留執行不佳的體驗不會大幅影響決定獲勝者的速度。

20% 的訪客是隨機分配到所有體驗。提供給表現欠佳體驗的流量最小(20%除以體驗數量)。

我可以在期間變更目標量度 自動分配 活動?

Adobe 不建議您在活動中途變更目標量度。 雖然在活動期間有可能使用 Target UI 變更目標量度,您應該總是開始一個新的活動。Adobe 無法保證如果您在活動執行後變更活動中的目標量度,會發生什麼事。

此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)

我可以在自動分配活動中途變更報表來源嗎?

Adobe 不建議您在活動中途變更報表來源。 雖然可以變更報表來源(從 Target 至A4T(或反之亦然) Target UI,您應一律啟動新活動。 Adobe 無法保證如果您在活動執行後變更活動中的報表來源,會發生什麼情況。

此推薦適用於 自動分配、自動鎖定目標,以及 Automated Personalization 活動 (使用 Target 或 Analytics (A4T) 成作為報告來源。)

我可以使用 重設報表資料 選項 自動分配 活動?

使用 重設報表資料 選項 自動分配 不建議使用活動。 雖然會移除可見的報表資料,但此選項不會移除 自動分配 模型。 而非使用 重設報表資料 選項 自動分配 活動,建立新活動並取消啟動原始活動。 (本指引亦適用於 自動鎖定目標 和 Automated Personalization 活動)。

如何 自動分配 建立環境相關模型?

自動分配 僅根據預設環境中記錄的流量和轉換行為建立模型。 依預設, 生產 為預設環境,但可在 Target 管理>環境.

如果點擊發生在其他(非預設)環境,則流量會根據預設環境中觀察到的轉換行為進行分配。 該點擊的結果(轉換或非轉換)會記錄以用於報表用途,但不會計入 自動分配 模型。

選取其他環境時,報表會顯示該環境的流量和轉換。 報表的預設選取環境是選取的帳戶範圍預設值。 預設環境無法根據每個活動設定。

自動分配 活動能否在測試過程中調整回顧期間以考慮隨時間變化的趨勢?

例如,活動是否可考慮12月份來決定如何分配流量,而非查看9月的訪客資料(測試開始時)?

不, 自動分配 考量整個活動的績效。

如果成功體驗和訪客在取得活動資格時看到的不同,自動分配 是否會向回訪訪客顯示成功體驗?

自動分配 使用黏著決策,原因與 A/B測試 活動是固定的。 流量分配僅適用於新訪客。

培訓影片

以下影片含有本文章探討之概念的詳細資訊。

活動工作流程 - 鎖定目標 (2:14) Tutorial badge

此視訊包含有關如何設定流量分配的資訊。

  • 指派對象至您的活動
  • 向上或向下調節流量
  • 選取您的流量分配方法
  • 在不同體驗之間分配流量

建立A/B測試(8:36) 教學課程徽章

此視訊示範如何使用 Target 三步驟引導式工作流程來建立 A//B 測試。自動分配 4:45開始討論。

  • 在中建立A/B活動 Adobe Target
  • 使用手動分割或自動流量分配來分配流量

本頁內容