開始使用內容實驗 get-started-experiment
什麼是內容實驗?
內容實驗可讓您最佳化行銷活動中的動作內容。
實驗是在線上測試的情境下進行的一組隨機試驗,意即某些隨機選取的使用者會接觸到訊息的指定變化,而另一組隨機選取的使用者則會接觸到其他處理方式。 傳送訊息後,您就可以測量您感興趣的結果量度,例如電子郵件開啟數或點擊數。
為什麼要進行實驗?
實驗可讓您分離實現量度改善的變更。 如上圖所示:某些隨機選取的使用者會接觸到每個處理方式群組,意即平均而言群組會有相同的特性。 因此,結果中的任何差異都可以解釋為由於所接受處理方式的差異,即,您能夠在所做的變更和您感興趣的結果之間建立因果關係。
這可讓您在最佳化業務目標時,做出以資料為導向的決策。
針對 Adobe Journey Optimizer 中的內容實驗,您可以測試以下想法:
- 主旨列:語調或主旨列個人化程度的變更會有何影響?
- 訊息內容:變更電子郵件的視覺版面是否會造成電子郵件的點擊數增加?
內容實驗如何運作? content-experiment-work
隨機指派
Adobe Journey Optimizer 中的內容實驗使用訪客身分的偽隨機雜湊,對目標受眾中的使用者執行您所定義的其中一種處理方式的隨機指派。雜湊機制可確保在訪客多次進入行銷活動的情況下,他們會決定性地接受相同的處理方式。
詳細而言,MumurHash3 32 位元演算法可用來將使用者身分字串雜湊至 10,000 個貯體中的一個。 在將 50% 的流量指派給每個處理方式的內容實驗中,落在貯體 1-5,000 中的使用者會接受第一個處理方式,而貯體 5,001-10,000 中的使用者會接受第二個處理方式。由於使用偽隨機雜湊,因此您觀察到的訪客分割可能不會完全是 50-50;不過,該區分在統計上將等同於您的目標分割百分比。
請注意,在透過內容實驗設定每個行銷活動時,您必須選擇身分命名空間,從中為隨機演算法選取 userId。 這與執行地址獨立開來。
資料彙集與分析
在指派時,即:當訊息用對外管道傳送,或當使用者在對外管道進入行銷活動時,會將「指派記錄」記錄到適當的系統資料集。 這會記錄指派給使用者的處理方式,以及實驗和行銷活動識別碼。
目標量度可分為兩個主要類別:
- 直接量度,使用者會直接回應處理方式,例如:開啟電子郵件或按一下連結。
- 間接或「漏斗底部」量度,這會在使用者接觸到處理後發生。
對於 Adobe Journey Optimizer 追蹤訊息的直接目標量度,一般使用者的回應事件會自動以行銷活動和處理識別碼加上標籤,使回應量度和處理能直接關聯。 進一步了解追蹤。
對於間接或「漏斗底部」目標 (如購買),最終使用者的反應事件沒有用行銷活動和處理識別碼標記,即,在接觸處理方式之後發生的購買事件,該購買與先前的處理方式指派沒有直接關聯。 對於這些量度,如果發生下列情況,Adobe 會建立與處理和漏斗轉換事件底部的關聯:
- 指派和轉換事件時間的使用者身分相同。
- 轉換會在處理方式指派後的七天內進行。
Adobe Journey Optimizer 接著會使用進階的「隨時有效」統計方法來解譯這些原始報告資料,讓您詮釋您的實驗報表。 如需詳細資訊,請參閱此頁面。
執行實驗的秘訣
執行實驗時,請務必遵循特定最佳實務。 以下是執行這些實驗的秘訣:
構想您要測試的假設,並將此假設限制為盡可能少的變更,以判斷對傳遞造成影響的因素。
例如,不妨假設電子郵件主旨列中的個人化是否會促進較佳的開啟率。 不過,在訊息內容或影像中新增變更,可能會導致結論混淆。
確定您的目標量度,以及您所做的變更是否會對此量度產生某些直接影響。
例如,變更訊息內文的內容不太可能影響電子郵件開啟率。
實驗必須包含的使用者數量取決於您要偵測的效果大小、目標量度的變數或分佈,以及您對誤報的容忍度。在經典實驗,您可使用樣本數量計算器,確定必須執行測試的時間。
統計方法為我們提供了一種將不確定性正規化的方法。 執行線上實驗時需要了解的最重要概念之一,就是觀察到的轉換率與一系列潛在的真正轉換率一致,這表示您必須等到這些估計值足夠精確才能嘗試得出結論。信賴區間及信賴度有助於量化這種不確定性。
解譯您的實驗結果 interpret-results
本節說明實驗報告,以及如何了解呈現的各種統計量。
以下是解譯內容實驗結果的一些指南。
請注意,對結果的完整描述應考慮所有可用的證據 (即樣本量、轉換率、信賴區間等),而不僅僅是宣告是否具有結論性。+即使結果尚未確定,仍有令人信服的證據表明一種處理與另一種處理不同。
若要了解統計計算,請參閱此頁面。
1. 比較標準化量度 normalized-metrics
當比較兩種處理方式的效果時,應始終比較標準化量度,以說明每個處理方式所公開的設定檔數量的所有差異。
例如,如果實驗目標設為 唯一的開啟次數,且指定的處理方式顯示給 10,000 個設定檔,並已記錄 200 個唯一的開啟次數,則代表 轉換率 為 2%。對於非唯一的量度 (例如開啟次數量度),標準化量度會顯示為 Count per Profile,而對於像價格總計的連續量度,標準化量度會顯示為 Total per Profile。
2. 著重於信賴區間 confidence-intervals
當您對設定檔樣本進行實驗時,針對指定處理方式觀察到的轉換率,表示對真實潛在轉換率的估計。
例如,如果處理方式 A 的 轉換率 為 3%,處理方式 B 觀察到的 轉換率 為 2%,那麼處理方式 A 是否比處理方式 B 更好?若要回答這個問題,我們首先必須量化這些觀察到的轉換率的不確定性。
信賴區間有助於量化估計轉換率的不確定性量,但較大的信賴區間則代表更多的不確定性。隨著更多設定檔加入實驗,間隔將變得更小,表示更精確的估計。信賴區間代表與觀察資料相容的轉換率範圍。
如果兩種處理方式的信賴區間幾乎沒有重疊,這表示兩種處理方式具有不同的轉換率。但是,如果兩個處理方式的信賴區間之間有許多重疊,則兩種處理方式更有可能具有相同的轉換率。
Adobe 使用 95% 的「任何時間有效信賴區間」或「信賴序列」,這表示在實驗期間可隨時安全地檢視結果。
3. 了解提升度 understand-lift
實驗報告摘要顯示 提升度超過基線,這是衡量了指定處理方式的轉換率相對於基線的增進百分比。精確的定義是指定處理方式與基線之間的表現差異除以基線的表現 (以百分比表示)。
3. 了解信賴度 understand-confidence
雖然您應主要專注每種處理效能的 信賴區間,但 Adobe 也會顯示信賴度,這是一種概率性測量,用於衡量有多少證據表明特定的處理方式與基線處理相同。信賴度越高表示基線與非基線處理方式具有相同表現假設的證據越少。更準確地說,如果實際上真實的潛在轉換率沒有差異,顯示的信賴度是我們觀察到指定處理方式和基線之間轉換率差異較小的機率 (以百分比表示)。 就 p 值而言,顯示的信賴度為 1 - p 值。
Adobe 使用與上述信賴序列一致的「任何時間有效」信賴度與「任何時間有效」p 值。
4. 統計顯著性
當執行實驗時,如果假設給定的處理方式和基線具有相同的真實潛在轉換率/效能觀察到結果的可能性極低,則該結果會被視為具有統計顯著性。
當信賴度高於 95% 時,Adobe 會宣告實驗結論。
執行實驗後該做什麼
執行實驗後,有幾種可能的後續動作:
-
部署成功的想法
有了明確的結果,您就可以部署這個成功的想法,方法是將效果最好的處理方法推廣給所有客戶,或者建立新的行銷活動來複製效果最好的處理方法的結構。
請注意,在動態環境中,某次效果很好的項目之後效果不一定一樣好。 -
執行後續測試
有時,您的實驗結果可能沒有定論,這可能是因為沒有足夠的設定檔來檢測處理方式中的任何差異,或者是因為您定義的處理方式差異不夠大。
如果您正在測試的假設仍然相關,請對較大或不同的對象執行後續測試,或修改您的處理方式,以便有更明顯的差異可能是最佳的後續動作。
-
進行更深入的深入分析
對某個對象有效的處理方式有時對另一個對象來說不一定是最好的處理方式。對不同對象的處理方式進行更深入的分析,有助於產生新測試的構想。
同樣,研究具有不同量度的每種處理方式的效果也可以更全面了解您的實驗。
note caution CAUTION 更多分析代表偵測到虛假效應或誤報的機率更高。