開始使用內容實驗 get-started-experiment

什麼是內容實驗？

內容實驗可讓您最佳化行銷活動中的動作內容。

實驗是在線上測試的情境下進行的一組隨機試驗，意即某些隨機選取的使用者會接觸到訊息的指定變化，而另一組隨機選取的使用者則會接觸到其他處理方式。 傳送訊息後，您就可以測量您感興趣的結果量度，例如電子郵件開啟數或點擊數。

為什麼要進行實驗？

實驗可讓您分離實現量度改善的變更。 如上圖所示：某些隨機選取的使用者會接觸到每個處理方式群組，意即平均而言群組會有相同的特性。 因此，結果中的任何差異都可以解釋為由於所接受處理方式的差異，即，您能夠在所做的變更和您感興趣的結果之間建立因果關係。

這可讓您在最佳化業務目標時，做出以資料為導向的決策。

針對 Adobe Journey Optimizer 中的內容實驗，您可以測試以下想法：

內容實驗如何運作？ content-experiment-work

隨機指派

Adobe Journey Optimizer 中的內容實驗使用訪客身分的偽隨機雜湊，對目標受眾中的使用者執行您所定義的其中一種處理方式的隨機指派。雜湊機制可確保在訪客多次進入行銷活動的情況下，他們會決定性地接受相同的處理方式。

詳細而言，MumurHash3 32 位元演算法可用來將使用者身分字串雜湊至 10,000 個貯體中的一個。 在將 50% 的流量指派給每個處理方式的內容實驗中，落在貯體 1-5,000 中的使用者會接受第一個處理方式，而貯體 5,001-10,000 中的使用者會接受第二個處理方式。由於使用偽隨機雜湊，因此您觀察到的訪客分割可能不會完全是 50-50；不過，該區分在統計上將等同於您的目標分割百分比。

請注意，在透過內容實驗設定每個行銷活動時，您必須選擇身分命名空間，從中為隨機演算法選取 userId。 這與執行地址獨立開來。

資料彙集與分析

在指派時，即：當訊息用對外管道傳送，或當使用者在對外管道進入行銷活動時，會將「指派記錄」記錄到適當的系統資料集。 這會記錄指派給使用者的處理方式，以及實驗和行銷活動識別碼。

目標量度可分為兩個主要類別：

對於 Adobe Journey Optimizer 追蹤訊息的直接目標量度，一般使用者的回應事件會自動以行銷活動和處理識別碼加上標籤，使回應量度和處理能直接關聯。 進一步了解追蹤。

對於間接或「漏斗底部」目標 (如購買)，最終使用者的反應事件沒有用行銷活動和處理識別碼標記，即，在接觸處理方式之後發生的購買事件，該購買與先前的處理方式指派沒有直接關聯。 對於這些量度，如果發生下列情況，Adobe 會建立與處理和漏斗轉換事件底部的關聯：

Adobe Journey Optimizer 接著會使用進階的「隨時有效」統計方法來解譯這些原始報告資料，讓您詮釋您的實驗報表。 如需詳細資訊，請參閱此頁面。

執行實驗的秘訣

執行實驗時，請務必遵循特定最佳實務。 以下是執行這些實驗的秘訣：

解譯您的實驗結果 interpret-results

本節說明實驗報告，以及如何了解呈現的各種統計量。

以下是解譯內容實驗結果的一些指南。

請注意，對結果的完整描述應考慮所有可用的證據 (即樣本量、轉換率、信賴區間等)，而不僅僅是宣告是否具有結論性。+即使結果尚未確定，仍有令人信服的證據表明一種處理與另一種處理不同。

若要了解統計計算，請參閱此頁面。

1. 比較標準化量度 normalized-metrics

當比較兩種處理方式的效果時，應始終比較標準化量度，以說明每個處理方式所公開的設定檔數量的所有差異。

例如，如果實驗目標設為​ 唯一的開啟次數，且指定的處理方式顯示給 10,000 個設定檔，並已記錄 200 個唯一的開啟次數，則代表​ 轉換率 為 2%。對於非唯一的量度 (例如開啟次數量度)，標準化量度會顯示為 Count per Profile，而對於像價格總計的連續量度，標準化量度會顯示為 Total per Profile。

2. 著重於信賴區間 confidence-intervals

當您對設定檔樣本進行實驗時，針對指定處理方式觀察到的轉換率，表示對真實潛在轉換率的估計。

例如，如果處理方式 A 的​ 轉換率 ​為 3%，處理方式 B 觀察到的​ 轉換率 ​為 2%，那麼處理方式 A 是否比處理方式 B 更好？若要回答這個問題，我們首先必須量化這些觀察到的轉換率的不確定性。

信賴區間有助於量化估計轉換率的不確定性量，但較大的信賴區間則代表更多的不確定性。隨著更多設定檔加入實驗，間隔將變得更小，表示更精確的估計。信賴區間代表與觀察資料相容的轉換率範圍。

如果兩種處理方式的信賴區間幾乎沒有重疊，這表示兩種處理方式具有不同的轉換率。但是，如果兩個處理方式的信賴區間之間有許多重疊，則兩種處理方式更有可能具有相同的轉換率。

Adobe 使用 95% 的「任何時間有效信賴區間」或「信賴序列」，這表示在實驗期間可隨時安全地檢視結果。

3. 了解提升度 understand-lift

實驗報告摘要顯示​ 提升度超過基線，這是衡量了指定處理方式的轉換率相對於基線的增進百分比。精確的定義是指定處理方式與基線之間的表現差異除以基線的表現 (以百分比表示)。

3. 了解信賴度 understand-confidence

雖然您應主要專注每種處理效能的​ 信賴區間，但 Adobe 也會顯示信賴度，這是一種概率性測量，用於衡量有多少證據表明特定的處理方式與基線處理相同。信賴度越高表示基線與非基線處理方式具有相同表現假設的證據越少。更準確地說，如果實際上真實的潛在轉換率沒有差異，顯示的信賴度是我們觀察到指定處理方式和基線之間轉換率差異較小的機率 (以百分比表示)。 就 p 值而言，顯示的信賴度為 1 - p 值。

Adobe 使用與上述信賴序列一致的「任何時間有效」信賴度與「任何時間有效」p 值。

4. 統計顯著性

當執行實驗時，如果假設給定的處理方式和基線具有相同的真實潛在轉換率/效能觀察到結果的可能性極低，則該結果會被視為具有統計顯著性。

當信賴度高於 95% 時，Adobe 會宣告實驗結論。

執行實驗後該做什麼

執行實驗後，有幾種可能的後續動作：