本文會在
如需如何在
Experimentation 面板可讓分析師比較不同的使用者體驗、行銷或傳送訊息變化,以確定哪一個產生特定結果的績效最好。 您可以從任何實驗平台評估任何A/B實驗的提升度和信賴度:線上、離線、Adobe解決方案,例如Target或Journey Optimizer,甚至BYO (自備)資料。
深入瞭解Adobe Customer Journey Analytics與Adobe Target之間的整合。
存取控制
所有Customer Journey Analytics使用者都可使用Experimentation面板。 不需要管理員權限或其他權限。不過,先決條件需要只有管理員才能執行的動作。
計算量度中的函式
提供兩種進階函式:提升度和信賴度。 如需詳細資訊,請參閱「參考 - 進階函數」。
先決條件
若要使用實驗面板,請務必遵循下列先決條件:
建立與實驗資料集的連線
建議的資料結構描述是針對在物件陣列中的實驗資料,其中包含在二個獨立維度中的實驗與變數資料。 兩個維度都必須在 單一 物件陣列中。 如果您的實驗資料在單一維度中(實驗與變數資料在分隔字串中),您可以在資料檢視中使用substring設定將維度一分為二,以用於面板中。
在您的實驗資料已擷取到Adobe Experience Platform之後,在Customer Journey Analytics中建立與一個或多個實驗資料集的連線。
在資料檢視中新增內容標籤
在Customer Journey Analytics資料檢視設定中,管理員可以將內容標籤新增至維度或量度,而Customer Journey Analytics服務(例如Experimentation面板)可針對其目標使用這些標籤。 Experimentation 面板使用了兩個預先定義的標籤:
- 實驗中的實驗
- 實驗中的變體
在包含實驗資料的資料檢視中,選擇兩個維度,一個包含實驗資料,另一個包含變體資料。 然後使用 實驗中的實驗 和 實驗中的變體 標籤標籤這些維度。
Experimentation和Experimentation Variant的
如果沒有這些標籤,Experiment 面板會因沒有可用的實驗而無法運作。
使用
若要使用 Experimentation 面板:
面板輸入
若要使用Experimentation面板:
-
設定面板輸入設定:
設定 定義 日期範圍 Experimentation面板的日期範圍會根據Customer Journey Analytics中為所選實驗收到的第一個事件自動設定。 如果需要,您可以更具體的時間範圍來限制或擴大日期範圍。 實驗 一組向一般使用者展示的體驗變體,用來決定要永久儲存的最佳變體。 一個實驗由兩個或多個變體組成,其中一個會視為控制變體。此設定預先填入了資料檢視中已用 Experiment 標籤標籤的維度,以及過去3個月的實驗資料。 控制變體 一般使用者體驗中的兩個或多個變動之一,它們會被比較以找出較好的替代方案。必須選擇一種變體作為對照,並且只能將一種變體視為控制變體。此設定預先填入了資料檢視中已用 變體 標籤標籤的維度。 此設定會提取與此實驗關聯的變體資料。 成功量度 ➊ 使用者用來比較變體的一個或多個量度。轉換量度(最高或最低)具有最理想結果的變體會宣告為實驗的 最佳表現變體。 可最多新增 5 個量度。 標準化量度 ➋ 執行測試的基礎(人員、工作階段或事件)。 例如,測試可能會比較幾種變體的轉換率,其中 轉換率 是以頁面檢視計算 包含信賴上/下限 啟用此選項可顯示信賴水準的上限和下限。 -
選取「建置」。
面板輸出
Experimentation 面板會傳回一組豐富的資料和視覺效果,以幫助您更好地了解實驗的執行情況。面板頂端會提供摘要變更視覺效果,提醒您所選取的面板設定。 您可以隨時選取右上方的編輯鉛筆來編輯面板。
您還將收到文字摘要,以表示實驗是否具有結論性,並總結結果。結論性是以統計顯著性為基礎(請參閱統計方法)。您可以看到具有最高提升度和信賴度的最佳表現變體摘要數字。
針對您選取的每個成功量度,都會顯示自由表格視覺效果和轉換率行視覺效果。
解讀結果
-
實驗已有結果:每次檢視實驗報告時,都會分析到目前為止在實驗中累積的資料。 當 至少一個 變體的 anytime 有效信賴度超過95%臨界值時,分析會宣告實驗為具有結論性。 如果有兩個以上的手臂,會套用Benjamini-Hochberg校正,以校正多個假設檢驗。
-
最佳表現變體:當一個實驗宣告為具有結論性時,具有最高轉換率的變體將標籤為最佳表現變體。 請注意,此變體必須是控制變體或基線變體,或是超過95% anytime 有效信賴度臨界值的變體之一(套用Benjamini-Hochberg校正)。
-
轉換率:顯示的轉換率是成功量度值➊與標準化量度值的比➋率。 請注意,如果量度不是二進位(實驗中的每個單位為1或0),此值可以大於1
-
提升度:實驗報告摘要會顯示提升基線,它衡量了指定變體的轉換率相對於基線的增進百分比。 準確來說,這是指定變體與基線之間的績效差異,除以基線的績效 (以百分比表示)。
-
信賴度:顯示的隨時有效信賴度是對有多少證據表示指定變體與控制變體相同的機率測度。 信賴度越高表示控制和非控制變體具有相同績效假設的證據越少。信賴度是您觀察到指定變體和控制變體之間轉換率差異較小的機率(以百分比表示)。 雖然實際上真實的基本轉換率沒有差異。 就 P 值 而言,顯示的信賴度為 1 - P 值。
Adobe 的統計方法
為了提供易於解釋和安全的統計推斷,Adobe 採用一種以隨時有效的信賴序列為基礎的統計方法
信賴序列是信賴區間的類比 循序。 若要瞭解信賴序列,假設您重複實驗一百次。 並且計算 每個進入實驗的新使用者 的平均商業量度(例如電子郵件的開啟率)估計值及其相關的95%信賴序列。
95%信賴序列包含您執行的100個實驗中的95個商業量度的「真」值。 (每個實驗只能計算一次95%信賴區間,以提供相同的95%覆蓋率保證;而不是針對每個新使用者)。 因此,信賴序列可讓您持續監視實驗,而不會增加誤判錯誤率,也就是它們允許「窺視」結果。