Experimentation 面板

此 Experimentation 面板可讓分析師比較不同的使用者體驗、行銷或傳送訊息變化，以確定哪一個產生特定結果的績效最好。您可以從任何實驗平台 (線上、離線、Adobe 解決方案、Adobe Journey Optimizer，甚至 BYO (自帶) 資料) 評估任何 A/B 實驗的提升度和信賴度。

重要

此時， 目標適用的Adobe Analytics (A4T)資料 無法 在Experimentation面板中分析。

存取控制

所有Customer Journey Analytics使用者都可使用Experimentation面板。 不需要管理員權限或其他權限。但是，進行設定 (下方的步驟 1 和 2) 所需的動作只有管理員才能執行。

計算量度中的新函數

已新增了兩個進階函數：提升度和信賴度。如需詳細資訊，請參閱「參考 - 進階函數」。

步驟 1：建立與實驗資料集的連接

建議的資料結構描述是針對在「物件」陣列 中的實驗資料，其中包含在二個獨立維度中的實驗與變數資料。 兩個維度都必須位於 單一 物件陣列。 如果您的實驗資料是在一個單獨的維度內，實驗與變數資料在分隔字串內，您可以使用資料檢視中的子字串將它們一分為二，以便用於面板中。

在您的實驗資料完成後 已內嵌 進入Adobe Experience Platform， 在Customer Journey Analytics中建立連線 至一或多個實驗資料集。

步驟 2：在資料檢視中新增內容標籤

在Customer Journey Analytics資料檢視設定中，管理員可以新增 內容標籤 變更為維度或量度以及Customer Journey Analytics服務，例如 實驗 面板可針對其用途使用這些標籤。 Experimentation 面板使用了兩個預先定義的標籤：

  • 實驗中的實驗
  • 實驗中的變體

在包含實驗資料的資料檢視中，選擇兩個維度，一個包含實驗資料，一個包含變體資料。然後使用​實驗​和​變體​標籤標記這些維度。

內容標籤

如果沒有這些標籤，Experiment 面板會因沒有可用的實驗而無法運作。

步驟 3：設定 Experiment 面板

  1. 在Customer Journey Analytics Workspace中，將Experimentation面板拖曳至專案中。

實驗面板

重要

如果Customer Journey Analytics資料檢視中的必要設定尚未完成，您將會在可以繼續之前收到此訊息： 」請在資料檢視中設定實驗和變體維度「。

  1. 進行面板輸入設定。

    設定 定義
    實驗 一組向一般使用者展示的體驗變體，用來決定要永久保存的最佳變體。一個實驗由兩個或多個變體組成，其中一個會視為控制變體。此設定預先填入了資料檢視中已用​實驗​標籤標記的維度，以及過去 3 個月的實驗資料。
    控制變體 一般使用者體驗中的兩個或多個變動之一，它們會被比較以找出較好的替代方案。必須選擇一種變體作為對照，並且只能將一種變體視為控制變體。此設定預先填入了資料檢視中已用​變體​標籤標記的維度。此設定會提取與此實驗關聯的變體資料。
    成功量度 使用者用來比較變體的一個或多個量度。轉換量度 (無論是最高還是最低) 具有最理想結果的變體會宣告為實驗的「最佳表現變體」。可最多新增 5 個量度。
    標準化量度 執行測試的基礎 (人員、工作階段或事件)。例如，測試可能會比較幾種變體的轉換率，其中​轉換率​是以​每個工作階段轉換次數​或​每人轉換次數​計算。
    日期範圍 日期範圍會根據所選取實驗在Customer Journey Analytics中收到的第一個事件自動設定。 如果需要，您可以更具體的時間範圍來限制或擴大日期範圍。

  2. 按一下​建置。

步驟 4：檢視面板輸出

Experimentation 面板會傳回一組豐富的資料和視覺效果，以幫助您更好地了解實驗的執行情況。面板頂端會提供一個摘要行，提示您所選取的面板設定。您可以隨時按一下右上方的編輯鉛筆來編輯面板。

您還將收到文字摘要，以表示實驗是否具有結論性，並總結結果。結論性是以統計顯著性為基礎。(參見下方的「統計方法」。)您可以查看具有最高提升度和信賴度的最佳表現變體總結數字。

對於您所選取的每個成功量度，都會顯示一個自由表格和一個轉換率趨勢。

實驗輸出

折線圖可提供控制與控制變體的表現：

折線圖輸出

注意

該面板目前不支援 A/A 測試分析。

步驟 5：解釋結果

  1. 實驗已有結果：每次檢視實驗報告時，Adobe都會分析到目前為止在實驗中累積的資料，並會在隨時有效的信賴度超過臨界值95%時宣告實驗為具有「結論性」。 至少一個 變體的DNA片段（當有兩個以上的臂時，套用Benjamini-Hochberg校正，以校正多個假設檢驗）。

  2. 最佳表現變體：當一個實驗宣告為具有結論性時，具有最高轉換率的變體將標記為「最佳表現變體」。請注意，此變體必須是控制變體或基線變體，或是超過95%隨時有效信賴度臨界值的變體之一（套用Benjamini-Hochberg校正）。

  3. 轉換率：顯示的轉換率是成功量度值與標準化量度值的比例。請注意，如果量度不是二進位 (實驗中的每個單位為 1 或 0)，則轉換率可能大於 1

  4. 提升度：實驗報告摘要會顯示提升基線，它衡量了指定變體的轉換率相對於基線的增進百分比。精確的定義是指定變體與基線之間的表現差異，除以基線的表現 (以百分比表示)。

  5. 信賴度：顯示的隨時有效信賴度是對有多少證據表示指定變體與控制變體相同的機率測度。信賴度越高表示控制和非控制變體具有相同表現假設的證據越少。更準確地說，如果實際上真實的潛在轉換率沒有差異，顯示的信賴度是我們觀察到指定變體和控制變體之間轉換率差異較小的機率 (以百分比表示)。就 P 值​而言，顯示的信賴度為 1 - P 值。

注意

對結果的完整描述應考慮所有可用的證據 (即實驗設計、樣本量、轉換率、信賴度等)，而不僅僅是宣告是否具有結論性。即使結果尚未具有「結論性」，仍可以有令人信服的證據表示變體之間各有相異信賴區間 (例如，信賴區間幾乎不重疊)。理想情況下，應由所有統計證據提供的資訊做決策，並在連續範圍內進行解釋。

Adobe 的統計方法

為了提供易於解釋和安全的統計推斷，Adobe 採用一種以隨時有效的信賴序列為基礎的統計方法

信賴序列是信賴區間的模擬「順序」。若想了解信賴序列，您可以想像重複實驗一百次，然後計算​每個進入實驗新使用者​的平均商業量度 (例如電子郵件的開啟率) 估計值及其相關的 95% 信賴序列。

95% 信賴序列是指在您執行 100 個實驗中有 95 個包含商業量度「確判為真」值。(為了提供相同的 95% 覆蓋率保證，每個實驗只能計算一次 95% 信賴區間；而不是針對每個新使用者計算)。因此，信賴序列可讓您持續監視實驗，而不會增加「誤判為真」的錯誤率，也就是它們允許「偷看」結果。

解釋非隨機維度

Customer Journey Analytics可讓分析人員選取任何維度當作「實驗」。 但是對於選擇的實驗維度不是哪些人進行了隨機化的分析，您該如何解讀？

例如，考慮某人看到的廣告。 如果您決定顯示人員是「廣告B」而非「廣告A」，可能會對測量某些量度的變更（例如平均收入）感興趣。 顯示廣告B來取代廣告A的因果效應，對達成行銷決策至關重要。 如果我們以顯示廣告A的替代策略取代顯示廣告B的現狀，這種因果效應可能會以整個母體的平均收入來衡量。

A/B測試是業界客觀衡量此類干預措施效果的黃金標準。 A/B測試產生因果估計的重要原因是接收其中一個可能變體的人員隨機化。

現在來考慮隨機化無法實現的維度，例如個人的美國州。 假設我們的人主要來自兩個州：紐約和加州。 由於地區天氣差異，冬季服裝品牌在這兩個州的平均銷售收入可能不同。 在這種情況下，天氣可能是冬季服裝銷售背後的真正因果因素，而不是人的地理州不同這一事實。

Customer Journey Analytics中的實驗面板可讓您依人員的狀態，以平均收入差異來分析資料。 在這種情況下，輸出沒有因果解釋。 不過，此類分析可能仍值得關注。 它提供個人所在州平均收入差異的估計（以及不確定性的測量）。 這也稱為「統計假設測試」。 此分析的輸出可能會有趣，但不一定可操作，因為我們沒有，有時也無法隨機將人員轉換為維度的可能值之一。

下圖會比較這些情況：

隨機化實驗

當您想要測量干預X對結果Y的影響時，兩者的真正原因可能是混淆因素C。如果資料不是藉由在X上隨機化人員來取得，影響將更難測量，且分析將明確說明C。隨機化會中斷X對C的依賴，讓我們不必擔心其他變數，即可測量X對Y的影響。

在Experimentation面板中使用計算量度

請參閱這篇部落格，瞭解更多資訊 在Experimentation面板中使用衍生量度.

本頁內容