在AI助理中驗證您的資料
您可以使用AI Assistant來驗證Adobe Experience Platform資料集的資料品質。 由Agent Orchestrator支援的資料驗證功能可以對資料集執行統計和語意驗證、分析資料集欄位、識別資料品質問題,並傳回自然語言摘要,其中包含可操作的深入分析。 資料工程師、分析人員和資料管理員可以透過AI Assistant使用此功能來執行快速資料品質評估,而無需撰寫SQL查詢或導覽複雜的結構描述階層。
透過AI Assistant中的Agent Orchestrator支援資料驗證,您可以:
- 填補入門流程和日常診斷的基本空白。
- 減少資料集上的手動QA。
- 加速客戶的價值實現。
請參閱本檔案以瞭解如何驗證AI Assistant中的資料。
使用案例
UI指南
在Adobe CX Enterprise中使用 AI Assistant 驗證您的資料。 AI Assistant是對話式介面,而Agent Orchestrator則在幕後協調驗證工作流程。 下列步驟依照您將看到的主要畫面進行。
開始驗證
在左側導覽中,選取AI小幫手。 接下來,使用環境選擇器,並選擇您的資料集所在的Experience Platform組織或沙箱(例如,Experience Platform - Prod)。 在提示欄位中,輸入驗證請求(例如,要求依名稱驗證資料集)。 選取 傳送 以提交提示。
讀取資料集摘要和欄位表格
請讓Agent Orchestrator短暫地完成執行(推理完成)。 執行完成後,請閱讀資料集名稱、已驗證多少欄位,以及範例大小(通常最多約1,000列)的摘要。
使用 欄位摘要 來檢閱每個欄位的路徑、型別和有效值(包括有效性指示器)。 此外,您可以使用卡片上的表格、圖表或檔案圖示來變更結果的顯示方式(如果可用)。
當您需要第一個檢視以外的其他欄或列時,請選取顯示所有結果。
在分割檢視中工作
在展開的檢視中,使用分割版面:一邊是詳細的統計和敘述,另一邊是圖表。
- 在敘述端檢閱有效性、不重複值、空值、最高不重複值和任何無效值訊息。
- 在視覺效果方面,使用圖表快速讀取範例中的有效與無效值。
使用 相關建議 或底部的提示欄位來驗證其他欄位、重新執行資料集或繼續交談。
使用相關建議進行後續追蹤
回應後,在交談下方尋找相關建議。 選取建議(例如,驗證相同資料集上的特定欄位),以將其載入提示欄位中。 視需要調整文字,確認環境,然後選取 傳送 以執行後續追蹤。
在欄位層級驗證
開啟欄位層級 驗證結果 卡片(例如,在驗證單一欄位之後)。 當您想要視覺化摘要而非表格時,請使用檢視控制項切換至圖表 (或其他檢視)。 在此步驟中,您可以選擇選取 屬性 以檢視有關欄位的更多資訊。
選取在展開檢視中顯示,以開啟該欄位驗證的大型且更詳細的檢視。
透過展開的檢視,您可以根據指定欄位最多1000筆記錄的範例,檢視整個欄位的專案清單。 您可以使用此功能來擷取有關有效、相異和Null值的資訊。
驗證如何運作
當您在AI Assistant中啟動驗證時,Agent Orchestrator會分析資料集的代表性範例(通常是最近的~1,000列),而不是處理整個資料集歷史記錄。 此程式嚴格為唯讀,以確保您的資料、結構描述和對應維持不變。 無論您的資料如何進入Experience Platform,包括來源、串流、檔案上傳、資料準備或其他擷取方法,驗證結果都是一致的。 結果可作為指示性檢查,幫助您快速識別資料品質模式或潛在問題,讓您在需要時採取進一步行動(例如使用查詢服務探索)。 此Agent Orchestrator支援的方法可快速評估,而不會中斷資料擷取或影響生產工作負載。
驗證結果
對於每個已驗證的欄位,「AI助理」都會顯示驗證工作流程產生的結果,包括:
基本統計資料
- 用於範例的總列計數
- nullCount (以及選擇性的% null)
- uniqueCount (可用時)
- 排名在前的唯一值(例如,前10名)及其頻率
語意驗證
- 疑似無效值的清單
- 針對每個無效值,請輸入說明 (例如「不是有效的電子郵件格式」、「時間戳記超出預期範圍」)
自然語言摘要
- 欄位品質的簡短敘述摘要
- 建議的後續動作,例如「檢閱欄位X的對應」、「由於高空值率而考慮捨棄欄位Y」或「收緊電子郵件格式的驗證」。
nullCount = 9,532 (95.3%)uniqueCount = 3"True" (255), "False" (243)"abc@, reason: "not a valid email address"驗證型別
您可以使用AI助理執行兩種主要驗證型別:
- 欄位驗證:驗證資料集中的特定欄位。
- 資料集驗證:驗證資料集中最多五(5)個欄位。
使用AI助理中的欄位驗證來驗證指定資料集中的特定欄位。 此驗證技能提供下列內容:
- Null計數和唯一值計數。
- 最上層唯一值及其對應頻率。
- AI輔助語意驗證(根據可用中繼資料和資料的實際值偵測無效值的功能)。
欄位驗證的提示範例包括:
- 驗證Customers_2024資料集中的電子郵件欄位。
- 驗證資料集customer_events_2024的欄位狀態。
- 驗證客戶資料集的欄位person.address.city。
使用AI Assistant中的資料集驗證來驗證整個資料集,總結整體品質和關鍵問題。 雖然您可以明確提供這些欄位,但Agent Orchestrator也可以分析資料集並自動判斷最相關的欄位。 此技能提供與欄位驗證相同的資訊型別,但跨數個目標欄位。 您可以在指定資料集中驗證最多五個欄位。
資料集驗證提示範例包括:
- 驗證Customer Data 2024資料集
- 驗證欄位電子郵件、Customers_2024電話。
- 摘要客戶資料的firstName、lastName、birthDate。
- 摘要資料集693012a4b8c98b09cea350bc。
資料驗證執行的檢查
每個欄位和資料集都會執行下列型別的驗證:
-
完整度檢查: null/遺漏計數和百分比。
-
分佈檢查:最高唯一值及其分佈、高基數偵測。
-
語意檢查與結構描述:使用XDM欄位名稱、型別和描述來推斷出「有效」的外觀,然後標示異常。
-
資料型別感知檢查 (適用時):
- 電子郵件:格式和網域可行性
- 電話:格式整備(例如E.164)
- 日期/時間戳記:基本格式健全度(例如ISO-8601)
-
識別相關檢查 (未來/延伸):候選識別欄位或複合金鑰的唯一性。
這些檢查將確定性統計資料與LLM輔助語意驗證結合,以偵測「看起來錯誤」的值,即使這些值在技術上符合結構描述亦然。
限制
在驗證資料之前,請務必瞭解幾項主要限制。 這些限制旨在平衡效能與功能,並協助設定您可以預期分析和見解型別的期望。
- 僅取樣:驗證會在資料集的範例上執行(通常是最後~1,000列),而非處理整個資料集。 無法使用完整資料集掃描。
- 欄位計數限制:驗證資料集時,代理程式會分析每個請求最多五個欄位。 您可以指定這些欄位,或允許代理程式自動選取它們。
- 機率語意:無效值的偵測部分仰賴LLM型推斷,可能偶爾會遺漏細微的錯誤或標幟邊界值。
- 唯讀作業:代理程式不會對您的資料或其結構描述進行任何變更。 它提供見解並醒目提示潛在問題,但不執行自動化修正。
如果您的驗證需求較為詳盡或需要套用複雜的商業邏輯,請考慮使用其他工具(例如查詢服務或資料準備驗證)來補充AI Assistant中顯示的結果。