探索、疑難排解及驗證SQL的批次擷取

最後更新： 2025年4月4日

建立對象：

  • 使用者
  • 開發人員

本檔案說明如何使用SQL驗證及驗證所擷取批次中的記錄。 本檔案會教導您：

  • 存取資料集批次中繼資料
  • 透過查詢批次進行疑難排解並確保資料完整性
NOTE
本指南中的部分熒幕擷取畫面取自DBVisualizer。 若要瞭解如何連線查詢服務與DBVisualizer或其他第三方BI工具，請參閱連結的檔案。

先決條件

為了協助您瞭解本檔案中討論的概念，您應該瞭解下列主題：

  • 資料擷取：請參閱資料擷取總覽，瞭解資料如何擷取到Experience Platform的基礎知識，包括所涉及的各種方法和程式。
  • 批次擷取：請參閱批次擷取API總覽，瞭解批次擷取的基本概念。 具體來說，什麼是「批次」，以及它在Experience Platform資料擷取流程中的運作方式。
  • 資料集中的系統中繼資料：請參閱目錄服務總覽，瞭解如何使用系統中繼資料欄位來追蹤和查詢擷取的資料。
  • Experience Data Model (XDM)：請參閱結構描述UI總覽和結構描述組合的基本概念🔗，以瞭解XDM結構描述以及它們如何呈現和驗證擷取到Experience Platform的資料結構和格式。

存取資料集批次中繼資料

若要確保查詢結果中包含系統資料行（中繼資料資料行），請在查詢編輯器中使用SQL命令set drop_system_columns=false。 這會設定SQL查詢工作階段的行為。 如果您啟動新的工作階段，則必須重複此輸入。

接下來，若要檢視資料集的系統欄位，請執行SELECT all陳述式以顯示資料集的結果，例如select * from movie_data。 結果在右側_acp_system_metadata和_ACP_BATCHID包含兩個新欄。 中繼資料資料行_acp_system_metadata和_ACP_BATCHID可協助識別所擷取資料的邏輯和實體資料分割。

顯示並反白顯示movie_data表格及其中繼資料資料欄的DBVisualizer UI。

將資料內嵌至Experience Platform時，會根據傳入的資料為其指派邏輯分割區。 此邏輯分割由_acp_system_metadata.sourceBatchId表示。 此ID可協助您在處理和儲存資料批次之前，依邏輯將其分組和識別。

在處理資料並擷取到資料湖後，會指派給它以_ACP_BATCHID表示的實體分割。 此ID反映所擷取資料所在的資料湖中的實際儲存分割區。

使用SQL來瞭解邏輯和實體分割區

若要瞭解資料在擷取後如何分組和分配，請使用下列查詢來計算每個邏輯分割區(_acp_system_metadata.sourceBatchId)的不同實體分割區(_ACP_BATCHID)數目。

SELECT  _acp_system_metadata, COUNT(DISTINCT _ACP_BATCHID) FROM movie_data
GROUP BY _acp_system_metadata

此查詢的結果如下圖所示。

查詢結果會顯示每個邏輯分割區的不同實體分割區數目。

這些結果顯示輸入批次的數量並不一定與輸出批次的數量相符，因為系統決定了批次和在Data Lake中儲存資料的最有效方式。

在此範例中，假設您已將CSV檔案擷取至Experience Platform，並建立名為drug_checkout_data的資料集。

drug_checkout_data檔案是包含35,000筆記錄的深度巢狀集合。 使用SQL陳述式SELECT * FROM drug_orders;來預覽JSON型drug_orders資料集中的第一組記錄。

下圖顯示檔案及其記錄的預覽。

JSON型drug_orders資料集中的第一組記錄預覽。