使用SQL浏览、排除和验证批量摄取

最近更新： 2025年4月4日

创建对象：

  • 用户
  • 开发人员

本文档说明如何使用SQL验证和验证摄取的批次中的记录。 本文档教您如何：

  • 访问数据集批次元数据
  • 通过查询批处理排除故障并确保数据完整性
NOTE
本指南中的某些屏幕截图取自DBVisualizer。 要了解如何将查询服务与DBVisualizer或其他第三方BI工具连接，请参阅链接的文档。

先决条件

为了帮助您了解本文档中讨论的概念，您应该了解以下主题：

  • 数据摄取：请参阅数据摄取概述，了解将数据摄取到Experience Platform的基础知识，包括涉及的各种方法和流程。
  • 批次摄取：请参阅批次摄取API概述，了解批次摄取的基本概念。 具体而言，“批处理”是什么以及它在Experience Platform的数据摄取过程中如何发挥作用。
  • 数据集中的系统元数据：请参阅目录服务概述，了解如何使用系统元数据字段跟踪和查询摄取的数据。
  • 体验数据模型(XDM)：请参阅架构UI概述和架构组合的'基础知识'，了解XDM架构以及它们如何表示和验证摄取到Experience Platform的数据的结构和格式。

访问数据集批次元数据

要确保查询结果中包含系统列（元数据列），请在查询编辑器中使用SQL命令set drop_system_columns=false。 这会配置SQL查询会话的行为。 如果启动新会话，则必须重复此输入。

接下来，要查看数据集的系统字段，请执行SELECT all语句以显示数据集中的结果，例如select * from movie_data。 结果在右侧_acp_system_metadata和_ACP_BATCHID包含两个新列。 元数据列_acp_system_metadata和_ACP_BATCHID可帮助识别已摄取数据的逻辑分区和物理分区。

显示并突出显示movie_data表及其元数据列的DBVisualizer UI。

当数据被摄取到Experience Platform中时，会根据传入数据为其分配一个逻辑分区。 此逻辑分区由_acp_system_metadata.sourceBatchId表示。 此ID有助于在处理和存储数据批次之前对其进行逻辑分组和识别。

在处理数据并将其引入数据湖后，将为其分配一个由_ACP_BATCHID表示的物理分区。 此ID反映摄取的数据所在的数据湖中的实际存储分区。

使用SQL了解逻辑分区和物理分区

为了帮助了解数据在引入后如何分组和分发，请使用以下查询对每个逻辑分区(_acp_system_metadata.sourceBatchId)的不同物理分区(_ACP_BATCHID)的数量进行计数。

SELECT  _acp_system_metadata, COUNT(DISTINCT _ACP_BATCHID) FROM movie_data
GROUP BY _acp_system_metadata

此查询的结果如下图所示。

查询结果显示每个逻辑分区的不同物理分区数。

这些结果表明，输入批次的数量与输出批次的数量并不一定匹配，因为系统决定了将数据分批并存储在数据湖中的最有效方式。

在本例中，假定您已将CSV文件摄取到Experience Platform并创建了一个名为drug_checkout_data的数据集。

drug_checkout_data文件是35,000条记录的深度嵌套集。 使用SQL语句SELECT * FROM drug_orders;预览基于JSON的drug_orders数据集中的第一组记录。

下图显示了文件及其记录的预览。

基于JSON的drug_orders数据集中的第一组记录预览。