部分批次摄取

部分批量摄取是指在一定阈值内摄取包含错误的数据的能力。 借助此功能,用户可以成功地将其所有正确数据摄取到Adobe Experience Platform,同时对其所有不正确的数据进行单独批处理,并详细了解其无效原因。

本文档提供了有关管理部分批处理摄取的教程。

快速入门

本教程需要了解与部分批量摄取相关的各种Adobe Experience Platform服务。 在开始本教程之前,请查看以下服务的文档:

  • 批量摄取:方法 Platform 从数据文件(如CSV和Parquet)中摄取和存储数据。
  • Experience Data Model (XDM):用于实现此目标的标准化框架 Platform 组织客户体验数据。

以下部分提供成功调用时需要了解的其他信息 Platform API。

正在读取示例API调用

本指南提供了示例API调用,以演示如何设置请求的格式。 这些资源包括路径、必需的标头和格式正确的请求负载。 此外,还提供了在API响应中返回的示例JSON。 有关示例API调用文档中使用的约定的信息,请参阅以下章节: 如何读取示例API调用 在 Experience Platform 疑难解答指南。

收集所需标题的值

为了调用 Platform API,您必须先完成 身份验证教程. 完成身份验证教程将提供所有中所有所需标头的值 Experience Platform API调用,如下所示:

  • 授权:持有者 {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {ORG_ID}

中的所有资源 Experience Platform 与特定的虚拟沙盒隔离。 的所有请求 Platform API需要一个标头,用于指定将在其中执行操作的沙盒的名称:

  • x-sandbox-name: {SANDBOX_NAME}
NOTE
有关中沙箱的详细信息 Platform,请参见 沙盒概述文档.

在API中为部分批量摄取启用批次 enable-api

NOTE
本节介绍如何使用API为部分批量摄取启用批处理。 有关使用UI的说明,请阅读 在UI中为部分批量摄取启用批次 步骤。

您可以创建一个启用了部分摄取的新批次。

要创建新批次,请按照 批量摄取开发人员指南. 一旦您到达 创建批次 步骤,在请求正文中添加以下字段:

{
    "enableErrorDiagnostics": true,
    "partialIngestionPercent": 5
}
属性
描述
enableErrorDiagnostics
允许 Platform 生成有关批次的详细错误消息。
partialIngestionPercent
整个批次失败之前可接受的错误百分比。 因此,在此示例中,最多有5%的批次可能是错误,然后才会失败。

在UI中为部分批次摄取启用批次 enable-ui

NOTE
本节介绍如何使用UI为部分批量摄取启用批处理。 如果已使用API为部分批次摄取启用批次,则可以跳至下一节。

要通过为部分摄取启用批次,请执行以下操作 Platform UI中,您可以通过源连接创建新批处理,在现有数据集中创建新批处理,或通过''创建新批处理将CSV映射到XDM流“。

创建新的源连接 new-source

要创建新的源连接,请按照 源概述. 一旦您到达 数据流详细信息 步骤,请记下 部分摄取错误诊断 字段。

部分摄取 切换允许您启用或禁用部分批量摄取。

错误诊断 切换仅在 部分摄取 切换已关闭。 此功能允许 Platform 生成有关所摄取批次的详细错误消息。 如果 部分摄取 切换功能已启用,增强错误诊断功能会自动强制执行。

错误阈值 允许您在整个批处理失败之前设置可接受的错误百分比。 默认情况下,此值设置为5%。

使用现有数据集 existing-dataset

要使用现有数据集,请从选择一个数据集开始。 右侧边栏会填充有关数据集的信息。

部分摄取 切换允许您启用或禁用部分批量摄取。

错误诊断 切换仅在 部分摄取 切换已关闭。 此功能允许 Platform 生成有关所摄取批次的详细错误消息。 如果 部分摄取 切换功能已启用,增强错误诊断功能会自动强制执行。

错误阈值 允许您在整个批处理失败之前设置可接受的错误百分比。 默认情况下,此值设置为5%。

现在,您可以使用上传数据 添加数据 按钮,将使用部分摄取来摄取。

使用"将CSV映射到XDM架构"流量 map-flow

要使用"将CSV映射到XDM架构”流程,请按照 映射CSV文件教程. 一旦您到达 添加数据 步骤,请记下 部分摄取错误诊断 字段。

部分摄取 切换允许您启用或禁用部分批量摄取。

错误诊断 切换仅在 部分摄取 切换已关闭。 此功能允许 Platform 生成有关所摄取批次的详细错误消息。 如果 部分摄取 切换功能已启用,增强错误诊断功能会自动强制执行。

错误阈值 允许您在整个批处理失败之前设置可接受的错误百分比。 默认情况下,此值设置为5%。

后续步骤 next-steps

本教程介绍了如何创建或修改数据集以启用部分批量摄取。 有关批量摄取的更多信息,请阅读 批量摄取开发人员指南.

有关监控部分摄取错误的信息,请阅读 批量摄取错误诊断指南.

recommendation-more-help
2ee14710-6ba4-4feb-9f79-0aad73102a9a