在API中为源连接启用更改数据捕获

Adobe Experience Platform源中的变更数据捕获是一项可用于在源系统和目标系统之间保持实时数据同步的功能。

目前，Experience Platform支持​ 增量数据副本，这将确保源系统中新建或更新后的记录定期复制到摄取的数据集。 此进程依赖于​ 时间戳列（如LastModified）的使用来跟踪更改并仅捕获​ 新插入或更新数据。 但是，此方法不会考虑已删除的记录，这可能会导致一段时间内的数据不一致。

使用变更数据捕获，给定流捕获并应用所有变更，包括插入、更新和删除。 同样，Experience Platform数据集与源系统保持完全同步。

您可以对以下源使用变更数据捕获：

Amazon S3

确保您打算摄取到Experience Platform的_change_request_type文件中存在Amazon S3。 此外，必须确保文件中包含以下有效值：

如果您的文件中不存在_change_request_type，则将使用默认值u。

请阅读以下文档，以了解如何为Amazon S3源连接启用更改数据捕获的步骤：

Azure Blob

确保您打算摄取到Experience Platform的_change_request_type文件中存在Azure Blob。 此外，必须确保文件中包含以下有效值：

如果您的文件中不存在_change_request_type，则将使用默认值u。

请阅读以下文档，以了解如何为Azure Blob源连接启用更改数据捕获的步骤：

Azure Databricks

必须在​ 表中启用 ​更改数据馈送Azure Databricks，以便在源连接中使用更改数据捕获。

使用以下命令在Azure Databricks中显式启用更改数据馈送选项

新表

要将更改数据馈送应用到新表，必须在delta.enableChangeDataFeed命令中将表属性TRUE设置为CREATE TABLE。

CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)

现有表

要将更改数据馈送应用于现有表，必须在delta.enableChangeDataFeed命令中将表属性TRUE设置为ALTER TABLE。

ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)

所有新表

要将更改数据馈送应用于所有新表，必须将默认属性设置为TRUE。

set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;

有关详细信息，请阅读有关启用更改数据馈送Azure Databricks 的指南。

请阅读以下文档，以了解如何为Azure Databricks源连接启用更改数据捕获的步骤：

Data Landing Zone

必须在​ 表中启用 ​更改数据馈送Data Landing Zone，以便在源连接中使用更改数据捕获。

使用以下命令在Data Landing Zone中显式启用更改数据馈送选项。

请阅读以下文档，以了解如何为Data Landing Zone源连接启用更改数据捕获的步骤：

Google BigQuery

要在Google BigQuery源连接中使用变更数据捕获，请执行以下操作： 导航到Google BigQuery控制台中的Google Cloud页面，并将enable_change_history设置为TRUE。 此属性启用数据表的更改历史记录。

有关详细信息，请阅读 GoogleSQL中数据定义语言语句的指南。

请阅读以下文档，以了解如何为Google BigQuery源连接启用更改数据捕获的步骤：

Google Cloud Storage

确保您打算摄取到Experience Platform的_change_request_type文件中存在Google Cloud Storage。 此外，必须确保文件中包含以下有效值：

如果您的文件中不存在_change_request_type，则将使用默认值u。

请阅读以下文档，以了解如何为Google Cloud Storage源连接启用更改数据捕获的步骤：

SFTP

确保您打算摄取到Experience Platform的_change_request_type文件中存在SFTP。 此外，必须确保文件中包含以下有效值：

如果您的文件中不存在_change_request_type，则将使用默认值u。

请阅读以下文档，以了解如何为SFTP源连接启用更改数据捕获的步骤：

Snowflake

必须在​ 表中启用 ​更改跟踪Snowflake，以便在源连接中使用更改数据捕获。

在Snowflake中，通过使用ALTER TABLE并将CHANGE_TRACKING设置为TRUE来启用更改跟踪。

ALTER TABLE mytable SET CHANGE_TRACKING = TRUE

有关详细信息，请阅读有关使用changes子句Snowflake 的指南。

请阅读以下文档，以了解如何为Snowflake源连接启用更改数据捕获的步骤：