Habilite la captura de datos modificados para las conexiones de origen en la API

Cambiar la captura de datos en las fuentes de Adobe Experience Platform es una capacidad que puede utilizar para mantener la sincronización de datos en tiempo real entre los sistemas de origen y destino.

Actualmente, Experience Platform admite copia de datos incremental, lo que garantiza que los registros recién creados o actualizados en el sistema de origen se copien periódicamente en los conjuntos de datos ingeridos. Este proceso se basa en el uso de la columna de marca de tiempo, como LastModified, para poder rastrear cambios y capturar solo los datos recién insertados o actualizados. Sin embargo, este método no tiene en cuenta los registros eliminados, lo que puede provocar incoherencias en los datos a lo largo del tiempo.

Con la captura de datos de cambio, un flujo determinado captura y aplica todos los cambios, incluidas las inserciones, las actualizaciones y las eliminaciones. Del mismo modo, los conjuntos de datos de Experience Platform permanecen totalmente sincronizados con el sistema de origen.

Puede utilizar la captura de datos modificados para las siguientes fuentes:

Amazon S3

Asegúrese de que _change_request_type esté presente en el archivo Amazon S3 que desea ingerir en Experience Platform. Además, debe asegurarse de que los siguientes valores válidos estén incluidos en el archivo:

Si _change_request_type no está presente en el archivo, se usará el valor predeterminado de u.

Lea la siguiente documentación para ver los pasos que debe seguir para habilitar la captura de datos modificados para la conexión de origen de Amazon S3:

Azure Blob

Asegúrese de que _change_request_type esté presente en el archivo Azure Blob que desea ingerir en Experience Platform. Además, debe asegurarse de que los siguientes valores válidos estén incluidos en el archivo:

Si _change_request_type no está presente en el archivo, se usará el valor predeterminado de u.

Lea la siguiente documentación para ver los pasos que debe seguir para habilitar la captura de datos modificados para la conexión de origen de Azure Blob:

Azure Databricks

Debe habilitar cambiar fuente de datos en la tabla Azure Databricks para usar la captura de datos modificados en la conexión de origen.

Utilice los siguientes comandos para habilitar explícitamente la opción de cambiar fuente de datos en Azure Databricks

Nueva tabla

Para aplicar el cambio de fuente de datos a una nueva tabla, debe establecer la propiedad de tabla delta.enableChangeDataFeed en TRUE en el comando CREATE TABLE.

CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)

Tabla existente

Para aplicar el cambio de fuente de datos a una tabla existente, debe establecer la propiedad de tabla delta.enableChangeDataFeed en TRUE en el comando ALTER TABLE.

ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)

Todas las tablas nuevas

Para aplicar el cambio de fuente de datos a todas las tablas nuevas, debe establecer las propiedades predeterminadas en TRUE.

set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;

Para obtener más información, lea la Azure Databricks guía sobre cómo habilitar la fuente de datos para cambios.

Lea la siguiente documentación para ver los pasos que debe seguir para habilitar la captura de datos modificados para la conexión de origen de Azure Databricks:

Data Landing Zone

Debe habilitar cambiar fuente de datos en la tabla Data Landing Zone para usar la captura de datos modificados en la conexión de origen.

Utilice los siguientes comandos para habilitar explícitamente la opción de cambiar fuente de datos en Data Landing Zone.

Lea la siguiente documentación para ver los pasos que debe seguir para habilitar la captura de datos modificados para la conexión de origen de Data Landing Zone:

Google BigQuery

Para usar la captura de datos modificados en su conexión de origen de Google BigQuery. Vaya a la página Google BigQuery en la consola Google Cloud y establezca enable_change_history en TRUE. Esta propiedad habilita el historial de cambios para la tabla de datos.

Para obtener más información, lea la guía de instrucciones de lenguaje de definición de datos en GoogleSQL.

Lea la siguiente documentación para ver los pasos que debe seguir para habilitar la captura de datos modificados para la conexión de origen de Google BigQuery:

Google Cloud Storage

Asegúrese de que _change_request_type esté presente en el archivo Google Cloud Storage que desea ingerir en Experience Platform. Además, debe asegurarse de que los siguientes valores válidos estén incluidos en el archivo:

Si _change_request_type no está presente en el archivo, se usará el valor predeterminado de u.

Lea la siguiente documentación para ver los pasos que debe seguir para habilitar la captura de datos modificados para la conexión de origen de Google Cloud Storage:

SFTP

Asegúrese de que _change_request_type esté presente en el archivo SFTP que desea ingerir en Experience Platform. Además, debe asegurarse de que los siguientes valores válidos estén incluidos en el archivo:

Si _change_request_type no está presente en el archivo, se usará el valor predeterminado de u.

Lea la siguiente documentación para ver los pasos que debe seguir para habilitar la captura de datos modificados para la conexión de origen de SFTP:

Snowflake

Debe habilitar el seguimiento de cambios en sus tablas Snowflake para poder usar la captura de datos de cambios en las conexiones de origen.

En Snowflake, habilite el seguimiento de cambios usando ALTER TABLE y estableciendo CHANGE_TRACKING en TRUE.

ALTER TABLE mytable SET CHANGE_TRACKING = TRUE

Para obtener más información, lea la Snowflake guía sobre el uso de la cláusula de cambios.

Lea la siguiente documentación para ver los pasos que debe seguir para habilitar la captura de datos modificados para la conexión de origen de Snowflake: