Abilitare Change Data Capture per le connessioni di origine nell’API
Creato per:
- Sviluppatore
Change data capture (Cambia acquisizione dati) nelle origini Adobe Experience Platform è una funzionalità che puoi utilizzare per mantenere la sincronizzazione dei dati in tempo reale tra i sistemi di origine e di destinazione.
Al momento, Experience Platform supporta copia dati incrementale, che garantisce che i record appena creati o aggiornati nel sistema di origine vengano periodicamente copiati nei set di dati acquisiti. Questo processo si basa sull'utilizzo della colonna timestamp, ad esempio LastModified, per tenere traccia delle modifiche e acquisire solo i dati appena inseriti o aggiornati. Tuttavia, questo metodo non tiene conto dei record eliminati, il che può causare incoerenze nei dati nel tempo.
Con l’acquisizione dei dati di modifica, un dato flusso acquisisce e applica tutte le modifiche, inclusi inserimenti, aggiornamenti ed eliminazioni. Allo stesso modo, i set di dati di Experience Platform rimangono completamente sincronizzati con il sistema di origine.
È possibile utilizzare l'acquisizione dati di modifica per le origini seguenti:
Amazon S3
Verificare che _change_request_type sia presente nel file Amazon S3 che si intende acquisire in Experience Platform. Inoltre, è necessario assicurarsi che i seguenti valori validi siano inclusi nel file:
u: per inserimenti e aggiornamentid: per eliminazioni.
Se _change_request_type non è presente nel file, verrà utilizzato il valore predefinito di u.
Per i passaggi su come abilitare l'acquisizione dei dati di modifica per la connessione di origine Amazon S3, leggere la seguente documentazione:
Azure Blob
Verificare che _change_request_type sia presente nel file Azure Blob che si intende acquisire in Experience Platform. Inoltre, è necessario assicurarsi che i seguenti valori validi siano inclusi nel file:
u: per inserimenti e aggiornamentid: per eliminazioni.
Se _change_request_type non è presente nel file, verrà utilizzato il valore predefinito di u.
Per i passaggi su come abilitare l'acquisizione dei dati di modifica per la connessione di origine Azure Blob, leggere la seguente documentazione:
Azure Databricks
È necessario abilitare cambiare feed dati nella tabella Azure Databricks per utilizzare l'acquisizione dati di modifica nella connessione di origine.
Utilizzare i comandi seguenti per abilitare esplicitamente l'opzione di modifica del feed dati in Azure Databricks
Nuova tabella
Per applicare il feed di dati di modifica a una nuova tabella, è necessario impostare la proprietà della tabella delta.enableChangeDataFeed su TRUE nel comando CREATE TABLE.
CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)
Tabella esistente
Per applicare il feed di dati di modifica a una tabella esistente, è necessario impostare la proprietà della tabella delta.enableChangeDataFeed su TRUE nel comando ALTER TABLE.
ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)
Tutte le nuove tabelle
Per applicare il feed dati di modifica a tutte le nuove tabelle, è necessario impostare le proprietà predefinite su TRUE.
set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;
Per ulteriori informazioni, leggere la Azure Databricks guida sull'abilitazione del feed di dati di modifica.
Per i passaggi su come abilitare l'acquisizione dei dati di modifica per la connessione di origine Azure Databricks, leggere la seguente documentazione:
Data Landing Zone
È necessario abilitare cambiare feed dati nella tabella Data Landing Zone per utilizzare l'acquisizione dati di modifica nella connessione di origine.
Utilizzare i comandi seguenti per abilitare esplicitamente l'opzione di modifica del feed dati in Data Landing Zone.
Per i passaggi su come abilitare l'acquisizione dei dati di modifica per la connessione di origine Data Landing Zone, leggere la seguente documentazione:
Google BigQuery
Per utilizzare l'acquisizione dati di modifica nella connessione di origine Google BigQuery. Passare alla pagina Google BigQuery nella console Google Cloud e impostare enable_change_history su TRUE. Questa proprietà abilita la cronologia delle modifiche per la tabella dati.
Per ulteriori informazioni, leggere la guida sulle istruzioni del linguaggio di definizione dei dati in GoogleSQL.
Per i passaggi su come abilitare l'acquisizione dei dati di modifica per la connessione di origine Google BigQuery, leggere la seguente documentazione:
Google Cloud Storage
Verificare che _change_request_type sia presente nel file Google Cloud Storage che si intende acquisire in Experience Platform. Inoltre, è necessario assicurarsi che i seguenti valori validi siano inclusi nel file:
u: per inserimenti e aggiornamentid: per eliminazioni.
Se _change_request_type non è presente nel file, verrà utilizzato il valore predefinito di u.
Per i passaggi su come abilitare l'acquisizione dei dati di modifica per la connessione di origine Google Cloud Storage, leggere la seguente documentazione:
SFTP
Verificare che _change_request_type sia presente nel file SFTP che si intende acquisire in Experience Platform. Inoltre, è necessario assicurarsi che i seguenti valori validi siano inclusi nel file:
u: per inserimenti e aggiornamentid: per eliminazioni.
Se _change_request_type non è presente nel file, verrà utilizzato il valore predefinito di u.
Per i passaggi su come abilitare l'acquisizione dei dati di modifica per la connessione di origine SFTP, leggere la seguente documentazione:
Snowflake
Devi abilitare il rilevamento delle modifiche nelle tabelle Snowflake per utilizzare l'acquisizione dei dati di modifica nelle connessioni di origine.
In Snowflake, abilitare il rilevamento delle modifiche utilizzando ALTER TABLE e impostando CHANGE_TRACKING su TRUE.
ALTER TABLE mytable SET CHANGE_TRACKING = TRUE
Per ulteriori informazioni, leggere la Snowflake guida sull'utilizzo della clausola changes.
Per i passaggi su come abilitare l'acquisizione dei dati di modifica per la connessione di origine Snowflake, leggere la seguente documentazione: