在API中啟用來源連線的變更資料擷取
Adobe Experience Platform來源中的變更資料擷取是一項功能,可用來維持來源和目的地系統之間的即時資料同步。
目前Experience Platform支援 增量資料副本,這可確保來源系統中新建立或更新過的記錄會定期複製到內嵌的資料集。 此程式依賴 時間戳記資料行 (例如LastModified
)的使用來追蹤變更並擷取 僅新插入或更新過的資料。 不過,此方法不會將已刪除的記錄納入考量,這可能會導致一段時間內的資料不一致。
透過變更資料擷取,特定流程會擷取並套用所有變更,包括插入、更新和刪除。 同樣地,Experience Platform資料集仍會與來源系統完全同步。
您可以對下列來源使用變更資料擷取:
Amazon S3
確定您打算擷取至Experience Platform的_change_request_type
檔案中有Amazon S3。 此外,您必須確定檔案中包含下列有效值:
u
:用於插入和更新d
:用於刪除。
如果您的檔案中沒有_change_request_type
,則會使用預設值u
。
請閱讀下列檔案,以瞭解如何為Amazon S3來源連線啟用變更資料擷取的步驟:
Azure Blob
確定您打算擷取至Experience Platform的_change_request_type
檔案中有Azure Blob。 此外,您必須確定檔案中包含下列有效值:
u
:用於插入和更新d
:用於刪除。
如果您的檔案中沒有_change_request_type
,則會使用預設值u
。
請閱讀下列檔案,以瞭解如何為Azure Blob來源連線啟用變更資料擷取的步驟:
Azure Databricks
您必須啟用 資料表中的 變更資料摘要Azure Databricks,才能在來源連線中使用變更資料擷取。
使用以下命令明確啟用Azure Databricks中的變更資料摘要選項
新資料表
若要將變更資料摘要套用至新的資料表,您必須在delta.enableChangeDataFeed
命令中將資料表屬性TRUE
設定為CREATE TABLE
。
CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)
現有的資料表
若要將變更資料摘要套用至現有的資料表,您必須在delta.enableChangeDataFeed
命令中將資料表屬性TRUE
設定為ALTER TABLE
。
ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)
所有新資料表
若要將變更資料摘要套用至所有新表格,您必須將預設屬性設定為TRUE
。
set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;
如需詳細資訊,請閱讀啟用變更資料摘要Azure Databricks 的指南。
請閱讀下列檔案,以瞭解如何為Azure Databricks來源連線啟用變更資料擷取的步驟:
- 建立 Azure Databricks 基本連線。
- 為資料庫建立來源連線。
Data Landing Zone
您必須啟用 資料表中的 變更資料摘要Data Landing Zone,才能在來源連線中使用變更資料擷取。
使用以下命令明確啟用Data Landing Zone中的變更資料摘要選項。
請閱讀下列檔案,以瞭解如何為Data Landing Zone來源連線啟用變更資料擷取的步驟:
Google BigQuery
若要在您的Google BigQuery來源連線中使用變更資料擷取。 在Google BigQuery主控台中導覽至您的Google Cloud頁面,並將enable_change_history
設定為TRUE
。 此屬性可啟用資料表變更記錄。
如需詳細資訊,請閱讀 GoogleSQL中資料定義語言陳述式的指南。
請閱讀下列檔案,以瞭解如何為Google BigQuery來源連線啟用變更資料擷取的步驟:
- 建立 Google BigQuery 基本連線。
- 為資料庫建立來源連線。
Google Cloud Storage
確定您打算擷取至Experience Platform的_change_request_type
檔案中有Google Cloud Storage。 此外,您必須確定檔案中包含下列有效值:
u
:用於插入和更新d
:用於刪除。
如果您的檔案中沒有_change_request_type
,則會使用預設值u
。
請閱讀下列檔案,以瞭解如何為Google Cloud Storage來源連線啟用變更資料擷取的步驟:
SFTP
確定您打算擷取至Experience Platform的_change_request_type
檔案中有SFTP。 此外,您必須確定檔案中包含下列有效值:
u
:用於插入和更新d
:用於刪除。
如果您的檔案中沒有_change_request_type
,則會使用預設值u
。
請閱讀下列檔案,以瞭解如何為SFTP來源連線啟用變更資料擷取的步驟:
Snowflake
您必須啟用 資料表中的 變更追蹤Snowflake,才能在來源連線中使用變更資料擷取。
在Snowflake中,使用ALTER TABLE
並設定CHANGE_TRACKING
為TRUE
來啟用變更追蹤。
ALTER TABLE mytable SET CHANGE_TRACKING = TRUE
如需詳細資訊,請閱讀使用changes子句Snowflake 的指南。
請閱讀下列檔案,以瞭解如何為Snowflake來源連線啟用變更資料擷取的步驟:
- 建立 Snowflake 基本連線。
- 為資料庫建立來源連線。