API でのソース接続の change data capture の有効化
作成対象:
- 開発者
Adobe Experience Platform ソースでのチェンジ・データ・キャプチャは、ソース・システムとデスティネーション・システム間のリアルタイムのデータ同期を維持するために使用できる機能です。
現在、Experience Platformでは、ソースシステムで新しく作成または更新されたレコードが、取り込まれたデータセットに定期的にコピーされるようにする 増分データコピー をサポートしています。 このプロセスは、変更を追跡し、新しく挿入または更新されたデータのみ を取得するために LastModified
など タイムスタンプ列 を使用することに依存します。 ただし、この方法ではレコードの削除が考慮されないため、時間の経過と共にデータに不整合が生じる可能性があります。
変更データのキャプチャでは、特定のフローがキャプチャされ、挿入、更新、削除を含むすべての変更が適用されます。 同様に、Experience Platform データセットは、ソースシステムと完全に同期されたままになります。
CHANGE DATA CAPTURE は、次のソースに対して使用できます。
Amazon S3
Experience Platformに取り込む _change_request_type
ファイルに Amazon S3 が存在することを確認します。 さらに、次の有効な値がファイルに含まれていることを確認する必要があります。
u
:挿入および更新用d
:削除用。
ファイルに _change_request_type
が存在しない場合は、デフォルト値の u
が使用されます。
Amazon S3 ソース接続の change data capture を有効にする手順については、次のドキュメントを参照してください。
Azure Blob
Experience Platformに取り込む _change_request_type
ファイルに Azure Blob が存在することを確認します。 さらに、次の有効な値がファイルに含まれていることを確認する必要があります。
u
:挿入および更新用d
:削除用。
ファイルに _change_request_type
が存在しない場合は、デフォルト値の u
が使用されます。
Azure Blob ソース接続の change data capture を有効にする手順については、次のドキュメントを参照してください。
Azure Databricks
ソース接続で change data capture を使用するには、テーブルで change data feedAzure Databricks を有効にする必要があります。
次のコマンドを使用して、Azure Databricks で「データフィードを変更」オプションを明示的に有効にします
新規テーブル
変更データフィードを新しいテーブルに適用するには、delta.enableChangeDataFeed
コマンドでテーブルプロパティ TRUE
を CREATE TABLE
に設定する必要があります。
CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)
既存のテーブル
変更データフィードを既存のテーブルに適用するには、delta.enableChangeDataFeed
コマンドでテーブルプロパティ TRUE
を ALTER TABLE
に設定する必要があります。
ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)
すべての新規テーブル
すべての新規テーブルに変更データフィードを適用するには、デフォルトのプロパティを TRUE
に設定する必要があります。
set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;
詳しくは、Azure Databricks 変更データフィードの有効化に関するガイドを参照してください。
Azure Databricks ソース接続の change data capture を有効にする手順については、次のドキュメントを参照してください。
Data Landing Zone
ソース接続で change data capture を使用するには、テーブルで change data feedData Landing Zone を有効にする必要があります。
次のコマンドを使用して、Data Landing Zone で「データフィードを変更」オプションを明示的に有効にします。
Data Landing Zone ソース接続の change data capture を有効にする手順については、次のドキュメントを参照してください。
Google BigQuery
Google BigQuery ソース接続でチェンジ データ キャプチャを使用するには Google BigQuery コンソールで Google Cloud ページに移動し、enable_change_history
を TRUE
に設定します。 このプロパティは、データ テーブルの変更履歴を有効にします。
詳しくは、 のデータ定義言語ステートメント GoogleSQL に関するガイドを参照してください。
Google BigQuery ソース接続の change data capture を有効にする手順については、次のドキュメントを参照してください。
Google Cloud Storage
Experience Platformに取り込む _change_request_type
ファイルに Google Cloud Storage が存在することを確認します。 さらに、次の有効な値がファイルに含まれていることを確認する必要があります。
u
:挿入および更新用d
:削除用。
ファイルに _change_request_type
が存在しない場合は、デフォルト値の u
が使用されます。
Google Cloud Storage ソース接続の change data capture を有効にする手順については、次のドキュメントを参照してください。
SFTP
Experience Platformに取り込む _change_request_type
ファイルに SFTP が存在することを確認します。 さらに、次の有効な値がファイルに含まれていることを確認する必要があります。
u
:挿入および更新用d
:削除用。
ファイルに _change_request_type
が存在しない場合は、デフォルト値の u
が使用されます。
SFTP ソース接続の change data capture を有効にする手順については、次のドキュメントを参照してください。
Snowflake
ソース接続で Change Data Capture を使用するには、テーブルで 変更の追跡 Snowflake を有効にする必要があります。
Snowflake では、ALTER TABLE
を使用し、CHANGE_TRACKING
を TRUE
に設定して、変更の追跡を有効にします。
ALTER TABLE mytable SET CHANGE_TRACKING = TRUE
詳しくは、Snowflake changes 句の使用に関するガイドを参照してください。
Snowflake ソース接続の change data capture を有効にする手順については、次のドキュメントを参照してください。