APIでソース接続の変更データキャプチャを有効にする

Adobe Experience Platformのソースで変更データキャプチャを使用すると、ソースと宛先のシステムをほぼリアルタイムで同期できます。

Experience Platformは現在​ 増分データコピー ​をサポートしており、新しく作成または更新されたレコードをソースシステムから取り込まれたデータセットに定期的に転送します。 この方法は、変更を追跡するために​ タイムスタンプ列 ​に依存していますが、削除を検出せず、時間の経過に伴ってデータの不整合が生じる可能性があります。

これとは対照的に、変更データキャプチャは、ほぼリアルタイムで挿入、更新、削除をキャプチャして適用します。 この包括的な変更追跡により、データセットがソースシステムと完全に連携し、増分コピーがサポートするものを超えて、完全な変更履歴が提供されます。 ただし、削除操作は、ターゲットデータセットを使用するすべてのアプリケーションに影響を与えるため、特別な配慮が必要です。

Experience Platformでのデータキャプチャの変更には、リレーショナルスキーマ​を持つData Mirrorが必要です。 Data Mirrorには、次の2つの方法で変更データを提供できます。

どちらのアプローチも、関係を維持し、一意性を適用するために、リレーショナルスキーマを備えたData Mirrorが必要です。

Data Mirrorとリレーショナルスキーマ

Data Mirrorでは、リレーショナルスキーマを使用してchange data captureを拡張し、高度なデータベース同期機能を有効にします。 Data Mirrorの概要については、Data Mirrorの概要を参照してください。

リレーショナルスキーマ Experience Platformを拡張して、プライマリキーの一意性を適用したり、行レベルの変更を追跡したり、スキーマレベルの関係を定義したりできます。 変更データキャプチャを使用すると、データレイクに直接挿入、更新、削除が適用され、ETL （抽出、変換、格納）や手作業による紐付けの必要性が低減されます。

詳しくは、​ リレーショナルスキーマの概要を参照してください。

変更データ取得の関係スキーマ要件

変更データキャプチャでリレーショナルスキーマを使用する前に、次の識別子を設定します。

列の処理を制御 control-column-handling

_change_request_type列を使用して、各行の処理方法を指定します。

この列は取り込み中にのみ評価され、XDM フィールドに保存またはマッピングされません。

ワークフロー workflow

リレーショナルスキーマで変更データキャプチャを有効にするには：

ファイルベースのソースに変更データを提供する file-based-sources

ファイルベースのソース （Amazon S3、Azure Blob、Google Cloud Storage、およびSFTP）の場合は、ファイルに_change_request_type列を含めます。

上記の_change_request_type コントロール列の処理​ セクションで定義されている値を使用します。

以下のソース固有の手順に従います。

クラウドストレージソース cloud-storage-sources

次の手順に従って、クラウドストレージソースの変更データキャプチャを有効にします。

すべてのクラウドストレージソースは、上記の「_change_request_type ファイルベースのソース 」セクションで説明した同じ列形式を使用します。

データベースソース database-sources

Azure Databricks

Azure Databricksでchange data captureを使用するには、ソーステーブルで​ change data feed ​を有効にし、Experience PlatformのリレーショナルスキーマでData Mirrorを設定する必要があります。

次のコマンドを使用して、テーブルのデータフィードの変更を有効にします。

新しいテーブル

変更データ フィードを新しいテーブルに適用するには、delta.enableChangeDataFeed コマンドでテーブル プロパティ TRUEをCREATE TABLEに設定する必要があります。

CREATE TABLE student (id INT, name STRING, age INT) TBLPROPERTIES (delta.enableChangeDataFeed = true)

既存のテーブル

既存のテーブルに変更データ フィードを適用するには、delta.enableChangeDataFeed コマンドでテーブル プロパティ TRUEをALTER TABLEに設定する必要があります。

ALTER TABLE myDeltaTable SET TBLPROPERTIES (delta.enableChangeDataFeed = true)

すべての新しいテーブル

すべての新しいテーブルに変更データ フィードを適用するには、既定のプロパティをTRUEに設定する必要があります。

set spark.databricks.delta.properties.defaults.enableChangeDataFeed = true;

詳しくは、変更データフィードの有効化に関するAzure Databricks ガイド ​を参照してください。

Azure Databricks ソース接続の変更データキャプチャを有効にする手順については、次のドキュメントを参照してください。

Data Landing Zone

Data Landing Zoneでchange data captureを使用するには、ソーステーブルで​ change data feed ​を有効にし、Experience PlatformのリレーショナルスキーマでData Mirrorを設定する必要があります。

Data Landing Zone ソース接続の変更データキャプチャを有効にする手順については、次のドキュメントを参照してください。

Google BigQuery

Google BigQueryでChange Data Captureを使用するには、ソーステーブルで変更履歴を有効にし、Experience Platformでリレーショナルスキーマを使用してData Mirrorを設定する必要があります。

Google BigQuery ソース接続で変更履歴を有効にするには、Google BigQuery コンソールのGoogle Cloud ページに移動し、enable_change_historyをTRUEに設定します。 このプロパティは、データテーブルの変更履歴を有効にします。

詳しくは、​ GoogleSQLの データ定義言語ステートメントに関するガイドを参照してください。

Google BigQuery ソース接続の変更データキャプチャを有効にする手順については、次のドキュメントを参照してください。

Snowflake

Snowflakeでchange data captureを使用するには、ソーステーブルで​ change tracking ​を有効にし、Experience Platformでリレーショナルスキーマを使用してData Mirrorを設定する必要があります。

Snowflakeで、ALTER TABLEを使用してCHANGE_TRACKINGをTRUEに設定し、変更追跡を有効にします。

ALTER TABLE mytable SET CHANGE_TRACKING = TRUE

詳細については、Snowflake 変更条項の使用に関するガイド ​を参照してください。

Snowflake ソース接続の変更データキャプチャを有効にする手順については、次のドキュメントを参照してください。