[限定提供]{class="badge informative"}
Data Mirrorの概要
Data Mirrorは、モデルベースのスキーマを使用して、外部データベースからデータレイクに行レベルの変更を取り込めるAdobe Experience Platform機能です。 アップストリームの抽出、変換、読み込み(ETL)プロセスを必要とせずに、データの関係を保持し、一意性を確保し、バージョン管理をサポートします。
Data Mirrorを使用して、Snowflake、Databricks、BigQuery などの外部システムからの挿入、更新、削除(可変データ)をExperience Platformに直接同期します。 これにより、データを Platform に取り込む際に、既存のデータベースモデル構造とデータの整合性を維持できます。
機能とメリット
Data Mirrorには、データベース同期に必要な次の機能が用意されています。
- プライマリキーの適用: データセット内の一意性を確保し、取り込み中にレコードが重複するのを防ぎます。
- 行レベルの変更の取り込み:精度の高い制御によるアップサートや削除を含む、詳細なデータ変更をサポートします。
- スキーマの関係:記述子を使用して、データセット間の外部キーとプライマリキーの関係を有効にします。
- 順不同のイベント処理:順不同で到着した場合でも、バージョンとタイムスタンプの記述子を使用して変更イベントを処理します。
- ウェアハウスの直接統合:ほぼリアルタイムの変更同期のために、サポートされているクラウドデータウェアハウスと接続します。
Data Mirrorを使用して、ソースシステムから直接変更内容を取り込み、スキーマの整合性を適用し、分析、journey orchestration、コンプライアンスワークフローでデータを使用できるようにします。 Data Mirrorを使用すると、既存のデータベースモデルを直接ミラーリングできるので、複雑なアップストリーム ETL プロセスが不要になり、実装が迅速化されます。
Data Mirrorでモデルベースのスキーマを実装する際に、削除およびデータハイジーンの要件に備えて計画します。 すべてのアプリケーションは、デプロイメント前に、削除が関連データセット、コンプライアンスワークフローおよびダウンストリームプロセスに与える影響を考慮する必要があります。
前提条件 prerequisites
始める前に、Experience Platformの以下のコンポーネントを理解し、お使いの環境が技術的および構造的要件を満たしていることを確認する必要があります。
- Experience Platform UI またはAPI でのスキーマ 作成
- クラウドソース接続の設定
- 変更データ・キャプチャの概念の適用(アップサート、削除)
- 標準スキーマと モデルベースのスキーマを区別する
- 記述子を使用した構造関係の定義
実装要件
Data Mirrorが正しく機能するには、Platform インスタンスとソースデータが特定の要件を満たしている必要があります。 Data Mirrorには、制約を適用した柔軟なデータ構造である モデルベースのスキーマ が必要です。 現在、Data Mirrorは主にモデルベースのスキーマで動作しますが、標準 XDM スキーマとの統合は、今後の B2B カスタムオブジェクト機能(2025 年 10 月予定)を通じてサポートされる予定です。
すべてのスキーマに プライマリキーとバージョン記述子 を含めます。 時系列スキーマを扱う場合は、タイムスタンプ記述子 も必要です。
外部データベースは、変更データの取得をサポートしているか、挿入、更新、削除を識別するメタデータを提供している必要があります。 Source データには、1 つのフィールドまたは複合プライマリキーと バージョン情報 のいずれかの 一意の ID を含める必要があります。これにより、システムは正しい順序で更新を適用できます。
削除を検出するには、各レコードがアップサートか削除かを指定する _change_request_type
列を追加します。
Data Mirrorの実装 implementation-workflow
標準の取り込みアプローチとは異なり、Data MirrorはExperience Platform データレイク内でデータベースモデル構造を保持します。 このデータ構造の一貫性により、外部の前処理が不要になります。 Data Mirrorの実装ワークフローの概要を次に示します。 チームのワークフローとソースシステムに基づいて実装方法を選択します。
スキーマ構造の定義
必要な記述子 スキーマの動作と制約を定義するメタデータ)を使用して、 モデルベースのスキーマ」を作成します。 UI から、または直接 API から、チームのワークフローに合った方法を選択します。
- UI アプローチ: スキーマエディターでモデルベースのスキーマを作成
- API アプローチ: スキーマレジストリ API を使用したスキーマの作成
関係のマッピングとデータ管理の定義
関係記述子を使用してデータセット間の接続を定義します。 データセット間の関係を管理し、データ品質を維持します。 これらのタスクは、一貫性のある結合を保証し、データハイジーン要件への準拠をサポートします。
- スキーマの関係: 記述子を使用してデータセット間の関係を定義します
- レコードハイジーン: 精度レコードの削除を管理
ソース接続の設定
ソースシステムとユースケースに基づいて取り込み方法を選択します。 各オプションは、異なるレベルの自動化、変換、スケーラビリティをサポートします。
- クラウドソース接続の設定
- SQL 取得:データDistillerを使用して、リレーショナルデータセットに書き込みます
- ファイルのアップロード:バッチまたは 1 回限りの取り込み用にファイルを手動でアップロードします
チェンジ データ キャプチャの取り込みを有効にする
サポートされているクラウドデータウェアハウスを使用して、change data capture 接続を設定します。 一意性を維持し、正しい順序で更新を適用しながら、行レベルの変更を取り込みます。
- Change Data Capture: ソース接続で Change Data Capture を有効にします
よくあるユースケース use-cases
Data Mirrorが正確なデータ同期と関係維持をサポートしている場合の、以下に示す一般的なユースケースを確認します。 各シナリオでは、Data Mirrorが分析、オーケストレーション、コンプライアンス全体で一般的なビジネスニーズをどのようにサポートするかを示します。
リレーショナルデータモデリング
Data Mirrorで モデルベースのスキーマ(リレーショナルスキーマとも呼ばれます)を使用して、行レベルでエンティティ、プロセスの挿入、更新、削除を表し、データソースに存在するプライマリキーと外部キーの関係を維持します。 このアプローチにより、リレーショナルデータモデリングの原則がExperience Platformに取り込まれ、データセット間の構造の一貫性が確保されます。
ウェアハウスからレイクへの同期
イベントデータ、顧客インタラクションログ、キャンペーンイベントおよび補助データを、サポートされているクラウドデータウェアハウスからExperience Platformにミラーリングします。 これにより、キャンペーンの実施要件、ターゲティングの精度、メッセージの順序がサポートされます。 Journey OptimizerとReal-Time CDP B2B は、ほぼリアルタイムのオーケストレーションロジックでこれを利用しています。
Customer Journey Analyticsの統合
コールセンターやチャットログなどのシステムからの web クリック数、製品表示、購入、サポートインタラクションなど、時系列イベントを同期します。 完全な変更履歴は、正確なトレンド分析と行動セグメント化をサポートします。 Customer Journey Analytics用Experience Platform Data Mirrorでは、これを使用してソースシステムからのアップサートと削除が反映されます。
B2B リレーションシップモデリング
アカウント間階層、サブスクリプションとアカウント間階層、連絡先と地域の階層などの関係を保持します。 これらは、セグメント化、リードスコアリング、商談トラッキングおよびマルチチャネルコーディネーションをサポートします。 関係を統合する標準の取り込みとは異なり、Data Mirrorでは、より正確なモデリングを実現するために、記述子を使用してネイティブに関係を維持します。
購読管理
完全なバージョン履歴を使用して、更新、キャンセル、アップグレード、ダウングレード、計画変更などのイベントを追跡します。 これにより、リテンションキャンペーン、チャーン予測、ライフサイクルベースのセグメント化がサポートされます。 完全な履歴により、行動インサイトと正確なターゲティングが可能になります。
データハイジーン操作
チェンジ・データ・キャプチャを使用して、コンプライアンス(規制対象の業界など)やクリーンアップ・ワークフローに関する正確な記録レベルの削除を可能にします。 Data Mirrorは、接続されたデータセット間で関連データを保持しながら、削除を正確に適用します。
重要な考慮事項 considerations
これらの主な考慮事項を確認し、サポートされるスキーマの動作、取り込み方法、関係パターンに実装が従っていることを確認します。 適切な計画を立てることで、統合の問題を回避し、正確なデータモデリングを実現できます。
データの削除とハイジーンの要件
モデルベースのスキーマとData Mirrorを使用するすべてのアプリケーションは、データ削除の影響を理解する必要があります。 モデルベースのスキーマを使用すると、接続されたデータセット全体の関連データに影響を与える可能性のある、正確なレコードレベルの削除が可能になります。 これらの削除機能は、特定の使用例に関係なく、データの整合性、コンプライアンス、ダウンストリームのアプリケーション動作に影響を与えます。 実装前に データハイジーン要件を確認し、削除シナリオを計画します。
スキーマの動作の選択
モデルベースのスキーマは、デフォルトで レコードの動作 に設定され、エンティティの状態(顧客、アカウントなど)を取得します。 イベントを追跡するために 時系列の動作 が必要な場合は、明示的に設定する必要があります。
取り込み方法の比較
この比較表を使用すると、リアルタイム同期、SQL ベースの変換、手動のファイル・アップロードのいずれが必要であっても、データ・ニーズに最適な取り込み方法を選択できます。
関係の制限
Data Mirrorでは、記述子を使用した 1 対 1 および 多対 1 の関係をサポートしています。 多対多 関係には追加のモデリングが必要で、直接サポートされていません。
次の手順
この概要を確認すると、Data Mirrorがユースケースに適しているかどうかを判断し、実装要件を理解できるようになります。 開始するには:
- データアーキテクト は、データモデルがプライマリキー、バージョン管理および変更追跡機能をサポートしているかどうかを評価する必要があります。
- ビジネスの関係者 は、モデルベースのスキーマのサポートと必要なExperience Platform エディションがライセンスに含まれていることを確認してください。
- スキーマデザイナー は、必要な記述子、フィールドの関係、データガバナンスのニーズを特定するために、スキーマ構造を計画する必要があります。
- 実装チーム は、ソースシステム、リアルタイム要件、運用ワークフローに基づいて、取り込み方法を選択する必要があります。
実装について詳しくは、 モデルベースのスキーマのドキュメントを参照してください。