[限定提供]{class="badge informative"}
Data Mirrorの概要
Data Mirrorは、リレーショナルスキーマを使用して、外部データベースからデータレイクに行レベルの変更取り込みを可能にするAdobe Experience Platform機能です。 データ関係を維持し、一意性を確保し、バージョン管理をサポートすることで、アップストリームの抽出、変換、読み込み(ETL)プロセスを必要としません。
Data Mirrorを使用すると、Snowflake、Databricks、BigQueryなどの外部システムからの挿入、更新、削除(可変データ)をExperience Platformに直接同期できます。 これにより、データをPlatformに取り込む際に、既存のデータベースモデル構造とデータの整合性を維持できます。
機能と利点
Data Mirrorには、データベースの同期に必要な次の機能が用意されています。
- プライマリキーの適用: データセット内で一意性を確保し、取り込み中にレコードが重複するのを防ぎます。
- 行レベルの変更取り込み:正確な制御によるアップサートや削除を含む詳細なデータ変更をサポートします。
- スキーマ関係:記述子を使用して、データセット間の外部キーとプライマリキーの関係を有効にします。
- 順序なしのイベント処理:順序が正しくない場合でも、バージョン記述子とタイムスタンプ記述子を使用してイベントを変更するプロセスです。
- 直接ウェアハウス統合:サポートされているクラウドデータウェアハウスと接続して、ほぼリアルタイムの変更同期を実現します。
Data Mirrorを使用すると、ソースシステムから変更を直接取り込み、スキーマの整合性を適用し、データを分析、ジャーニーオーケストレーション、コンプライアンスワークフローに使用できます。 Data Mirrorでは、既存のデータベースモデルを直接ミラーリングできるので、複雑なアップストリーム ETL プロセスを排除して、実装を迅速化できます。
Data Mirrorを使用してリレーショナルスキーマを実装する際に、削除とデータハイジーン要件を計画します。 すべてのアプリケーションは、デプロイメントの前に、削除が関連するデータセット、コンプライアンスワークフロー、ダウンストリームプロセスにどのような影響を与えるかを考慮する必要があります。
前提条件 prerequisites
まず、Adobe Experience Platformの次のコンポーネントを理解し、自社の環境が技術的および構造的要件を満たしていることを確認する必要があります。
- Experience Platform UIまたはAPIでスキーマを作成
- クラウドソース接続の設定
- 変更データキャプチャの概念を適用 (アップサート、削除)
- 標準と リレーショナルスキーマ の区別
- 記述子を使用した構造関係の定義
実装の必要システム構成
Platform インスタンスとソースデータは、Data Mirrorが適切に機能するための特定の要件を満たす必要があります。 Data Mirrorには リレーショナルスキーマ が必要です。これは、強制的な制約を持つ柔軟なデータ構造です。
すべてのスキーマに プライマリキーとバージョン記述子 を含めます。 時系列スキーマを使用する場合は、タイムスタンプ記述子も必要です。
外部データベースは、変更データキャプチャをサポートするか、挿入、更新、削除を識別するメタデータを提供する必要があります。 Source データには、システムが正しい順序で更新を適用できるように、1つのフィールドまたは複合プライマリキーまたは バージョン情報 の 一意のID が含まれている必要があります。
削除を検出するには、各レコードがアップサートか削除かを指定する_change_request_type列を追加します。
Data Mirrorの実装 implementation-workflow
標準的な取り込みアプローチとは異なり、Data MirrorはExperience Platform データレイク内でデータベースモデル構造を保持します。 このデータ構造の一貫性により、外部の前処理が不要になります。 次に、Data Mirrorの導入ワークフローの概要を示します。 チームのワークフローとソースシステムにもとづいて、実装方法を選択します。
スキーマ構造の定義
必要な記述子(スキーマの動作と制約を定義するメタデータ)を使用して リレーショナルスキーマ を作成します。 UIまたはAPIを通じて、チームのワークフローに合った方法を選択できます。
- UI アプローチ: スキーマエディターでリレーショナルスキーマを作成
- API アプローチ: スキーマレジストリ APIを使用したスキーマの作成
関係のマッピングおよびデータ管理の定義
関係記述子を使用して、データセット間の接続を定義します。 データセットをまたいで関係を管理し、データ品質を維持。 これらのタスクは結合の一貫性を確保し、データハイジーン要件へのコンプライアンスをサポートします。
- スキーマ関係: 記述子を使用してデータセット間の関係を定義
- レコードのハイジーン: 関係スキーマに基づいてデータセットの精度レコード削除を管理
ソース接続の設定
ソースシステムとユースケースにもとづいて、取り込み方法を選択します。 各オプションは、さまざまなレベルの自動化、変換、スケーラビリティをサポートしています。
- クラウドソース接続の設定
- SQL取り込み: Data Distillerを使用して、リレーショナルデータセットに書き込みます
- ファイルのアップロード:バッチまたは1回限りの取り込み用にファイルを手動でアップロードします
変更データキャプチャの取り込みを有効にする
サポートされているクラウドデータウェアハウスでデータキャプチャ接続の変更を設定します。 一意性を維持しながら、行レベルの変更を取り込み、正しい順序で更新を適用します。
- データキャプチャの変更: ソース接続でデータキャプチャの変更を有効にする
よくあるユースケース use-cases
Data Mirrorが正確なデータ同期と関係維持をサポートする一般的なユースケースを次に示します。 各シナリオは、Data Mirrorが、分析、オーケストレーション、コンプライアンスなど、一般的なビジネスニーズをどのようにサポートしているかを示しています。
関係データモデリング
Data Mirrorの リレーショナルスキーマ を使用して、エンティティを表し、行レベルで挿入、更新、削除を処理し、データソースに存在するプライマリキーと外部キーの関係を維持します。 このアプローチにより、Experience Platformに関係データモデリングの原則がもたらされ、データセット全体で構造的な一貫性を確保できます。
ウェアハウスとレイクの同期
イベントデータ、顧客インタラクションログ、キャンペーンイベント、サポートされているクラウドデータウェアハウスからの補助データをExperience Platformにミラーリングします。 これにより、キャンペーンの適格性、ターゲティングの精度、メッセージのシーケンス化がサポートされます。 Journey OptimizerとReal-Time CDP B2Bは、ほぼリアルタイムのオーケストレーションロジックにこれを活用しています。
Customer Journey Analyticsとの連携
web クリック、製品ビュー、購入、コールセンターやチャットログなどのシステムからのサポートインタラクションなど、時系列イベントを同期します。 変更履歴を包括的に把握することで、正確なトレンド分析と行動セグメンテーションが可能になります。 Experience Platform Data Mirror Customer Journey Analytics版では、これを使用して、ソースシステムからのアップサートと削除を反映します。
B2B関係モデリング
アカウントと連絡先、購読とアカウント、連絡先と地域の階層などの関係を維持できます。 セグメンテーション、リードスコアリング、機会の追跡、マルチチャネルの調整に役立ちます。 関係を統合する標準的な取り込みとは異なり、Data Mirrorでは、より正確なモデリングのために記述子を使用して、関係をネイティブに維持します。
購読管理
バージョン履歴を包括的に管理して、更新、キャンセル、アップグレード、ダウングレード、計画の変更などのイベントを追跡できます。 これにより、リテンション施策、解約予測、ライフサイクルベースのセグメンテーションを推進できます。 履歴を包括的に把握することで、行動に関するインサイトの獲得や的確なターゲティングが可能になります。
データハイジーン運用
変更データキャプチャを使用することで、コンプライアンス(規制の厳しい業界など)のための正確なレコードレベルの削除とワークフローのクリーンアップが可能になります。 Data Mirrorは、接続されたデータセット全体で関連データを保存しながら、削除を正確に適用します。
重要な検討事項 considerations
これらの重要な考慮事項を確認して、実装がサポートされているスキーマの動作、取り込み方法、関係パターンに合致していることを確認します。 適切な計画を立てることで、統合の問題を回避し、正確なデータモデリングを実現できます。
データの削除と健全性の要件
リレーショナルスキーマとData Mirrorを使用するすべてのアプリケーションは、データ削除の影響を理解する必要があります。 関係スキーマにより、接続されたデータセット全体で関連データに影響を与える可能性のある、正確なレコードレベルの削除が可能になります。 これらの削除機能は、特定のユースケースに関係なく、データの整合性、コンプライアンス、下流アプリケーションの動作に影響します。 リレーショナルスキーマ 🔗に基づいてデータセットの データハイジーン要件を確認し、実装する前に削除シナリオを計画します。
スキーマ動作の選択
リレーショナルスキーマは、エンティティの状態(顧客、アカウントなど)をキャプチャする レコードの動作 にデフォルトで設定されます。 イベント トラッキングに 時系列動作 が必要な場合は、明示的に設定する必要があります。
取り込み方法の比較
この比較表では、リアルタイム同期、SQL ベースの変換、手動でのファイルのアップロードなど、データのニーズに最適な取り込み方法を選択できます。
関係の限界
Data Mirrorでは、記述子を使用して 1対1の 関係と 多対1の 関係をサポートしています。 多対多関係は追加のモデリングが必要で、直接サポートされていません。
次の手順
この概要を確認した後、Data Mirrorが自社のユースケースに適しているかどうかを判断し、導入の要件を理解できる必要があります。 開始するには
- データアーキテクトは、データモデルを評価して、プライマリキー、バージョン管理、変更追跡機能をサポートしていることを確認する必要があります。
- ビジネス関係者は、リレーショナルスキーマのサポートと必要なExperience Platform エディションがライセンスに含まれていることを確認する必要があります。
- スキーマ デザイナーは、必要な記述子、フィールド関係、データ ガバナンスの必要性を特定するために、スキーマ構造を計画する必要があります。
- 実装チームは、ソースシステム、リアルタイム要件、および運用ワークフローに基づいて、取り込み方法を選択する必要があります。
実装の詳細については、 リレーショナルスキーマのドキュメント を参照してください。