SQL を使用したバッチ取り込みの調査、トラブルシューティング、検証

最終更新日： 2025年5月5日
  • トピック：

作成対象：

  • ユーザー
  • 開発者

このドキュメントでは、取り込まれたバッチのレコードを SQL で検証および検証する方法を説明します。 このドキュメントでは、次の方法を説明します。

  • データセットバッチメタデータへのアクセス
  • バッチのクエリによるトラブルシューティングとデータ整合性の確保
メモ
このガイドの一部のスクリーンショットは、DBVisualizer から取得したものです。 クエリサービスを DBVisualizer またはその他の サードパーティの BI ツールに接続する方法については、リンクされたドキュメントを参照してください。

前提条件

このドキュメントで説明する概念を理解しやすくするために、次のトピックに関する知識が必要です。

  • データ取り込み：様々な方法やプロセスなど、データをExperience Platformに取り込む方法の基本については、 データ取り込みの概要を参照してください。
  • バッチ取り込み：バッチ取り込みの基本概念については、 バッチ取り込み API の概要を参照してください。 特に、「バッチ」とは何か、およびExperience Platformのデータ取得プロセス内でどのように機能するかについて説明します。
  • データセット内のシステムメタデータ：取り込んだデータを追跡およびクエリするためにシステムメタデータフィールドを使用する方法については、 カタログサービスの概要を参照してください。
  • エクスペリエンスデータモデル（XDM）:XDM スキーマと、それらがExperience Platformに取り込まれたデータの構造と形式を表し検証する方法について詳しくは 🔗 スキーマ UI の概要 および のスキーマ構成の基本」を参照してください。

データセットバッチメタデータへのアクセス

システム列（メタデータ列）がクエリ結果に含まれるようにするには、クエリエディターで SQL コマンド set drop_system_columns=false を使用します。 SQL クエリセッションの動作を設定します。 新しいセッションを開始する場合、この入力を繰り返す必要があります。

次に、データセットのシステムフィールドを表示するには、SELECT all 文を実行して、データセットからの結果（例：select * from movie_data）を表示します。 結果には、右側の _acp_system_metadata と _ACP_BATCHID に 2 つの新しい列が含まれます。 メタデータ列 _acp_system_metadata と _ACP_BATCHID は、取り込まれたデータの論理パーティションと物理パーティションを識別するのに役立ちます。

movie_data テーブルとそのメタデータ列が表示され、ハイライト表示された DBVisualizer UI。

データがExperience Platformに取り込まれると、受信データに基づいて論理パーティションが割り当てられます。 この論理パーティションは _acp_system_metadata.sourceBatchId で表されます。 この ID は、データバッチを処理および保存する前に、データバッチを論理的にグループ化して識別するのに役立ちます。

データが処理され、データレイクに取り込まれると、_ACP_BATCHID で表される物理パーティションが割り当てられます。 この ID は、取り込まれたデータが存在するデータレイク内の実際のストレージパーティションを反映します。