Catalog Service の概要

Catalog Service は、Adobe Experience Platform 内のデータの場所と系列の記録システムです。Experience Platform に取り込まれるすべてのデータは Data Lake にファイルおよびディレクトリとして保存されますが、Catalog には、参照や監視のために、これらのファイルおよびディレクトリのメタデータと説明が保持されます。

簡単に言えば、Catalog はメタデータストア(「カタログ」)として機能し、Experience Platform 内のデータに関する情報を検索できます。Catalog を使用して、次の質問に答えることができます。

  • データの場所
  • データが処理のどの段階であるか。
  • データに対してどのようなシステムまたはプロセスが作用しているか。
  • 正常に処理されたデータの量
  • 処理中に発生したエラー

Catalog には、基本的な CRUD 操作を使用して Platform メタデータをプログラムで管理できる RESTful API が用意されています。詳しくは、『カタログ開発者ガイド』を参照してください。

Catalog および Experience Platform サービス

Catalog Service で追跡するリソースは、複数の Experience Platform サービスで使用されます。Catalog’s の機能を最大限に活用するために、これらのサービスと、それらの Catalog とのやり取りについて理解することをお勧めします。

Experience Data Model(XDM)システム

Experience Data Model(XDM)システムは、Platform が顧客体験データを整理する際に使用する標準化されたフレームワークです。Experience Platform は、XDM スキーマを活用して、一貫した再利用可能な方法でデータの構造を記述します。

データが Platform に取り込まれると、そのデータの構造が XDM スキーマにマッピングされ、データセットの一部として Data Lake 内に保存されます。各データセットのメタデータは、データセットが準拠する XDM スキーマへの参照を含む Catalog Service によって追跡されます。

XDM システムの一般的な情報については、「XDM システムの概要」を参照してください。

Data Ingestion

Experience Platform は、複数のソースからデータを取得し、Data Lake 内にデータセットとしてレコードを保持します。Catalog は、取得元や取得方法に関係なく、これらのデータセットのメタデータを追跡します。

バッチ取得法を使用する場合、Catalog はバッチファイルの追加のメタデータも追跡します。バッチとは、単一の単位として取得される 1 つ以上のファイルで構成されるデータの単位です。Catalog は、これらのバッチファイルのメタデータと、取得後に保持されるデータセットを追跡します。バッチメタデータには、正常に取得されたレコードの数、失敗したレコードおよび関連するエラーメッセージに関する情報が含まれます。

詳しくは、「データ取得の概要」を参照してください。

Catalog オブジェクト

前の節で説明したように、Catalog は、他の Platform サービスで使用される複数の種類のリソースおよび操作のメタデータを追跡します。Catalog は、このメタデータをカプセル化する「オブジェクト」の独自のストアを維持します。Catalogオブジェクトは、データ自体にアクセスする必要なく、データの検索、監視、ラベル付けをおこなえる、Platform データのクエリ可能な表現です。

次の表に、Catalog でサポートされる各種オブジェクトの概要を示します。

オブジェクト
API エンドポイント
定義
バッチ
/batches
バッチとは、単一の単位として取得される 1 つ以上のファイルで構成されるデータの単位です。Catalog 内のバッチオブジェクトは、バッチの取得指標(処理されたレコード数やディスク上のサイズなど)の概要を示し、バッチ操作の影響を受けたデータセット、ビュー、その他のリソースへのリンクも含みます。
データセット
/dataSets
データセットは、スキーマ(列)とフィールド(行)を含むデータ(通常はテーブル)の収集に使用されるストレージと管理の構成体です。詳しくは、データセットの概要を参照してください。
データセットファイル
/datasetFiles
データセットファイルは、Platform に保存されたデータのブロックを表します。リテラルファイルのレコードについては、ファイルのサイズ、ファイルに含まれるレコードの数、およびファイルを取得したバッチへの参照を見つけることができます。

次の手順

このドキュメントでは、Catalog Service の概要と、より広い範囲の Experience Platform においてどのように機能するかを説明しました。その Catalog API の様々なエンドポイントの操作手順については、Catalog デベロッパーガイドを参照してください。API 応答で返されるデータを制限するベストプラクティスに従うために、カタログデータのフィルタリングに関するガイドも参照することをお勧めします。

recommendation-more-help
c5c02be6-79a3-4a2f-b766-136bffe8b676