Catalog Service の概要

Catalog Service は、Adobe Experience Platform 内のデータの場所と系列の記録システムです。Experience Platform に取り込まれるすべてのデータは Data Lake にファイルおよびディレクトリとして保存されますが、Catalog には、参照や監視のために、これらのファイルおよびディレクトリのメタデータと説明が保持されます。

簡単に言えば、Catalog はメタデータストア（「カタログ」）として機能し、Experience Platform 内のデータに関する情報を検索できます。Catalog を使用して、次の質問に答えることができます。

データの場所
データが処理のどの段階であるか。
データに対してどのようなシステムまたはプロセスが作用しているか。
正常に処理されたデータの量
処理中に発生したエラー

Catalog には、基本的な CRUD 操作を使用して Platform メタデータをプログラムで管理できる RESTful API が用意されています。詳しくは、『カタログ開発者ガイド』を参照してください。

Catalog および Experience Platform サービス

Catalog Service で追跡するリソースは、複数の Experience Platform サービスで使用されます。Catalog’s の機能を最大限に活用するために、これらのサービスと、それらの Catalog とのやり取りについて理解することをお勧めします。

Experience Data Model（XDM）システム

Experience Data Model（XDM）システムは、Platform が顧客体験データを整理する際に使用する標準化されたフレームワークです。Experience Platform は、XDM スキーマを活用して、一貫した再利用可能な方法でデータの構造を記述します。

データが Platform に取り込まれると、そのデータの構造が XDM スキーマにマッピングされ、データセットの一部として Data Lake 内に保存されます。各データセットのメタデータは、データセットが準拠する XDM スキーマへの参照を含む Catalog Service によって追跡されます。

XDM システムの一般的な情報については、「XDM システムの概要」を参照してください。

Data Ingestion

Experience Platform は、複数のソースからデータを取得し、Data Lake 内にデータセットとしてレコードを保持します。Catalog は、取得元や取得方法に関係なく、これらのデータセットのメタデータを追跡します。

バッチ取得法を使用する場合、Catalog はバッチファイルの追加のメタデータも追跡します。バッチとは、単一の単位として取得される 1 つ以上のファイルで構成されるデータの単位です。Catalog は、これらのバッチファイルのメタデータと、取得後に保持されるデータセットを追跡します。バッチメタデータには、正常に取得されたレコードの数、失敗したレコードおよび関連するエラーメッセージに関する情報が含まれます。

詳しくは、「データ取得の概要」を参照してください。

Catalog オブジェクト

前の節で説明したように、Catalog は、他の Platform サービスで使用される複数の種類のリソースおよび操作のメタデータを追跡します。Catalog は、このメタデータをカプセル化する「オブジェクト」の独自のストアを維持します。Catalogオブジェクトは、データ自体にアクセスする必要なく、データの検索、監視、ラベル付けをおこなえる、Platform データのクエリ可能な表現です。

次の表に、Catalog でサポートされる各種オブジェクトの概要を示します。

オブジェクト	API エンドポイント	定義
アカウント	`/accounts`	ソース接続を作成する場合は、認証資格情報を指定する必要があります。アカウントは、特定の種類の接続の作成に使用された認証資格情報のコレクションを表します。各接続には、Catalog で保持され、 Azure Key Vault で保護される一意のパラメーターのセットが含まれます。
バッチ	`/batches`	バッチとは、単一の単位として取得される 1 つ以上のファイルで構成されるデータの単位です。Catalog 内のバッチオブジェクトは、バッチの取得指標（処理されたレコード数やディスク上のサイズなど）の概要を示し、バッチ操作の影響を受けたデータセット、ビュー、その他のリソースへのリンクも含みます。
接続	`/connections`	接続はソースコネクタの単一インスタンスです。接続は組織に固有で、コネクタの種類に適した認証資格情報を使用して構成されます。
コネクタ	`/connectors`	コネクタは、ソース接続が他のアドビアプリケーション（Adobe Analytics、Adobe Audience Manager など）、サードパーティのクラウドストレージソース（Azure Blob、Amazon S3、FTP サーバー、SFTP サーバーなど）、サードパーティ CRM システム（Microsoft Dynamics や Salesforce など）からデータを収集する方法を定義します。
データセット	`/dataSets`	データセットは、スキーマ（列）とフィールド（行）を含むデータ（通常はテーブル）の収集に使用されるストレージと管理の構成体です。詳しくは、データセットの概要を参照してください。
データセットファイル	`/datasetFiles`	データセットファイルは、Platform に保存されたデータのブロックを表します。リテラルファイルのレコードについては、ファイルのサイズ、ファイルに含まれるレコードの数、およびファイルを取得したバッチへの参照を見つけることができます。

次の手順

このドキュメントでは、Catalog Service の概要と、より広い範囲の Experience Platform においてどのように機能するかを説明しました。その Catalog API の様々なエンドポイントの操作手順については、Catalog デベロッパーガイドを参照してください。API 応答で返されるデータを制限するベストプラクティスに従うために、カタログデータのフィルタリングに関するガイドも参照することをお勧めします。