Información general del Catalog Service

Catalog Service es el sistema de registro para la ubicación y el linaje de datos dentro de Adobe Experience Platform. Mientras que todos los datos que se incorporan en Experience Platform se almacena en Data Lake como archivos y directorios, Catalog contiene los metadatos y la descripción de esos archivos y directorios para fines de búsqueda y supervisión.

En pocas palabras, Catalog actúa como un almacén de metadatos o catálogo en el que puede encontrar información sobre sus datos dentro de Experience Platform. Puede utilizar Catalog para responder a las siguientes preguntas:

¿Dónde se encuentran mis datos?
¿En qué fase del procesamiento se encuentran estos datos?
¿Qué sistemas o procesos han actuado en mis datos?
¿Cuántos datos se procesaron correctamente?
¿Qué errores se han producido durante el procesamiento?

Catalog proporciona una API RESTful que le permite administrar mediante programación Platform metadatos que utilizan operaciones básicas de CRUD. Consulte la Guía para desarrolladores de catálogos para obtener más información.

Catalog y Experience Platform servicios

Los recursos que Catalog Service varias pistas las utilizan Experience Platform servicios. Para sacar el máximo partido a Catalog’s funciones, se recomienda que se familiarice con estos servicios y con cómo interactúan con Catalog.

Experience Data Model Sistema (XDM)

Experience Data Model (XDM) El sistema es el marco estandarizado mediante el cual Platform organiza los datos de experiencia del cliente. Experience Platform aprovecha los esquemas XDM para describir la estructura de los datos de una manera uniforme y reutilizable.

Cuando se incorporan datos en Platform, la estructura de esos datos se asigna a un esquema XDM y se almacena en el Data Lake como parte de un conjunto de datos. Los metadatos de cada conjunto de datos se rastrean mediante Catalog Service, que incluye una referencia al esquema XDM al que se ajusta el conjunto de datos.

Para obtener información más general sobre el sistema XDM, consulte la Información general del sistema XDM.

Data Ingestion

Experience Platform ingiere datos de varias fuentes y conserva registros como conjuntos de datos dentro de la variable Data Lake. Catalog rastrea los metadatos de estos conjuntos de datos, independientemente de su origen o método de ingesta.

Al utilizar el método de ingesta por lotes, Catalog también realiza un seguimiento de metadatos adicionales para archivos por lotes. Los lotes son unidades de datos compuestas por uno o más archivos que se van a introducir como una sola unidad. Catalog rastrea los metadatos de estos archivos por lotes, así como los conjuntos de datos en los que se mantienen después de la ingesta. Los metadatos por lotes incluyen información sobre el número de registros ingeridos correctamente, así como sobre los registros con errores y los mensajes de error asociados.

Consulte la información general sobre ingesta de datos para obtener más información.

Catalog objetos

Como se indica en la sección anterior, Catalog realiza un seguimiento de los metadatos de varios tipos de recursos y operaciones utilizados por otros Platform servicios. Catalog mantiene su propio almacén de "objetos" que encapsulan estos metadatos. Catalog Los objetos son representaciones consultables de Platform datos que le permiten buscar, monitorizar y etiquetar sus datos sin necesidad de acceder a los propios datos.

En la tabla siguiente se describen los distintos tipos de objetos admitidos por Catalog:

Objeto	Extremo de API	Definición
Lote	`/batches`	Los lotes son unidades de datos compuestas por uno o más archivos que se van a introducir como una sola unidad. Un objeto por lotes en Catalog describe las métricas de ingesta del lote (como el número de registros procesados o el tamaño en disco) y también puede incluir vínculos a conjuntos de datos, vistas y otros recursos afectados por la operación por lotes.
Conjunto de datos	`/dataSets`	Un conjunto de datos es una construcción de almacenamiento y administración que se utiliza para recopilar datos (normalmente una tabla) que contiene un esquema (columnas) y campos (filas). Consulte la información general sobre conjuntos de datos para obtener más información.
Archivo de conjunto de datos	`/datasetFiles`	Los archivos de conjuntos de datos representan bloques de datos que se han guardado en Platform. Como registros de archivos literales, aquí es donde puede encontrar el tamaño del archivo, el número de registros que contiene y una referencia al lote que ingerió el archivo.

Pasos siguientes

Este documento proporciona una introducción a Catalog Service y cómo funciona dentro del bueno ámbito de Experience Platform. Consulte la Catalog guía para desarrolladores para ver los pasos necesarios para interactuar con los diferentes extremos de Catalog API. Se recomienda consultar también la guía sobre filtrado de datos de catálogo para seguir las prácticas recomendadas y limitar los datos devueltos en las respuestas de API.