Información general del Catalog Service

Catalog Service es el sistema de registro para la ubicación y el linaje de datos dentro de Adobe Experience Platform. Mientras que todos los datos que se incorporan a Experience Platform se almacenan en Data Lake como archivos y directorios, Catalog guarda los metadatos y la descripción de esos archivos y directorios con fines de búsqueda y monitorización.

En pocas palabras, Catalog actúa como un almacén de metadatos o un "catálogo" donde puede encontrar información sobre sus datos en Experience Platform. Puede utilizar Catalog para responder a las siguientes preguntas:

  • ¿Dónde se encuentran mis datos?
  • ¿En qué fase de procesamiento se encuentran estos datos?
  • ¿Qué sistemas o procesos han actuado sobre mis datos?
  • ¿Cuántos datos se procesaron correctamente?
  • ¿Qué errores se han producido durante el procesamiento?

Catalog proporciona una API RESTful que le permite administrar Platform metadatos mediante programación mediante operaciones CRUD básicas. Consulte la Guía para desarrolladores de catálogo para obtener más información.

Catalog y Experience Platform servicios

Los recursos que Catalog Service rastrea son utilizados por varios servicios Experience Platform. Para aprovechar al máximo las capacidades de Catalog’s, se recomienda que se familiarice con estos servicios y con cómo interactúan con Catalog.

Experience Data Model Sistema (XDM)

Experience Data Model (XDM) El sistema es el marco estandarizado mediante el cual se Platform organizan los datos de experiencia del cliente. Experience Platform aprovecha los esquemas XDM para describir la estructura de los datos de una manera consistente y reutilizable.

Cuando los datos se incorporan en Platform, la estructura de esos datos se asigna a un esquema XDM y se almacena dentro de Data Lake como parte de un conjunto de datos. Los metadatos de cada conjunto de datos se rastrean mediante Catalog Service, que incluye una referencia al esquema XDM con el que se ajusta el conjunto de datos.

Para obtener información más general sobre el sistema XDM, consulte la información general del sistema XDM.

Data Ingestion

Experience Platform Ingesta datos de varias fuentes y mantiene registros como conjuntos de datos dentro de Data Lake. Catalog rastrea los metadatos de estos conjuntos de datos, independientemente de su origen o método de ingesta.

Al utilizar el método de ingesta por lotes, Catalog también realiza el seguimiento de metadatos adicionales para archivos por lotes. Los lotes son unidades de datos compuestas por uno o más archivos que se van a introducir como una sola unidad. Catalog rastrea los metadatos de estos archivos por lotes, así como los conjuntos de datos en los que se conservan tras la ingesta. Los metadatos del lote incluyen información sobre el número de registros introducidos correctamente, así como los registros fallidos y los mensajes de error asociados.

Consulte la información general sobre la ingesta de datos para obtener más información.

Catalog objetos

Como se describe en la sección anterior, Catalog rastrea metadatos de varios tipos de recursos y operaciones que utilizan otros servicios Platform. Catalog mantiene su propio almacén de "objetos" que encapsula estos metadatos. Catalog Los objetos son representaciones consultables de Platform datos que permiten buscar, supervisar y etiquetar los datos sin necesidad de acceder a los datos en sí.

La siguiente tabla describe los distintos tipos de objetos admitidos por Catalog:

Objeto Punto de conexión de API Definición
Cuenta /accounts Al crear conexiones de origen, se deben proporcionar credenciales de autenticación. Una cuenta representa una colección de credenciales de autenticación que se utilizaron para crear una conexión de un tipo específico. Cada conexión tiene un conjunto de parámetros únicos que Catalog persiste y que se protegen en Azure Key Vault.
Lote /batches Los lotes son unidades de datos compuestas por uno o más archivos que se van a introducir como una sola unidad. Un objeto de lote en Catalog describe las métricas de ingesta del lote (como el número de registros procesados o el tamaño del disco) y también puede incluir vínculos a conjuntos de datos, vistas y otros recursos que se vieron afectados por la operación por lotes.
Conexión /connections Una conexión es una instancia única de un conector de origen, único para su organización y configurado con las credenciales de autenticación adecuadas para el tipo de conector.
Conector /connectors Los conectores definen cómo se recopilan las conexiones de origen de otras aplicaciones de Adobe (como Adobe Analytics y Adobe Audience Manager), fuentes de almacenamiento en la nube de terceros (como Azure Blob, Amazon S3, servidores FTP y servidores SFTP) y sistemas CRM de terceros (como Microsoft Dynamics y Salesforce).
Conjunto de datos /dataSets Un conjunto de datos es una construcción de almacenamiento y administración que se utiliza para la recopilación de datos (normalmente una tabla) que contiene un esquema (columnas) y campos (filas). Consulte la descripción general de los conjuntos de datos para obtener más información.
Archivo de conjunto de datos /datasetFiles Los archivos de conjunto de datos representan bloques de datos que se han guardado en Platform. Como registros de archivos literales, aquí es donde puede encontrar el tamaño del archivo, el número de registros que contiene y una referencia al lote que ingerió el archivo.

Pasos siguientes

Este documento ofrecía una introducción a Catalog Service y cómo funciona dentro del bueno ámbito de Experience Platform. Consulte la Catalog guía para desarrolladores para ver los pasos necesarios para interactuar con los diferentes extremos de esa API Catalog. Se recomienda consultar la guía sobre el filtrado de datos del catálogo para seguir las prácticas recomendadas para limitar los datos devueltos en las respuestas de API.

En esta página