Visão geral do Catalog Service

O Catalog Service é o sistema de registro para localização e linhagem de dados na Adobe Experience Platform. Embora todos os dados assimilados na Experience Platform sejam armazenados no Data Lake como arquivos e diretórios, o Catalog retém os metadados e a descrição desses arquivos e diretórios para fins de pesquisa e monitoramento.

Simplificando, o Catalog atua como um armazenamento de metadados ou “catálogo”, onde você pode encontrar informações sobre seus dados na Experience Platform. Você pode usar o Catalog para responder às seguintes perguntas:

  • Onde meus dados estão localizados?
  • Em que fase de processamento se encontram esses dados?
  • Quais sistemas ou processos atuaram em meus dados?
  • Quantos dados foram processados com sucesso?
  • Quais erros ocorreram durante o processamento?

O Catalog fornece uma API RESTful que permite gerenciar programaticamente os metadados da Platform utilizando operações CRUD básicas. Consulte o Guia do desenvolvedor do catálogo para obter mais informações.

Serviços do Catalog e da Experience Platform

Os recursos que o Catalog Service rastreia são usados por vários serviços da Experience Platform. Para aproveitar ao máximo os recursos do Catalog’s, recomendamos que você se familiarize com esses serviços e como eles interagem com o Catalog.

Sistema de Experience Data Model (XDM)

O Sistema de Experience Data Model (XDM) é a estrutura padronizada pela qual a Platform organiza os dados de experiência do cliente. A Experience Platform utiliza esquemas XDM para descrever a estrutura dos dados de forma consistente e reutilizável.

Quando os dados são assimilados na Platform, a estrutura desses dados é mapeada para um esquema XDM e armazenada no Data Lake como parte de um conjunto de dados. Os metadados de cada conjunto de dados são rastreados pelo Catalog Service, que inclui uma referência ao esquema XDM com o qual o conjunto de dados está em conformidade.

Para obter informações mais gerais sobre o Sistema de XDM, consulte a Visão geral do Sistema de XDM.

Data Ingestion

A Experience Platform assimila dados de várias origens e mantém registros como conjuntos de dados no Data Lake. O Catalog rastreia os metadados desses conjuntos de dados, independentemente da origem ou do método de assimilação.

Ao utilizar o método de assimilação em lote, o Catalog também rastreia metadados adicionais para arquivos em lote. Lotes são unidades de dados que consistem em um ou mais arquivos que serão assimilados como uma única unidade. O Catalog rastreia os metadados desses arquivos em lote, bem como os conjuntos de dados em que eles são mantidos após a assimilação. Os metadados de lote incluem informações sobre o número de registros assimilados com sucesso, bem como os registros com falha e mensagens de erro associadas.

Consulte a visão geral da assimilação de dados para obter mais informações.

Objetos do Catalog

Conforme descrito na seção anterior, o Catalog rastreia metadados para vários tipos de recursos e operações usados por outros serviços da Platform. O Catalog mantém seu próprio armazenamento de “objetos” que encapsulam esses metadados. Os objetos do Catalog são representações consultáveis de dados da Platform que permitem pesquisar, monitorar e rotular os dados sem precisar acessá-los.

A tabela a seguir descreve os diferentes tipos de objetos aceitos pelo Catalog:

Objeto
Ponto de acesso da API
Definição
Lote
/batches
Lotes são unidades de dados que consistem em um ou mais arquivos que serão assimilados como uma única unidade. Um objeto em lote no Catalog descreve as métricas de assimilação do lote (como o número de registros processados ou o tamanho no disco) e também pode incluir links para conjuntos de dados, visualizações e outros recursos que foram afetados pela operação em lote.
Conjunto de dados
/dataSets
Um conjunto de dados é uma construção de armazenamento e gerenciamento usada para a coleta de dados (normalmente uma tabela) que contenham um esquema (colunas) e campos (linhas). Consulte a visão geral dos conjuntos de dados para obter mais informações.
Arquivo de conjunto de dados
/datasetFiles
Os arquivos de conjunto de dados representam blocos de dados que foram salvos na Platform. Como registros de arquivos literais, eles contém informações sobre o tamanho do arquivo, o número de registros que ele contém e uma referência ao lote que assimilou o arquivo.

Próximas etapas

Este documento forneceu uma introdução ao Catalog Service e como ele funciona dentro do escopo mais amplo da Experience Platform. Consulte o Catalog guia do desenvolvedor para conferir as etapas de interação com diferentes pontos de acesso da API do Catalog. É recomendável que você também consulte o guia sobre Filtragem de dados do catálogo para saber as práticas recomendadas para limitar os dados retornados nas respostas da API.

recommendation-more-help
c5c02be6-79a3-4a2f-b766-136bffe8b676