Catalog Servicevisão geral

Catalog Service é o sistema de registro para localização e linhagem de dados no Adobe Experience Platform. Embora todos os dados assimilados em Experience Platform sejam armazenados no Data Lake como arquivos e diretórios, Catalog retém os metadados e a descrição desses arquivos e diretórios para fins de pesquisa e monitoramento.

Simplificando, Catalog atua como um armazenamento de metadados ou "catálogo", onde você pode encontrar informações sobre seus dados em Experience Platform. Você pode usar Catalog para responder as seguintes perguntas:

  • Onde meus dados estão localizados?
  • Em que fase de processamento se encontram esses dados?
  • Quais sistemas ou processos agiram em meus dados?
  • Quantos dados foram processados com êxito?
  • Quais erros ocorreram durante o processamento?

Catalog O fornece uma RESTful API que permite gerenciar programaticamente Platform metadados usando operações básicas de CRUD. Consulte o Guia do desenvolvedor do catálogo para obter mais informações.

Catalog e Experience Platform serviços

Os recursos que Catalog Service rastreia são usados por vários serviços Experience Platform. Para aproveitar ao máximo os recursos Catalog’s, é recomendável que você se familiarize com esses serviços e como eles interagem com Catalog.

Experience Data Model Sistema (XDM)

Experience Data Model (XDM) System é a estrutura padronizada pela qual Platform organiza os dados de experiência do cliente. Experience Platform Usa esquemas XDM para descrever a estrutura dos dados de uma maneira consistente e reutilizável.

Quando os dados são assimilados em Platform, a estrutura desses dados é mapeada para um esquema XDM e armazenada no Data Lake como parte de um conjunto de dados. Os metadados para cada conjunto de dados são rastreados por Catalog Service, que inclui uma referência ao esquema XDM ao qual o conjunto de dados está em conformidade.

Para obter informações mais gerais sobre o Sistema XDM, consulte a Visão geral do Sistema XDM.

Data Ingestion

Experience Platform O assimila dados de várias fontes e mantém registros como conjuntos de dados no Data Lake. Catalog rastreia os metadados desses conjuntos de dados, independentemente da origem ou do método de assimilação.

Ao usar o método de ingestão em lote, Catalog também rastreia metadados adicionais para arquivos em lote. Lotes são unidades de dados que consistem em um ou mais arquivos que serão assimilados como uma única unidade. Catalog rastreia os metadados desses arquivos em lote, bem como os conjuntos de dados em que eles persistem após a assimilação. Os metadados de lote incluem informações sobre o número de registros assimilados com êxito, bem como quaisquer registros com falha e mensagens de erro associadas.

Consulte a visão geral da assimilação de dados para obter mais informações.

Catalog objetos

Conforme descrito na seção anterior, Catalog rastreia metadados para vários tipos de recursos e operações que são usados por outros serviços Platform. Catalog O mantém seu próprio armazenamento de "objetos" que encapsulam esses metadados. Catalog objetos são representações consultáveis de Platform dados que permitem pesquisar, monitorar e rotular os dados sem precisar acessar os dados propriamente ditos.

A tabela a seguir descreve os diferentes tipos de objetos suportados por Catalog:

Objeto Ponto de extremidade da API Definição
Conta /accounts Ao criar conexões de origem, as credenciais de autenticação devem ser fornecidas. Uma conta representa uma coleção de credenciais de autenticação que foram usadas para criar uma conexão de um tipo específico. Cada conexão tem um conjunto de parâmetros exclusivos que são mantidos por Catalog e protegidos em um Azure Key Vault.
Em lote /batches Lotes são unidades de dados que consistem em um ou mais arquivos que serão assimilados como uma única unidade. Um objeto em lote em Catalog descreve as métricas de assimilação do lote (como o número de registros processados ou o tamanho no disco) e também pode incluir links para conjuntos de dados, exibições e outros recursos que foram afetados pela operação em lote.
Conexão /connections Uma conexão é uma única instância de um conector de origem, exclusivo de sua organização e configurado usando as credenciais de autenticação apropriadas para o tipo de conector.
Conector /connectors Os conectores definem como as conexões de origem são para coletar dados de outros aplicativos do Adobe (como Adobe Analytics e Adobe Audience Manager), fontes de armazenamento em nuvem de terceiros (como Azure Blob, Amazon S3, servidores FTP e servidores SFTP) e sistemas CRM de terceiros (como Microsoft Dynamics e Salesforce).
Conjunto de dados /dataSets Um conjunto de dados é uma construção de armazenamento e gerenciamento usada para a coleta de dados (geralmente uma tabela) que contém um esquema (colunas) e campos (linhas). Consulte a visão geral dos conjuntos de dados para obter mais informações.
Arquivo do conjunto de dados /datasetFiles Os arquivos do conjunto de dados representam blocos de dados que foram salvos em Platform. Como registros de arquivos literais, é aqui que você pode encontrar o tamanho do arquivo, o número de registros que ele contém e uma referência ao lote que assimilou o arquivo.

Próximas etapas

Este documento forneceu uma introdução a Catalog Service e como ele funciona dentro do escopo maior de Experience Platform. Consulte o Catalog guia do desenvolvedor para obter etapas sobre como interagir com os diferentes endpoints dessa API Catalog. É recomendável consultar o guia em filtrar dados do catálogo para seguir as práticas recomendadas para limitar os dados retornados nas respostas da API.

Nesta página