Catalog Servicevisão geral

Catalog Service é o sistema de registro para localização e linhagem de dados no Adobe Experience Platform. Embora todos os dados inseridos Experience Platform sejam armazenados no Data Lake como arquivos e diretórios, Catalog os metadados e a descrição desses arquivos e diretórios são mantidos para fins de pesquisa e monitoramento.

Simplificando, Catalog atua como um armazenamento de metadados ou "catálogo" no qual você pode encontrar informações sobre seus dados no Experience Platform. Você pode usar Catalog para responder as seguintes perguntas:

  • Onde meus dados estão localizados?
  • Em que fase de processamento estão esses dados?
  • Que sistemas ou processos agiram em meus dados?
  • Quantos dados foram processados com êxito?
  • Quais erros ocorreram durante o processamento?

Catalog fornece uma RESTful API que permite gerenciar programaticamente Platform metadados usando operações CRUD básicas. Consulte o guia do desenvolvedor Catálogo para obter mais informações.

Catalog e Experience Platform serviços

Os recursos que Catalog Service rastreiam são usados por vários Experience Platform serviços. Para aproveitar ao máximo Catalog’s os recursos, é recomendável que você se familiarize com esses serviços e com como eles interagem Catalog.

Experience Data Model Sistema (XDM)

Experience Data Model (XDM) O sistema é a estrutura padronizada pela qual Platform organiza os dados de experiência do cliente. Experience Platform aproveita os schemas XDM para descrever a estrutura dos dados de forma consistente e reutilizável.

Quando os dados são ingeridos, Platforma estrutura desses dados é mapeada para um schema XDM e armazenada dentro do Data Lake como parte de um conjunto de dados. Os metadados de cada conjunto de dados são rastreados por Catalog Service, o que inclui uma referência ao schema XDM ao qual o conjunto de dados está em conformidade.

Para obter informações mais gerais sobre o Sistema XDM, consulte a visão geral do SistemaXDM.

Data Ingestion

Experience Platform assimila dados de várias fontes e persiste registros como conjuntos de dados no Data Lake. Catalog rastreia os metadados desses conjuntos de dados, independentemente da origem ou do método de ingestão.

Ao usar o método de ingestão em lote, Catalog também rastreia metadados adicionais para arquivos em lote. Lotes são unidades de dados que consistem em um ou mais arquivos que serão assimilados como uma única unidade. Catalog rastreia os metadados desses arquivos em lote, bem como os conjuntos de dados nos quais eles são persistentes após a ingestão. Os metadados do lote incluem informações sobre o número de registros ingeridos com êxito, bem como quaisquer registros com falha e mensagens de erro associadas.

Consulte a visão geral da ingestão de dados para obter mais informações.

Catalog objetos

Conforme descrito na seção anterior, Catalog rastreia metadados para vários tipos de recursos e operações usados por outros Platform serviços. Catalog mantém sua própria loja de "objetos" que encapsulam esses metadados. Catalog objetos são representações consultáveis de Platform dados que permitem pesquisar, monitorar e rotular seus dados sem precisar acessar os próprios dados.

A tabela a seguir descreve os diferentes tipos de objetos suportados por Catalog:

Objeto Ponto de extremidade da API Definição
Account /accounts Ao criar conexões de origem, as credenciais de autenticação devem ser fornecidas. Uma conta representa uma coleção de credenciais de autenticação que foram usadas para criar uma conexão de um tipo específico. Cada conexão tem um conjunto de parâmetros exclusivos que são persistentes por Catalog e protegidos em um Azure Key Vault.
Lote /batches Lotes são unidades de dados que consistem em um ou mais arquivos que serão assimilados como uma única unidade. Um objeto em lote Catalog descreve as métricas de ingestão do lote (como o número de registros processados ou o tamanho no disco) e também pode incluir links para conjuntos de dados, visualizações e outros recursos que foram afetados pela operação em lote.
Conexão /connections Uma conexão é uma única instância de um conector de origem, exclusivo para sua organização e configurado usando as credenciais de autenticação apropriadas para o tipo de conector.
Conector /connectors Os conectores definem como as conexões de origem devem coletar dados de outros aplicativos de Adobe (como o Adobe Analytics e o Adobe Audience Manager), fontes de armazenamento em nuvem de terceiros (como Azure Blob, Amazon S3servidores FTP e servidores SFTP) e sistemas CRM de terceiros (como Microsoft Dynamics e Salesforce).
Conjunto de dados /dataSets Um conjunto de dados é um armazenamento e uma construção de gerenciamento usados para a coleta de dados (geralmente uma tabela) que contém um schema (colunas) e campos (linhas). See the datasets overview for more information.
Arquivo de conjunto de dados /datasetFiles Os arquivos de conjunto de dados representam blocos de dados que foram salvos em Platform. Como registros de arquivos literais, é onde você pode encontrar o tamanho do arquivo, o número de registros que ele contém e uma referência ao lote que assimilou o arquivo.

Próximas etapas

Este documento forneceu uma introdução ao Catalog Service e como ele funciona dentro do maior escopo de Experience Platform. Consulte o guia Catalog do desenvolvedor para obter etapas sobre como interagir com os diferentes pontos de extremidade dessa Catalog API. É recomendável que você também consulte o guia sobre a filtragem de dados do catálogo para seguir as práticas recomendadas para limitar os dados retornados nas respostas da API.

Nesta página