Notificações de ingestão de dados

O processo de assimilação de dados no Adobe Experience Platform é composto de várias etapas. Depois que você identificar os arquivos de dados que precisam ser ingeridos, o processo de ingestão será iniciado e cada etapa ocorrerá consecutivamente até que os dados sejam ingeridos com êxito ou falhem. Platform O processo de ingestão pode ser iniciado usando a API de ingestão de dados da Adobe Experience Platform ou a interface do Experience Platform usuário.

Os dados carregados em Platform devem passar por várias etapas para chegar ao destino, ao local Data Lake ou ao Real-time Customer Profile armazenamento de dados. Cada etapa envolve o processamento dos dados, a validação dos dados e o armazenamento dos dados antes de passá-los para a próxima etapa. Dependendo da quantidade de dados que está sendo ingerida, isso pode se tornar um processo demorado e sempre há uma chance de o processo falhar devido a erros de validação, semântica ou processamento. No evento de uma falha, os problemas de dados precisam ser corrigidos e todo o processo de ingestão deve ser reiniciado usando os arquivos de dados corrigidos.

Para auxiliar no monitoramento do processo de ingestão, Experience Platform torna possível assinar um conjunto de eventos publicados em cada etapa do processo, notificando o status dos dados ingeridos e de possíveis falhas.

Registrar um webhook para notificações de ingestão de dados

Para receber notificações de ingestão de dados, você deve usar o Console do desenvolvedor do Adobe para registrar um webhook na integração do Experience Platform.

Siga o tutorial sobre como assinar Adobe I/O Event as notificações para obter etapas detalhadas sobre como fazer isso.

IMPORTANTE

Durante o processo de subscrição, selecione Notificações da plataforma como o provedor do evento e selecione a subscrição de evento de notificação de ingestão de dados quando solicitado.

Receber notificações de ingestão de dados

Depois que você tiver registrado com êxito seu webhook e novos dados tiverem sido ingeridos, você poderá receber notificações de evento. Esses eventos podem ser visualizados usando o próprio webhook ou selecionando a guia Rastreamento de depuração na visão geral de registro de eventos do seu projeto no Console do desenvolvedor do Adobe.

O seguinte JSON é um exemplo de uma carga de notificação que seria enviada para o seu webhook no caso de um evento de ingestão em lote com falha:

{
  "event_id": "93a5b11a-b0e6-4b29-ad82-81b1499cb4f2",
  "event": {
    "xdm:ingestionId": "01EGK8H8HF9JGFKNDCABHGA24G",
    "xdm:customerIngestionId": "01EGK8H8HF9JGFKNDCABHGA24G",
    "xdm:imsOrg": "{IMS_ORG}",
    "xdm:completed": 1598374341560,
    "xdm:datasetId": "5e55b556c2ae4418a8446037",
    "xdm:eventCode": "ing_load_failure",
    "xdm:sandboxName": "prod",
    "sentTime": "1598374341595",
    "processStartTime": 1598374342614,
    "transformedTime": 1598374342621,
    "header": {
      "_adobeio": {
        "imsOrgId": "{IMS_ORG}",
        "providerMetadata": "aep_observability_catalog_events",
        "eventCode": "platform_event"
      }
    }
  }
}
Propriedade Descrição
event_id Uma ID exclusiva gerada pelo sistema para a notificação.
event Um objeto que contém os detalhes do evento que acionou a notificação.
event.xdm:datasetId A ID do conjunto de dados ao qual o evento de ingestão se aplica.
event.xdm:eventCode Um código de status que indica o tipo de evento que foi acionado para o conjunto de dados. Consulte o apêndice para obter valores específicos e suas definições.

Para visualização do schema completo para notificações de eventos, consulte o repositório GitHubpúblico.

Próximas etapas

Depois de registrar Platform notificações para o seu projeto, você poderá visualização eventos recebidos da visão geral doprojeto. Consulte o guia sobre o rastreamento de Eventos de E/S de Adobe para obter instruções detalhadas sobre como rastrear seus eventos.

Apêndice

A seção a seguir contém informações adicionais sobre a interpretação de cargas de notificação de ingestão de dados.

Eventos de notificação de status disponíveis

A tabela a seguir lista as notificações de status de ingestão de dados disponíveis que podem ser assinadas.

Código do evento Serviço de plataforma Status Descrição do Evento
ing_load_success Data Ingestion success Um lote foi assimilado com êxito em um conjunto de dados dentro do Data Lake.
ing_load_failure Data Ingestion falha Falha ao assimilar um lote em um conjunto de dados dentro do Data Lake.
ps_load_success Real-time Customer Profile success Um lote foi ingerido com êxito no repositório de Profile dados.
ps_load_failure Real-time Customer Profile falha Falha ao assimilar um lote no repositório de Profile dados.
ig_load_success Identity Service success Os dados foram carregados com êxito no gráfico de identidade.
ig_load_failure Identity Service falha Falha ao carregar os dados no gráfico de identidade.
Observação

Há apenas um tópico de evento fornecido para todas as notificações de ingestão de dados. Para distinguir entre diferentes status, é possível usar o código do evento.

Nesta página