Usar o painel de monitoramento para assimilação de data lake

Selecione Data lake no cabeçalho principal do painel de monitoramento para exibir sua taxa de assimilação de data lake.

O painel de monitoramento com o cartão de origens selecionado.

O gráfico Taxa de assimilação exibe a taxa de assimilação de dados com base no intervalo de tempo configurado. Por padrão, o painel de monitoramento exibe taxas de assimilação das últimas 24 horas. Para obter etapas sobre como configurar seu intervalo de tempo, leia o guia em configurando o intervalo de tempo de monitoramento.

O gráfico é ativado para exibir por padrão. Para ocultar o gráfico, selecione Métricas e gráficos para desabilitar a alternância e ocultar o gráfico.

O gráfico de métricas da taxa de assimilação.

A parte inferior do painel exibe uma tabela que descreve o relatório de métricas atuais para todos os fluxos de dados de fontes existentes.

A tabela de métricas do painel de monitoramento.

MétricasDescrição
Registros recebidosO número total de registros recebidos de uma determinada fonte.
Registros assimiladosO número total de registros assimilados no data lake.
Registros ignoradosO número total de registros ignorados. Um registro ignorado se refere a campos que foram ignorados porque não foram necessários para assimilação. Por exemplo, se você criar um fluxo de dados de origens com a assimilação parcial ativada, poderá configurar um limite de taxa de erro aceitável. Durante o processo de assimilação, a assimilação ignorará registros de campos que não são obrigatórios, como campos de identidade, desde que estejam dentro do limite de erro.
Registros com falhaO número total de registros que não puderam ser assimilados devido a erros.
Taxa de assimilaçãoA porcentagem de registros assimilados com base no número total de registros recebidos.
Total de fluxos de dados com falhaO número total de fluxos de dados que falharam.

Você pode filtrar ainda mais seus dados usando as opções fornecidas acima da tabela de métricas:

Opções de filtroDescrição
PesquisaUse a barra de pesquisa para filtrar sua exibição para um único tipo de origem.
OrigensSelecione Fontes para filtrar sua exibição e exibir dados de métrica por tipo de fonte. Essa é a exibição padrão que o painel de monitoramento usa.
Fluxos de dadosSelecione Fluxos de dados para filtrar sua exibição e exibir dados de métrica por fluxo de dados.
Mostrar somente falhasSelecione Mostrar somente falhas para filtrar sua visualização e exibir somente fluxos de dados que relataram falhas de assimilação.
Minhas fontesVocê pode filtrar ainda mais sua exibição usando o menu suspenso Minhas fontes. Use o menu suspenso para filtrar sua visualização por categoria. Como alternativa, você pode selecionar Todas as fontes para exibir métricas em todas as fontes ou fontes, ou selecionar Minhas fontes para exibir somente as fontes com as quais você tem uma conta correspondente.

Para monitorar os dados que estão sendo assimilados em um fluxo de dados específico, selecione o ícone de filtro filtro ao lado de uma origem.

Monitore um fluxo de dados específico selecionando o ícone de filtro ao lado de uma determinada fonte.

A tabela de métricas é atualizada para uma tabela de fluxos de dados ativos que correspondem à origem selecionada. Durante essa etapa, você pode visualizar informações adicionais sobre os fluxos de dados, incluindo o conjunto de dados e o tipo de dados correspondentes, bem como um carimbo de data e hora para indicar quando eles estavam ativos pela última vez.

Para inspecionar ainda mais um fluxo de dados, selecione o ícone de filtro filtro ao lado de um fluxo de dados.

A tabela de fluxos de dados no painel de monitoramento.

Em seguida, você é direcionado a uma interface que lista todas as iterações de execução do fluxo de dados selecionado.

As execuções de fluxo de dados representam uma instância da execução do fluxo de dados. Por exemplo, se um fluxo de dados estiver programado para ser executado por hora às 9h, 10h e 11h, você terá três instâncias de um fluxo em execução. As execuções de fluxo são específicas para sua organização específica.

Para inspecionar métricas de uma iteração de execução de fluxo de dados específica, selecione o ícone de filtro filtro ao lado do fluxo de dados.

A página de métrica de execução do fluxo de dados.

Use a página de detalhes da execução do fluxo de dados para exibir métricas e informações da iteração de execução selecionada.

A página de detalhes da execução do fluxo de dados.

Detalhes de execução do fluxo de dadosDescrição
Registros assimiladosO número total de registros assimilados da execução do fluxo de dados.
Registros com falhaO número total de registros que não foram assimilados devido a erros na execução do fluxo de dados.
Total de arquivosO número total de arquivos na execução do fluxo de dados.
Tamanho dos dadosO tamanho total dos dados contidos na execução do fluxo de dados.
execução do fluxo de dadosA ID da iteração de execução do fluxo de dados.
ID da organizaçãoA ID da organização na qual a execução do fluxo de dados foi criada.
StatusO status da execução do fluxo de dados.
Início da execução do fluxo de dadosUm carimbo de data e hora que indica quando a execução do fluxo de dados foi iniciada.
Término da execução do fluxo de dadosUm carimbo de data e hora que indica quando a execução do fluxo de dados terminou.
Conjunto de dadosO conjunto de dados usado para criar o fluxo de dados.
Tipo de dadosO tipo de dados que estava no fluxo de dados.
Assimilação parcialA assimilação parcial de lotes é a capacidade de assimilar dados que contêm erros até um determinado limite configurável. Esse recurso permite assimilar com sucesso todos os seus dados precisos na Experience Platform, enquanto todos os seus dados incorretos são armazenados em lote separadamente com informações sobre por que são inválidos. Você pode ativar a assimilação parcial durante o processo de criação do fluxo de dados.
Diagnóstico de erroO diagnóstico de erro instrui a origem a produzir diagnósticos de erro que você poderá consultar posteriormente ao monitorar a atividade do conjunto de dados e o status do fluxo de dados. Você pode habilitar diagnósticos de erro durante o processo de criação do fluxo de dados.
Resumo do erroDada uma execução de fluxo de dados com falha, o resumo do erro exibe um código e uma descrição do erro para resumir por que a iteração de execução falhou.

Se o fluxo de dados executar erros, você pode rolar para baixo até a parte inferior da página usar a interface Erros de execução do fluxo de dados.

Use a seção Registros com falha para exibir métricas em registros que não foram assimilados devido a erros. Para exibir um relatório de erros abrangente, selecione Visualizar diagnóstico de erro. Para baixar uma cópia do diagnóstico de erros e do manifesto de arquivo, selecione Baixar e copie a chamada de API de exemplo a ser usada com a API Data Access.

NOTE
Você só poderá usar diagnósticos de erro se o recurso tiver sido habilitado durante o processo de criação da conexão de origem.