Ingestão parcial em lote

A ingestão parcial em lote é a capacidade de assimilar dados que contenham erros, até um certo limite. Com esse recurso, os usuários podem assimilar com êxito todos os seus dados corretos no Adobe Experience Platform enquanto todos os dados incorretos são armazenados separadamente em lote, juntamente com detalhes sobre o motivo pelo qual são inválidos.

Este documento fornece um tutorial para gerenciar a ingestão parcial em lote.

Introdução

Este tutorial requer um conhecimento prático dos vários serviços da Adobe Experience Platform envolvidos com a ingestão parcial de lote. Antes de iniciar este tutorial, reveja a documentação dos seguintes serviços:

• Ingestão em lote: O método que Platform ingere e armazena dados de arquivos de dados, como CSV e Parquet.
• Experience Data Model (XDM): A estrutura padronizada pela qual Platform organiza os dados de experiência do cliente.

As seções a seguir fornecem informações adicionais que você precisará saber para fazer chamadas com êxito para Platform APIs.

Lendo chamadas de exemplo da API

Este guia fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações. Isso inclui caminhos, cabeçalhos necessários e cargas de solicitação formatadas corretamente. O JSON de amostra retornado em respostas de API também é fornecido. Para obter informações sobre as convenções usadas na documentação para chamadas de API de amostra, consulte a seção em como ler chamadas de API de exemplo no guia de solução de problemas Experience Platform.

Reunir valores para cabeçalhos necessários

Para fazer chamadas para Platform APIs, você deve primeiro concluir o tutorial de autenticação. A conclusão do tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas de API Experience Platform, como mostrado abaixo:

• Autorização: Portador {ACCESS_TOKEN}
• x-api-key: {API_KEY}
• x-gw-ims-org-id: {IMS_ORG}

Todos os recursos em Experience Platform são isolados para caixas de proteção virtuais específicas. Todas as solicitações para Platform APIs exigem um cabeçalho que especifique o nome da caixa de proteção em que a operação ocorrerá:

• x-sandbox-name: {SANDBOX_NAME}

Habilitar um lote para ingestão parcial em lote na API

Você pode criar um novo lote com a ingestão parcial ativada.

Para criar um novo lote, siga as etapas no guia do desenvolvedor de ingestão em lote. Depois de atingir a etapa Criar lote, adicione o seguinte campo no corpo da solicitação:

{
    "enableErrorDiagnostics": true,
    "partialIngestionPercentage": 5
}

Ative um lote para a ingestão parcial em lote na interface do usuário

Para habilitar um lote para ingestão parcial por meio da interface do usuário Platform, você pode criar um novo lote por meio de conexões de origem, criar um novo lote em um conjunto de dados existente ou criar um novo lote por meio do "Mapear CSV para o fluxo XDM".

Criar uma nova conexão de origem

Para criar uma nova conexão de origem, siga as etapas listadas em Visão geral das Fontes. Depois de atingir a etapa Detalhe do Fluxo de Dados, anote os campos Inclusão parcial e Diagnóstico de Erro.

A alternância ingestão parcial permite ativar ou desativar a utilização da ingestão parcial em lote.

A alternância Diagnóstico de erro só aparece quando a alternância ingestão parcial está desativada. Este recurso permite que Platform gere mensagens de erro detalhadas sobre os lotes ingeridos. Se a alternância ingestão parcial estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.

O Limite de erro permite definir a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.

Usar um conjunto de dados existente

Para usar um conjunto de dados existente, selecione um start selecionando um conjunto de dados. A barra lateral à direita é preenchida com informações sobre o conjunto de dados.

A alternância ingestão parcial permite ativar ou desativar a utilização da ingestão parcial em lote.

A alternância Diagnóstico de erro só aparece quando a alternância ingestão parcial está desativada. Este recurso permite que Platform gere mensagens de erro detalhadas sobre os lotes ingeridos. Se a alternância ingestão parcial estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.

O Limite de erro permite definir a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.

Agora, você pode fazer upload de dados usando o botão Adicionar dados, e eles serão ingeridos usando a ingestão parcial.

Use o fluxo "Mapear CSV para schema XDM"

Para usar o fluxo "Mapear CSV para o schema XDM", siga as etapas listadas em Mapear um arquivo CSV tutorial. Depois de atingir a etapa Adicionar dados, anote os campos Inclusão parcial e Diagnóstico de erro.

A alternância ingestão parcial permite ativar ou desativar a utilização da ingestão parcial em lote.

A alternância Diagnóstico de erro só aparece quando a alternância ingestão parcial está desativada. Este recurso permite que Platform gere mensagens de erro detalhadas sobre os lotes ingeridos. Se a alternância ingestão parcial estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.

O limite de erros permite definir a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.

Próximas etapas

Este tutorial aborda como criar ou modificar um conjunto de dados para permitir a ingestão parcial em lote. Para mais informações sobre a ingestão em lote, leia o guia do desenvolvedor de ingestão em lote.

Para obter informações sobre como monitorar erros de ingestão parcial, leia o guia de diagnóstico de erro de ingestão em lote.