Ingestão parcial por lote

A assimilação parcial em lote é a capacidade de assimilar dados que contêm erros, até um determinado limite. Com esse recurso, os usuários podem assimilar com êxito todos os dados corretos no Adobe Experience Platform, enquanto todos os dados incorretos são armazenados em lote separadamente, juntamente com detalhes sobre o motivo pelo qual são inválidos.

Este documento fornece um tutorial para gerenciar a assimilação parcial de lote.

Introdução

Este tutorial requer um conhecimento prático dos vários serviços da Adobe Experience Platform envolvidos com a assimilação parcial em lote. Antes de iniciar este tutorial, reveja a documentação dos seguintes serviços:

• Ingestão em lote: O método que Platform assimila e armazena dados de arquivos de dados, como CSV e Parquet.
• Experience Data Model (XDM): A estrutura padronizada pela qual Platform organiza os dados de experiência do cliente.

As seções a seguir fornecem informações adicionais que você precisará saber para fazer chamadas com êxito para as APIs Platform.

Lendo exemplos de chamadas de API

Este guia fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações do . Isso inclui caminhos, cabeçalhos necessários e cargas de solicitação formatadas corretamente. O JSON de exemplo retornado nas respostas da API também é fornecido. Para obter informações sobre as convenções usadas na documentação para chamadas de API de exemplo, consulte a seção sobre como ler chamadas de API de exemplo no Experience Platform guia de solução de problemas.

Coletar valores para cabeçalhos necessários

Para fazer chamadas para Platform APIs, primeiro complete o tutorial de autenticação. A conclusão do tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas de API Experience Platform, conforme mostrado abaixo:

• Autorização: Portador {ACCESS_TOKEN}
• x-api-key: {API_KEY}
• x-gw-ims-org-id: {IMS_ORG}

Todos os recursos em Experience Platform são isolados para sandboxes virtuais específicas. Todas as solicitações para Platform APIs exigem um cabeçalho que especifica o nome da sandbox em que a operação ocorrerá:

• x-sandbox-name: {SANDBOX_NAME}

Habilite um lote para assimilação parcial de lote na API

Você pode criar um novo lote com a assimilação parcial ativada.

Para criar um novo lote, siga as etapas no guia do desenvolvedor de assimilação de lote. Depois de atingir a etapa Create batch, adicione o seguinte campo no corpo da solicitação:

{
    "enableErrorDiagnostics": true,
    "partialIngestionPercentage": 5
}

Habilite um lote para a assimilação em lote parcial na interface do usuário

Para habilitar um lote para assimilação parcial por meio da interface Platform, você pode criar um novo lote por meio de conexões de origem, criar um novo lote em um conjunto de dados existente ou criar um novo lote por meio do "Map CSV to XDM flow".

Criar uma nova conexão de origem

Para criar uma nova conexão de origem, siga as etapas listadas no Sources overview. Depois de atingir a etapa Dataflow detail, anote os campos Partial ingestion e Error diagnostics.

A opção Partial ingestion permite ativar ou desativar o uso de assimilação parcial de lote.

A opção Error diagnostics só aparece quando o botão Partial ingestion está desligado. Esse recurso permite que Platform gere mensagens de erro detalhadas sobre seus lotes assimilados. Se a opção Partial ingestion estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.

O Error threshold permite definir a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.

Usar um conjunto de dados existente

Para usar um conjunto de dados existente, comece selecionando um conjunto de dados. A barra lateral à direita é preenchida com informações sobre o conjunto de dados.

A opção Partial ingestion permite ativar ou desativar o uso de assimilação parcial de lote.

A opção Error diagnostics só aparece quando o botão Partial ingestion está desligado. Esse recurso permite que Platform gere mensagens de erro detalhadas sobre seus lotes assimilados. Se a opção Partial ingestion estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.

O Error threshold permite definir a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.

Agora, você pode fazer upload de dados usando o botão Add data e eles serão assimilados usando a assimilação parcial.

Use o fluxo "Map CSV to XDM schema"

Para usar o fluxo "Map CSV to XDM schema", siga as etapas listadas no Tutorial Mapear um arquivo CSV. Depois de atingir a etapa Add data, anote os campos Partial ingestion e Error diagnostics.

A opção Partial ingestion permite ativar ou desativar o uso de assimilação parcial de lote.

A opção Error diagnostics só aparece quando o botão Partial ingestion está desligado. Esse recurso permite que Platform gere mensagens de erro detalhadas sobre seus lotes assimilados. Se a opção Partial ingestion estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.

Error threshold permite definir a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.

Próximas etapas

Este tutorial aborda como criar ou modificar um conjunto de dados para permitir a assimilação em lote parcial. Para obter mais informações sobre a ingestão em lote, leia o guia do desenvolvedor de ingestão em lote.

Para obter informações sobre como monitorar erros de ingestão parcial, leia o guia de diagnóstico de erro de ingestão em lote.