Assimilação parcial de lote
A assimilação parcial de lotes é a capacidade de assimilar dados que contêm erros até um determinado limite. Com esse recurso, os usuários podem assimilar todos os dados corretos na Adobe Experience Platform com sucesso, enquanto todos os dados incorretos são armazenados em lote separadamente, juntamente com detalhes sobre o motivo da invalidade.
Este documento fornece um tutorial para gerenciar a assimilação parcial de lotes.
Introdução
Este tutorial requer um conhecimento prático dos vários serviços da Adobe Experience Platform envolvidos com a assimilação parcial de lotes. Antes de iniciar este tutorial, revise a documentação dos seguintes serviços:
- Assimilação em lote: o método que Platform assimila e armazena dados de arquivos de dados, como CSV e Parquet.
- Experience Data Model (XDM): a estrutura padronizada pela qual o Platform organiza os dados de experiência do cliente.
As seções a seguir fornecem informações adicionais que você precisará saber para fazer chamadas com êxito para as APIs do Platform.
Leitura de chamadas de API de amostra
Este manual fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações. Isso inclui caminhos, cabeçalhos necessários e conteúdos de solicitação formatados corretamente. Também fornece exemplos de JSON retornado nas respostas da API. Para obter informações sobre as convenções usadas na documentação para chamadas de API de exemplo, consulte a seção sobre como ler chamadas de API de exemplo no guia de solução de problemas Experience Platform.
Coletar valores para cabeçalhos necessários
Para fazer chamadas para APIs do Platform, primeiro complete o tutorial de autenticação. Concluir o tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas de API da Experience Platform, conforme mostrado abaixo:
- Autorização: Portador
{ACCESS_TOKEN} - x-api-key:
{API_KEY} - x-gw-ims-org-id
{ORG_ID}
Todos os recursos em Experience Platform estão isolados em sandboxes virtuais específicas. Todas as solicitações para Platform APIs exigem um cabeçalho que especifique o nome da sandbox em que a operação ocorrerá:
- x-sandbox-name:
{SANDBOX_NAME}
Ativar um lote para assimilação parcial de lotes na API enable-api
Você pode criar um novo lote com a assimilação parcial ativada.
Para criar um novo lote, siga as etapas no guia do desenvolvedor de assimilação em lote. Depois de atingir a etapa Criar lote, adicione o seguinte campo no corpo da solicitação:
{
"enableErrorDiagnostics": true,
"partialIngestionPercent": 5
}
enableErrorDiagnosticspartialIngestionPercentAtivar um lote para assimilação parcial de lotes na interface do usuário enable-ui
Para habilitar um lote para assimilação parcial por meio da interface do usuário do Platform, você pode criar um novo lote por meio de conexões de origem, criar um novo lote em um conjunto de dados existente ou criar um novo lote por meio do "Mapear CSV para fluxo XDM".
Criar uma nova conexão de origem new-source
Para criar uma nova conexão de origem, siga as etapas listadas na Visão geral das fontes. Depois de atingir a etapa detalhes do fluxo de dados, anote os campos Assimilação parcial e Diagnóstico de erros.
O botão de alternância Assimilação parcial permite habilitar ou desabilitar o uso de assimilação parcial em lote.
A opção Diagnóstico de erro só aparece quando a opção Assimilação parcial está desativada. Este recurso permite que o Platform gere mensagens de erro detalhadas sobre os lotes assimilados. Se a opção de Assimilação parcial estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.
O Limite de erros permite que você defina a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.
Usar um conjunto de dados existente existing-dataset
Para usar um conjunto de dados existente, comece selecionando um conjunto de dados. A barra lateral à direita é preenchida com informações sobre o conjunto de dados.
O botão de alternância Assimilação parcial permite habilitar ou desabilitar o uso de assimilação parcial em lote.
A opção Diagnóstico de erro só aparece quando a opção Assimilação parcial está desativada. Este recurso permite que o Platform gere mensagens de erro detalhadas sobre os lotes assimilados. Se a opção de Assimilação parcial estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.
O Limite de erros permite que você defina a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.
Agora é possível carregar dados usando o botão Adicionar dados, que será assimilado usando a assimilação parcial.
Usar o fluxo "Mapear CSV para esquema XDM" map-flow
Para usar o fluxo "Mapear CSV para esquema XDM", siga as etapas listadas no Tutorial Mapear um arquivo CSV. Ao atingir a etapa Adicionar dados, anote os campos Assimilação parcial e Diagnóstico de erros.
O botão de alternância Assimilação parcial permite habilitar ou desabilitar o uso de assimilação parcial em lote.
A opção Diagnóstico de erro só aparece quando a opção Assimilação parcial está desativada. Este recurso permite que o Platform gere mensagens de erro detalhadas sobre os lotes assimilados. Se a opção de Assimilação parcial estiver ativada, os diagnósticos de erro aprimorados serão aplicados automaticamente.
Limite de erros permite que você defina a porcentagem de erros aceitáveis antes que todo o lote falhe. Por padrão, esse valor é definido como 5%.
Próximas etapas next-steps
Este tutorial abordou como criar ou modificar um conjunto de dados para permitir a assimilação parcial de lotes. Para obter mais informações sobre a assimilação em lote, leia o guia do desenvolvedor de assimilação em lote.
Para obter informações sobre o monitoramento de erros de assimilação parcial, leia o guia de diagnóstico de erros de assimilação em lote.