Assimilar dados em lote

Nesta lição, você assimilará dados em lote no Experience Platform usando vários métodos.

A assimilação de dados em lote permite assimilar uma grande quantidade de dados no Adobe Experience Platform de uma só vez. Você pode assimilar dados em lote de uma vez por upload na interface do Platform ou usando a API. Você também pode configurar carregamentos em lote regularmente agendados de serviços de terceiros, como serviços de armazenamento em nuvem, usando conectores de origem.

Engenheiros de dados O precisará assimilar dados de lote fora deste tutorial.

Antes de começar os exercícios, assista a este breve vídeo para saber mais sobre a assimilação de dados:

Permissões necessárias

No Configurar permissões lição, configure todos os controles de acesso necessários para concluir esta lição.

Você precisará acessar um servidor (S)FTP ou uma solução de armazenamento em nuvem para o exercício Fontes . Há uma solução alternativa se você não tiver uma.

Assimilar dados em lotes com a interface do usuário da Platform

Os dados podem ser carregados diretamente em um conjunto de dados na tela de conjuntos de dados em formatos JSON e parquet. Essa é uma ótima maneira de testar a assimilação de alguns de seus dados após criar um

Baixar e preparar os dados

Primeiro, obtenha os dados de amostra e personalize-os para seu locatário:

1. Baixar luma-data.zip para Ativos do tutorial do Luma pasta.

2. Descompacte o arquivo, criando uma pasta chamada luma-data que contém os quatro arquivos de dados que usaremos nesta lição

3. Abrir luma-loyalty.json em um editor de texto e substitua todas as instâncias de _techmarketingdemos com sua própria id de locatário do underscore, conforme visto em seus próprios schemas:
   

4. Salve o arquivo atualizado

Assimilar os dados

1. Na interface do usuário da Plataforma, selecione Conjuntos de dados na navegação à esquerda

2. Abra seu Luma Loyalty Dataset

3. Role para baixo até ver a variável Adicionar dados na coluna direita

4. Faça upload do luma-loyalty.json arquivo.

5. Depois que o arquivo for carregado, uma linha para o lote será exibida

6. Se você recarregar a página após alguns minutos, verá que o lote foi carregado com êxito com 1000 registros e 1000 fragmentos de perfil.

   

Validar os dados

Há algumas maneiras de confirmar se os dados foram assimilados com êxito.

Validar na interface do usuário da plataforma

Para confirmar que os dados foram assimilados no conjunto de dados:

1. Na mesma página em que os dados foram assimilados, selecione o Visualizar conjunto de dados botão no canto superior direito

2. Selecione o Visualizar e você poderá ver alguns dos dados assimilados.

   

Para confirmar que os dados chegaram ao Perfil (pode levar alguns minutos para que os dados sejam encaminhados):

1. Ir para Perfis na navegação à esquerda

2. Selecione o ícone ao lado do Selecionar namespace de identidade campo para abrir o modal

3. Selecione seu Luma Loyalty Id namespace

4. Em seguida, insira um dos loyaltyId valores do seu conjunto de dados, 5625458

5. Selecionar Exibir

   

Validar com eventos de assimilação de dados

Se você se inscreveu em eventos de assimilação de dados na lição anterior, verifique o URL exclusivo do webhook.site. Você deve ver três solicitações exibidas na seguinte ordem, com algum tempo entre elas, com o seguinte eventCode valores:

1. ing_load_success—lote ingerido
2. ig_load_success—o lote foi assimilado no gráfico de identidade
3. ps_load_success—o lote foi assimilado no serviço de perfil

Consulte a documentação para obter mais detalhes sobre as notificações.

Assimilar dados em lotes com a API da plataforma

Agora vamos fazer upload de dados usando a API.

Baixar e preparar os dados

1. Você já deve ter baixado e descompactado luma-data.zip em seu Luma Tutorial Assets pasta.
2. Abrir luma-crm.json em um editor de texto e substitua todas as instâncias de _techmarketingdemos com sua própria id de locatário do underscore, como visualizado em seus esquemas
3. Salve o arquivo atualizado

Obter a ID do conjunto de dados

Primeiro, obtemos a id do conjunto de dados no qual queremos assimilar dados:

1. Abrir Postman
2. Se você não tiver feito uma solicitação nas últimas 24 horas, seus tokens de autorização provavelmente expiraram. Abrir a solicitação Adobe I/O Access Token Generation > Local Signing (Non-production use-only) > IMS: JWT Generate + Auth via User Token e selecione Enviar para solicitar novos tokens de acesso e JWT, como você fez no Postman lição.
3. Abra as variáveis de ambiente e verifique se o valor de CONTAINER_ID ainda está tenant
4. Abrir a solicitação Catalog Service API > Datasets > Retrieve a list of datasets. e selecione Enviar
5. Você deveria pegar um 200 OK response
6. Copie a ID do Luma CRM Dataset do corpo de resposta
   

Criar o lote

Agora podemos criar um lote no conjunto de dados:

1. Baixar API de assimilação de dados.postman_collection.json para Luma Tutorial Assets pasta

2. Importe a coleção para Postman

3. Selecionar a solicitação Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

4. Cole o seguinte como o Corpo do pedido, substituição do valor do conjunto de dadosId por seu próprio:

   {
       "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
       "inputFormat": {
           "format": "json"
       }
   }
   

5. Selecione o Enviar botão

6. Você deve obter uma resposta 201 Created contendo a id do novo lote!

7. Copie o id do novo lote
   

Assimilar os dados

Agora podemos fazer upload dos dados no lote:

1. Selecionar a solicitação Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

2. No Params , insira a id do conjunto de dados e a id do lote em seus respectivos campos

3. No Params guia , digite luma-crm.json como filePath

4. No Corpo selecione a guia binário opção

5. Selecione o download luma-crm.json do local Luma Tutorial Assets pasta

6. Selecionar Enviar e você deve obter uma resposta 200 OK com '1' no corpo da resposta

   

Neste ponto, se você observar seu lote na interface do usuário da plataforma, verá que ele está em um "Carregamento" status:

Como a API em lote é frequentemente usada para carregar vários arquivos, é necessário informar à Platform quando um lote é concluído, o que faremos na próxima etapa.

Complete o lote

Para concluir o lote:

1. Selecionar a solicitação Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

2. No Params guia , digite COMPLETE como ação

3. No Params , insira a id do lote. Não se preocupe com a ID do conjunto de dados ou com o filePath, se estiverem presentes.

4. Certifique-se de que o URL do POST seja https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE e que não há referências desnecessárias ao datasetId ou filePath

5. Selecionar Enviar e você deve obter uma resposta 200 OK com '1' no corpo da resposta

   

Validar os dados

Validar na interface do usuário da plataforma

Valide se os dados chegaram na interface do usuário da Plataforma da mesma forma que aconteceu com o conjunto de dados de Fidelidade.

Primeiro, confirme se o lote mostra que 1000 registros assimilaram:

Em seguida, confirme o lote usando o conjunto de dados de Visualização:

Por fim, confirme se um de seus perfis foi criado pesquisando um dos perfis pelo Luma CRM Id namespace, por exemplo 112ca06ed53d3db37e4cea49cc45b71e

Há uma coisa interessante que aconteceu e que eu quero destacar. Abra o Danny Wright perfil. O perfil tem uma Lumacrmid e Lumaloyaltyid. Lembre-se do Luma Loyalty Schema continha dois campos de identidade, ID da Fidelidade do Luma e ID do CRM. Agora que carregamos ambos os conjuntos de dados, eles foram mesclados em um único perfil. Os dados de fidelidade tinham Daniel como o nome e "Nova York" como endereço residencial, enquanto os dados do CRM tinham Danny como nome e Portland como o endereço residencial do cliente com a mesma ID de fidelidade. Voltaremos ao motivo pelo qual o nome é exibido Danny na lição sobre políticas de mesclagem.

Parabéns, você acabou de unir perfis!

Validar com eventos de assimilação de dados

Se você se inscreveu em eventos de assimilação de dados na lição anterior, verifique o URL exclusivo do webhook.site. Você deve ver três solicitações entrando, assim como com os dados de fidelidade:

Consulte a documentação para obter mais detalhes sobre as notificações.

Assimilar dados com fluxos de trabalho

Vamos analisar outra maneira de fazer upload de dados. O recurso de fluxos de trabalho permite assimilar dados CSV que ainda não foram modelados no XDM.

Baixar e preparar os dados

1. Você já deve ter baixado e descompactado luma-data.zip em seu Luma Tutorial Assets pasta.
2. Confirme que vocêluma-products.csv

Criar um fluxo de trabalho

Agora vamos configurar o workflow:

1. Ir para Fluxos de trabalho na navegação à esquerda
2. Selecionar Mapear CSV para esquema XDM e selecione o Launch botão
   
3. Selecione seu Luma Product Catalog Dataset e selecione o Próximo botão
   
4. Adicione o luma-products.csv e selecione o Próximo botão
   
5. Agora você está na interface do mapeador, na qual pode mapear um campo a partir dos dados de origem (um dos nomes da coluna na luma-products.csv para campos XDM no esquema de destino. No nosso exemplo, os nomes das colunas estão próximos o suficiente dos nomes dos campos do esquema que o mapeador pode detectar automaticamente o mapeamento correto! Se o mapeador não conseguisse detectar automaticamente o campo direito, você selecionaria o ícone à direita do campo de destino para selecionar o campo XDM correto. Além disso, se você não quiser assimilar uma das colunas do CSV, poderá excluir a linha do mapeador. Sinta-se à vontade para reproduzir e alterar cabeçalhos de coluna na luma-products.csv para se familiarizar com o funcionamento do mapeador.
6. Selecione o Concluir botão
   

Validar os dados

Quando o lote tiver carregado, verifique o upload visualizando o conjunto de dados.

Como a variável Luma Product SKU for um namespace que não seja de pessoas, não veremos nenhum perfil para as SKUs do produto.

Você deve ver as três ocorrências no seu webhook.

Assimilar dados com Fontes

Ok, você fez as coisas da maneira mais difícil. Agora vamos nos mudar para a terra prometida de automatizado ingestão em lote! Quando eu digo, "DEFINA!" você diz: "ESQUEÇA!" "DEFINA!" "ESQUEÇA!" "DEFINA!" "ESQUEÇA!" Só brincando, você nunca faria tal coisa! Ok, de volta ao trabalho. Você está quase pronto.

Ir para Fontes no painel de navegação esquerdo para abrir o catálogo de Fontes. Aqui você verá várias integrações prontas para uso com os provedores líderes do setor de dados e armazenamento.

Ok, vamos assimilar dados usando um conector de origem.

Esse exercício será um estilo de aventura. Vou mostrar o workflow usando o conector de origem FTP. Você pode usar um conector de origem do Armazenamento na nuvem diferente usado em sua empresa ou fazer upload do arquivo json usando a interface do usuário do conjunto de dados, como fizemos com os dados de fidelidade.

Muitas das Fontes têm um fluxo de trabalho de configuração semelhante, no qual você:

1. Insira os detalhes de autenticação
2. Selecione os dados que deseja assimilar
3. Selecione o conjunto de dados da plataforma no qual deseja assimilá-lo
4. Mapeie os campos para o esquema XDM
5. Escolha a frequência com que deseja assimilar dados desse local

Baixe, prepare e faça upload dos dados para seu fornecedor preferido de armazenamento em nuvem

1. Você já deve ter baixado e descompactado luma-data.zip em seu Luma Tutorial Assets pasta.
2. Abrir luma-offline-purchases.json em um editor de texto e substitua todas as instâncias de _techmarketingdemos com sua própria id de locatário do underscore, como visualizado em seus esquemas
3. Atualize todos os carimbos de data e hora para que os eventos ocorram no último mês (por exemplo, pesquise por "timestamp":"2022-06 e substituir o ano e o mês)
4. Escolha seu provedor de armazenamento em nuvem preferido, certificando-se de que ele esteja disponível na Fontes catálogo
5. Upload luma-offline-purchases.json para um local no seu provedor de armazenamento em nuvem preferido

Assimilar os dados ao local de armazenamento em nuvem de sua preferência

1. Na interface do usuário da Platform, filtre o Fontes catálogo para armazenamento na nuvem

2. Observe que há links convenientes para a documentação na seção ...

3. Na caixa de seu fornecedor preferencial de armazenamento em nuvem, selecione o Configurar botão
   

4. Autenticação é o primeiro passo. Insira o nome da sua conta, por exemplo Luma's FTP Account e seus detalhes de autenticação. Essa etapa deve ser bastante semelhante para todas as fontes de armazenamento em nuvem, embora os campos possam variar um pouco. Depois de ter inserido os detalhes de autenticação de uma conta, você pode reutilizá-los em outras conexões de origem que podem estar enviando dados diferentes em agendamentos diferentes de outros arquivos na mesma conta

5. Selecione o Botão Conectar-se à origem

6. Quando a Plataforma tiver se conectado com êxito à Origem, selecione a variável Próximo botão
   

7. No Selecionar dados , a interface do usuário usará suas credenciais para abrir a pasta na solução de armazenamento da nuvem

8. Selecione os arquivos que deseja assimilar, por exemplo luma-offline-purchases.json

9. Como Formato dos dados, selecione XDM JSON

10. Em seguida, você pode visualizar a estrutura json e os dados de amostra no arquivo

11. Selecione o Próximo botão
    

12. No Mapeamento selecione seu Luma Offline Purchase Events Dataset e selecione o Próximo botão. Observe na mensagem que, como os dados que estamos assimilando são um arquivo JSON, não há uma etapa de mapeamento em que mapeamos o campo de origem para o campo de destino. Os dados JSON já devem estar no XDM. Se você estivesse assimilando um CSV, veria a interface completa do usuário de mapeamento nesta etapa:
    

13. No Agendamento , escolha a frequência com que deseja assimilar dados da Fonte. Reserve um momento para ver as opções. Vamos apenas fazer uma ingestão única, então deixe o Frequência on Uma vez e selecione o Próximo botão:
    

14. No Detalhes do fluxo de dados , você pode escolher um nome para o fluxo de dados, inserir uma descrição opcional, ativar o diagnóstico de erros e a assimilação parcial. Deixe as configurações como estão e selecione o Próximo botão:
    

15. No Revisão , é possível revisar todas as configurações e editá-las ou selecionar a Concluir botão

16. Depois de salvar, você será direcionado para uma tela como esta:
    

Validar os dados

Quando o lote tiver carregado, verifique o upload visualizando o conjunto de dados.

Você deve ver as três ocorrências no seu webhook.

Procure o perfil com valor 5625458 no loyaltyId namespace novamente para ver se há eventos de compra em seu perfil. Você deve ver uma compra. Você pode acessar os detalhes da compra selecionando Exibir JSON:

Ferramentas ETL

A Adobe faz parceria com vários fornecedores de ETL para dar suporte à assimilação de dados no Experience Platform. Devido à variedade de fornecedores de terceiros, o ETL não é abordado neste tutorial, embora você seja bem-vindo a revisar alguns desses recursos:

• Desenvolvimento de integrações de ETL para o Adobe Experience Platform
• Página Informatica Adobe Experience Platform Connector no Adobe Exchange
• Documentação informativa do Adobe Experience Platform Connector
• Experiências de público-alvo exclusivas derivadas dos dados: Unifi e Adobe Experience Platform
• Snaplogic Pacote do Adobe Experience Platform Snap

Recursos adicionais

• Documentação de assimilação em lote
• Referência da API de assimilação em lote

Agora vamos dados de fluxo usando o SDK da Web

Recursos do Business.Adobe.com