Nesta lição, você assimilará dados em lote no Experience Platform usando vários métodos.
A assimilação de dados em lote permite assimilar uma grande quantidade de dados na Adobe Experience Platform de uma só vez. Você pode assimilar dados em lote em um upload único na interface da Platform ou usando a API. Você também pode configurar carregamentos em lote regularmente agendados de serviços de terceiros, como serviços de armazenamento em nuvem usando conectores de origem.
Engenheiros de dados O precisará assimilar dados em lote fora deste tutorial.
Antes de começar os exercícios, assista a este vídeo curto para saber mais sobre a assimilação de dados:
No Configurar permissões você configura todos os controles de acesso necessários para concluir esta lição.
Você precisará acessar um servidor (S)FTP ou uma solução de armazenamento na nuvem para o exercício Origens. Há uma solução alternativa se você não tiver uma.
Os dados podem ser carregados diretamente em um conjunto de dados na tela de conjuntos de dados nos formatos JSON e parquet. Essa é uma ótima maneira de testar a assimilação de alguns de seus dados após criar uma
Primeiro, obtenha os dados de amostra e personalize-os para seu locatário:
Os dados contidos na luma-data.zip é fictício e deve ser utilizado apenas para fins de demonstração.
Baixar luma-data.zip ao seu Ativos tutoriais do Luma pasta.
Descompacte o arquivo, criando uma pasta chamada luma-data
que contém os quatro arquivos de dados que usaremos nesta lição
Abertura luma-loyalty.json
em um editor de texto e substitua todas as instâncias de _techmarketingdemos
com sua própria id de locatário com sublinhado, conforme visto em seus próprios esquemas:
Salve o arquivo atualizado
Na interface do usuário da Platform, selecione Conjuntos de dados na navegação à esquerda
Abra o Luma Loyalty Dataset
Role para baixo até ver a Adicionar dados seção na coluna direita
Faça upload do luma-loyalty.json
arquivo.
Depois que o arquivo for carregado, uma linha do lote será exibida
Se você recarregar a página após alguns minutos, verá que o lote foi carregado com êxito com 1000 registros e 1000 fragmentos de perfil.
Há algumas opções, Diagnóstico de erro e Assimilação parcial, que você verá em várias telas nesta lição. Essas opções não são abordadas no tutorial. Algumas informações rápidas:
Há algumas maneiras de confirmar se os dados foram assimilados com êxito.
Para confirmar se os dados foram assimilados no conjunto de dados:
Na mesma página em que você assimilou os dados, selecione a variável Visualizar conjunto de dados botão no canto superior direito
Selecione o Visualizar e você poderá ver alguns dos dados assimilados.
Para confirmar se os dados chegaram ao Perfil (pode levar alguns minutos para que sejam enviados):
Luma Loyalty Id
namespaceloyaltyId
valores do seu conjunto de dados, 5625458
Se você se inscreveu em eventos de assimilação de dados na lição anterior, verifique o URL exclusivo do webhook.site. Você deve ver três solicitações exibidas na seguinte ordem, com algum tempo entre elas, com o seguinte eventCode
valores:
ing_load_success
—o lote como assimiladoig_load_success
—o lote foi assimilado no gráfico de identidadeps_load_success
— o lote foi assimilado no serviço de perfilConsulte a documentação para obter mais detalhes sobre as notificações.
Agora vamos carregar dados usando a API.
Arquitetos de dados, sintam-se à vontade para fazer upload dos dados do CRM pelo método da interface do usuário.
Luma Tutorial Assets
pasta.luma-crm.json
em um editor de texto e substitua todas as instâncias de _techmarketingdemos
com sua própria id de locatário com sublinhado, como visto em seus esquemasPrimeiro, vamos obter a ID da ID do conjunto de dados no qual queremos assimilar dados:
tenant
200 OK
respostaLuma CRM Dataset
do corpo de respostaAgora podemos criar um lote no conjunto de dados:
Baixar API de assimilação de dados.postman_collection.json ao seu Luma Tutorial Assets
pasta
Importar a coleção para Postman
Selecionar a solicitação Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.
Cole o seguinte como o Corpo do pedido, substituir o valor datasetId pelo seu próprio:
{
"datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
"inputFormat": {
"format": "json"
}
}
Selecione o Enviar botão
Você deve receber uma resposta 201 Criada contendo a ID do novo lote!
Copie o id
do novo lote
Agora podemos fazer upload dos dados no lote:
Selecionar a solicitação Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.
No Params , insira a id do conjunto de dados e a id do lote nos respectivos campos
No Params insira luma-crm.json
como o filePath
No Corpo , selecione a binário opção
Selecione o baixado luma-crm.json
do local Luma Tutorial Assets
pasta
Selecionar Enviar e você deverá receber uma resposta 200 OK com '1' no corpo da resposta
Nesse ponto, se você observar o lote na interface do usuário da Platform, verá que ele está em um "CarregandoStatus de ":
Como a API de lote é frequentemente usada para fazer upload de vários arquivos, é necessário informar à Platform quando um lote é concluído, o que faremos na próxima etapa.
Para concluir o lote:
Selecionar a solicitação Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.
No Params insira COMPLETE
como o ação
No Params insira a id do lote. Não se preocupe com a id do conjunto de dados ou filePath, se eles estiverem presentes.
Verifique se o URL do POST é https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE
e que não existem referências desnecessárias ao datasetId
ou filePath
Selecionar Enviar e você deverá receber uma resposta 200 OK com '1' no corpo da resposta
Validar se os dados chegaram à interface do usuário da Platform da mesma forma que você fez para o conjunto de dados de Fidelidade.
Primeiro, confirme se o lote mostra que 1000 registros foram assimilados:
Em seguida, confirme o lote usando Visualizar conjunto de dados:
Por fim, confirme se um dos perfis foi criado procurando um dos perfis pelo Luma CRM Id
namespace, por exemplo 112ca06ed53d3db37e4cea49cc45b71e
Há uma coisa interessante que aconteceu e que eu quero destacar. Abra isso Danny Wright
perfil. O perfil tem um Lumacrmid
e uma Lumaloyaltyid
. Lembre-se do Luma Loyalty Schema
continha dois campos de identidade, ID de fidelidade Luma e ID CRM. Agora que carregamos ambos os conjuntos de dados, eles foram mesclados em um único perfil. Os dados de fidelidade tinham Daniel
como nome e "New York City" como endereço residencial, enquanto os dados do CRM tinham Danny
como nome e Portland
como o endereço residencial do cliente com a mesma ID de fidelidade. Voltaremos para o motivo pelo qual o nome é exibido Danny
na lição sobre políticas de mesclagem.
Parabéns, você acabou de mesclar perfis!
Se você se inscreveu em eventos de assimilação de dados na lição anterior, verifique o URL exclusivo do webhook.site. Você deve ver três solicitações recebidas, assim como com os dados de fidelidade:
Consulte a documentação para obter mais detalhes sobre as notificações.
Vamos ver outra maneira de fazer upload de dados. O recurso de fluxos de trabalho permite assimilar dados CSV que ainda não estão modelados no XDM.
Luma Tutorial Assets
pasta.luma-products.csv
Agora vamos configurar o fluxo de trabalho:
Luma Product Catalog Dataset
e selecione o Próxima botãoluma-products.csv
arquivo que você baixou e selecione o Próxima botãoluma-products.csv
arquivo) para campos XDM no esquema de destino. Em nosso exemplo, os nomes das colunas estão próximos o suficiente dos nomes dos campos de esquema que o mapeador pode detectar automaticamente o mapeamento correto! Se o mapeador não puder detectar automaticamente o campo direito, você selecionaria o ícone à direita do campo de destino para selecionar o campo XDM correto. Além disso, se você não quiser assimilar uma das colunas do CSV, poderá excluir a linha do mapeador. Fique à vontade para brincar e alterar os cabeçalhos da coluna no luma-products.csv
para se familiarizar com o funcionamento do mapeador.Quando o lote tiver sido carregado, verifique o upload visualizando o conjunto de dados.
Uma vez que a Luma Product SKU
é um namespace que não envolve pessoas; não veremos nenhum perfil para as SKUs do produto.
Você deve ver as três ocorrências do seu webhook.
Ok, você fez as coisas do jeito difícil. Agora vamos para a terra prometida de automatizado assimilação em lote! Quando eu disser: "AJUSTE!" você diz: "ESQUEÇA!" "DEFINA!" "ESQUEÇA!" "DEFINA!" "ESQUEÇA!" Brincadeira, você nunca faria uma coisa dessas! Ok, de volta ao trabalho. Você está quase pronto.
Ir para Origens na navegação à esquerda para abrir o catálogo Fontes. Aqui você verá várias integrações prontas para uso com os principais provedores de armazenamento e dados do setor.
Ok, vamos assimilar dados usando um conector de origem.
Este exercício será um estilo de escolha-sua-própria-aventura. Vou mostrar o fluxo de trabalho usando o conector de origem FTP. Você pode usar um conector de origem do Cloud Storage diferente que usa em sua empresa ou fazer upload do arquivo json usando a interface do usuário do conjunto de dados, como fizemos com os dados de fidelidade.
Muitas das Fontes têm um fluxo de trabalho de configuração semelhante, no qual você:
Os dados de compras offline que usaremos neste exercício contêm dados de data e hora. Os dados de data e hora devem estar em Strings formatadas em ISO 8061 ("2018-07-10T15:05:59.000-08:00") ou Horário Unix formatado em milissegundos (1531263959000) e convertido no momento da assimilação para o tipo XDM de destino. Para obter mais informações sobre conversão de dados e outras restrições, consulte a documentação da API de assimilação em lote.
Luma Tutorial Assets
pasta.luma-offline-purchases.json
em um editor de texto e substitua todas as instâncias de _techmarketingdemos
com sua própria id de locatário com sublinhado, como visto em seus esquemas"timestamp":"2022-06
e substitui ano e mês)luma-offline-purchases.json
para um local no seu provedor de armazenamento em nuvem preferidoNa interface do usuário da Platform, filtre a variável Origens catálogo para armazenamento na nuvem
Observe que há links convenientes para a documentação do ...
Na caixa do fornecedor de armazenamento na nuvem de sua preferência, selecione Configurar botão
Autenticação O é o primeiro passo. Insira o nome da sua conta, por exemplo Luma's FTP Account
e seus detalhes de autenticação. Essa etapa deve ser bastante semelhante para todas as fontes de armazenamento na nuvem, embora os campos possam variar um pouco. Depois de inserir os detalhes de autenticação de uma conta, você pode reutilizá-los para outras conexões de origem que podem estar enviando dados diferentes em agendamentos diferentes de outros arquivos na mesma conta
Selecione o Botão Conectar à origem
Quando a Platform tiver se conectado com êxito à Origem, selecione a Próxima botão
No Selecionar dados etapa, a interface usará suas credenciais para abrir a pasta na solução de armazenamento na nuvem
Selecione os arquivos que deseja assimilar, por exemplo luma-offline-purchases.json
Como a variável Formato de dados, selecione XDM JSON
Em seguida, é possível visualizar a estrutura json e os dados de amostra no arquivo
Selecione o Próxima botão
No Mapeamento selecione o Luma Offline Purchase Events Dataset
e selecione o Próxima botão. Observe na mensagem que, como os dados que estamos assimilando são um arquivo JSON, não há etapa de mapeamento em que mapeamos o campo de origem para o campo de destino. Os dados JSON já devem estar no XDM. Se você estivesse assimilando um CSV, veria a interface do usuário de mapeamento completa nesta etapa:
No Agendamento escolha a frequência com que deseja assimilar dados da Origem. Reserve um momento para ver as opções. Vamos fazer uma assimilação única, então deixe o Frequência em Uma vez e selecione o Próxima botão:
No Detalhes do fluxo de dados etapa, você pode escolher um nome para o fluxo de dados, inserir uma descrição opcional, ativar o diagnóstico de erros e a assimilação parcial. Deixe as configurações como estão e selecione o Próxima botão:
No Revisão etapa, é possível revisar todas as configurações em conjunto e editá-las ou selecionar a Concluir botão
Depois de salvar, você será direcionado para uma tela como esta:
Quando o lote tiver sido carregado, verifique o upload visualizando o conjunto de dados.
Você deve ver as três ocorrências do seu webhook.
Pesquisar o perfil com valor 5625458
no loyaltyId
namespace novamente para ver se há eventos de compra em seu perfil. Você deve ver uma compra. Você pode pesquisar os detalhes da compra selecionando Exibir JSON:
Adobe faz parceria com vários fornecedores ETL para oferecer suporte à assimilação de dados no Experience Platform. Devido à variedade de fornecedores de terceiros, o ETL não é abordado neste tutorial, embora você seja bem-vindo para analisar alguns destes recursos:
Agora vamos transmitir dados usando o SDK da Web