Assimilar dados ingest-data

IMPORTANT
Para alterar a fonte de dados de um conjunto de dados, primeiro exclua o fluxo de dados existente, antes de criar um novo que faça referência ao mesmo conjunto de dados e à nova fonte.
O Adobe Experience Platform impõe uma relação rigorosa um para um entre os fluxos de dados e conjuntos de dados. Isso permite manter a sincronização entre a origem e o conjunto de dados para uma assimilação incremental precisa.

A Adobe Experience Platform permite a assimilação de dados de fontes externas, além de permitir estruturar, rotular e aprimorar os dados recebidos por meio dos serviços da Experience Platform. Você pode assimilar dados de várias fontes, como aplicativos Adobe, armazenamentos baseados na nuvem, bancos de dados e muitas outras.

Um conjunto de dados é uma construção de armazenamento e gerenciamento para uma coleção de dados, normalmente uma tabela, que contém um esquema (colunas) e campos (linhas). Os dados assimilados com sucesso na Experience Platform são armazenados no data lake como conjuntos de dados.

Fontes compatíveis para campanhas orquestradas supported

As seguintes origens são compatíveis com o uso de campanhas orquestradas:

Tipo
Fonte
Armazenamento na nuvem
Amazon S3
Google Cloud Storage
SFTP
Data Warehouses da nuvem
Snowflake
Google BigQuery
Data Landing Zone
Azure Databricks
Uploads baseados em arquivo
Upload de arquivo local

Diretrizes para a higiene de dados do esquema com base em modelo cdc

Para conjuntos de dados habilitados com a captura de dados de alteração, todas as alterações de dados, incluindo exclusões, são automaticamente espelhadas do sistema de origem para a Adobe Experience Platform.

Como as Campanhas do Adobe Journey Optimizer exigem que todos os conjuntos de dados integrados sejam habilitados com a captura de dados de alteração, é responsabilidade do cliente gerenciar as exclusões na origem. Qualquer registro excluído do sistema de origem será removido automaticamente do conjunto de dados correspondente no Adobe Experience Platform.

Para excluir registros por meio da assimilação baseada em arquivo, o arquivo de dados do cliente deve marcar o registro usando um valor D no campo Change Request Type. Isso indica que o registro deve ser excluído no Adobe Experience Platform, espelhando o sistema de origem.

Se o cliente quiser excluir registros somente do Adobe Experience Platform sem afetar os dados de origem originais, as seguintes opções estarão disponíveis:

  • Tabela de Proxy ou Limpa para Replicação de captura de dados de Alteração

    O cliente pode criar um proxy ou uma tabela de origem limpa para controlar quais registros são replicados no Adobe Experience Platform. As exclusões podem ser gerenciadas seletivamente nessa tabela intermediária.

  • Exclusão via Data Distiller

    Se licenciado, o Data Distiller poderá ser usado para oferecer suporte a operações de exclusão diretamente no Adobe Experience Platform, independentemente do sistema de origem.

    Saiba mais sobre o Data Distiller

Configurar um fluxo de dados

Este exemplo demonstra como configurar um fluxo de dados que assimila dados estruturados na Adobe Experience Platform. O fluxo de dados configurado suporta assimilação automatizada e agendada e permite atualizações em tempo real.

  1. No menu Conexões, acesse o menu Fontes.

  2. Escolha sua origem de acordo com as Fontes com Suporte para campanhas Orquestradas.

  3. Conecte seu Armazenamento na nuvem ou a conta do Google Cloud Storage se você escolher fontes baseadas em nuvem.

  4. Escolha os dados que serão assimilados na Adobe Experience Platform.

  5. Na página Detalhes do conjunto de dados, marque Habilitar captura de dados de alteração para exibir somente conjuntos de dados mapeados para esquemas baseados em modelo e incluir uma chave primária e um descritor de versão.

Saiba mais sobre as diretrizes para a higiene de dados de esquemas baseados em modelo

IMPORTANT
Somente para fontes baseadas em arquivo, cada linha do arquivo de dados deve incluir uma coluna _change_request_type com valores U (substituição) ou D (exclusão). Sem essa coluna, o sistema não reconhecerá os dados como suporte ao controle de alterações e o botão Campanha orquestrada não será exibido, impedindo que o conjunto de dados seja selecionado para direcionamento.

  1. Selecione o Conjunto de Dados criado anteriormente e clique em Avançar.

  2. Se você estiver usando apenas fontes baseadas em arquivo, na janela Selecionar dados, carregue os arquivos locais e visualize sua estrutura e conteúdo.

    Observe que o tamanho máximo suportado é 100 MB.

  3. Na janela Mapping, verifique se cada atributo de arquivo de origem está mapeado corretamente com os campos correspondentes no esquema de destino. Saiba mais sobre dimensões de direcionamento.

    Clique em Próximo quando terminar.

  4. Configure o fluxo de dados de Agendar com base na frequência desejada.

  5. Clique em Concluir para criar o fluxo de dados. Ele será executado automaticamente de acordo com a programação definida.

  6. No menu Conexões, selecione Fontes e acesse a guia Fluxos de dados para rastrear a execução do fluxo, revisar registros assimilados e solucionar quaisquer erros.

recommendation-more-help
b22c9c5d-9208-48f4-b874-1cefb8df4d76