Nesta página: saiba como assimilar dados na Adobe Experience Platform de fontes compatíveis e configurar um fluxo de dados para suas campanhas orquestradas.
A Adobe Experience Platform permite a assimilação de dados de fontes externas, além de permitir estruturar, rotular e aprimorar os dados recebidos por meio dos serviços da Experience Platform. Você pode assimilar dados de várias fontes, como aplicativos Adobe, armazenamentos baseados na nuvem, bancos de dados e muitas outras.
Um conjunto de dados é uma construção de armazenamento e gerenciamento para uma coleção de dados, normalmente uma tabela, que contém um esquema (colunas) e campos (linhas). Os dados assimilados com sucesso na Experience Platform são armazenados no data lake como conjuntos de dados.
Fontes compatíveis com campanhas orquestradas supported
As seguintes origens são compatíveis com o uso de campanhas orquestradas:
Diretrizes para a higiene de dados do esquema relacional cdc
Para conjuntos de dados habilitados com a captura de dados de alteração, todas as alterações de dados, incluindo exclusões, são automaticamente espelhadas do sistema de origem para a Adobe Experience Platform. Você não pode habilitar a captura de dados de alteração em um conjunto de dados que já contém dados assimilados.
Como as Campanhas do Adobe Journey Optimizer exigem que todos os conjuntos de dados integrados sejam habilitados com a captura de dados de alteração, é responsabilidade do cliente gerenciar as exclusões na origem. Qualquer registro excluído do sistema de origem será removido automaticamente do conjunto de dados correspondente no Adobe Experience Platform.
Para excluir registros por meio da assimilação baseada em arquivo, o arquivo de dados do cliente deve marcar o registro usando um valor d no campo Change Request Type. Isso indica que o registro deve ser excluído no Adobe Experience Platform, espelhando o sistema de origem.
Se o cliente quiser excluir registros somente do Adobe Experience Platform sem afetar os dados de origem originais, as seguintes opções estarão disponíveis:
-
Tabela de Proxy ou Limpa para Replicação de captura de dados de Alteração
O cliente pode criar um proxy ou uma tabela de origem limpa para controlar quais registros são replicados no Adobe Experience Platform. As exclusões podem ser gerenciadas seletivamente nessa tabela intermediária.
-
Exclusão via Data Distiller
Se licenciado, o Data Distiller poderá ser usado para oferecer suporte a operações de exclusão diretamente no Adobe Experience Platform, independentemente do sistema de origem.
Configurar um fluxo de dados
Este exemplo demonstra como configurar um fluxo de dados que assimila dados estruturados na Adobe Experience Platform. O fluxo de dados configurado suporta assimilação automatizada e agendada e permite atualizações em tempo real.
-
No menu Conexões, acesse o menu Fontes.
-
Escolha sua origem de acordo com as Fontes com Suporte para campanhas Orquestradas.
-
Conecte seu Armazenamento na nuvem ou a conta do Google Cloud Storage se você escolher fontes baseadas em nuvem.
-
Escolha os dados que serão assimilados na Adobe Experience Platform.
-
Na página Detalhes do conjunto de dados, marque Habilitar captura de dados de alteração para exibir somente conjuntos de dados mapeados para esquemas relacionais e incluir uma chave primária e um descritor de versão.
Saiba mais sobre diretrizes para a higiene de dados de esquemas relacionais
note important IMPORTANT Somente para fontes baseadas em arquivo, cada linha do arquivo de dados deve incluir uma coluna _change_request_typecom valoresu(substituição) oud(exclusão). Sem essa coluna, o sistema não reconhecerá os dados como suporte ao controle de alterações e a opção Campanha orquestrada não será exibida, impedindo que o conjunto de dados seja selecionado para direcionamento.
-
Selecione o Conjunto de Dados criado anteriormente e clique em Avançar.
-
Se você estiver usando apenas fontes baseadas em arquivo, na janela Selecionar dados, carregue os arquivos locais e visualize sua estrutura e conteúdo.
Observe que o tamanho máximo suportado é 100 MB.
-
Na janela Mapping, verifique se cada atributo de arquivo de origem está mapeado corretamente com os campos correspondentes no esquema de destino. Saiba mais sobre dimensões de direcionamento.
Clique em Próximo quando terminar.
-
Configure o fluxo de dados de Agendar com base na frequência desejada.
-
Clique em Concluir para criar o fluxo de dados. Ele será executado automaticamente de acordo com a programação definida.
-
No menu Conexões, selecione Fontes e acesse a guia Fluxos de dados para rastrear a execução do fluxo, revisar registros assimilados e solucionar quaisquer erros.
This section contains structured knowledge intended to support interpretation, retrieval, and question answering related to this topic.
For complete understanding, this information should be combined with the documentation on this page. Neither source is intended to stand alone; the page describes the feature, while this section provides additional context that helps disambiguate terminology, intent, applicability, and constraints.
- TL;DR: This page explains how to ingest data into Adobe Experience Platform from sources supported for Orchestrated campaigns, configure a dataflow, and manage record deletions through Change data capture.
Intents:
- Identify the supported sources for ingesting data for Orchestrated campaigns (Cloud Storage, Cloud Data Warehouses, File-Based Uploads).
- Understand the one-to-one relationship enforced between dataflows and datasets, and how to change a data source.
- Configure a dataflow that ingests structured data into Adobe Experience Platform for Orchestrated campaigns.
- Enable Change data capture on a dataset mapped to a relational schema.
- Manage record deletions in Adobe Experience Platform using Change data capture, a file-based deletion marker, a proxy or sanitized table, or Data Distiller.
- Map source file attributes to target schema fields during dataflow configuration.
Glossary:
- Dataset: a storage and management construct for a collection of data, typically a table, that contains a schema (columns) and fields (rows) (product-specific)
- Change data capture: a dataset setting that automatically mirrors all data changes, including deletions, from the source system into Adobe Experience Platform (product-specific)
- Change Request Type: the file-based ingestion field used to mark a record for deletion with a “d” value (product-specific)
- _change_request_type: the required column for file-based sources, with values “u” (upsert) or “d” (delete), used to support change tracking (product-specific)
- Data Distiller: a licensed capability that can be used to support deletion operations directly within Adobe Experience Platform, independent of the source system (product-specific)
Guardrails:
- Adobe Experience Platform enforces a strict one-to-one relationship between dataflows and datasets (hard limit).
- To change the data source for a dataset, the existing dataflow must first be deleted before creating a new one that references the same dataset and the new source.
- Change data capture cannot be enabled on a dataset that already contains ingested data.
- Adobe Journey Optimizer Campaigns require all onboarded datasets to be enabled with Change data capture.
- Enabling Change data capture on the Dataset details page displays only datasets that are mapped to relational schemas and include both a primary key and a version descriptor.
- For file-based sources only, each row in the data file must include a _change_request_type column with values “u” (upsert) or “d” (delete); without this column, the system does not recognize the data as supporting change tracking, and the Orchestrated campaign toggle does not appear, preventing the dataset from being selected for targeting.
- For file-based sources, the maximum supported upload size is 100MB (hard limit).
Prerequisites and permissions:
- Data Distiller must be licensed to use it for deleting records directly within Adobe Experience Platform, independent of the source system.
Applicability:
- Applies: Orchestrated campaigns — the supported sources list and the dataflow configuration steps on this page are scoped to Orchestrated campaigns.
Terminology:
- Canonical name: Adobe Experience Platform — Acronym: AEP — variants: Platform
- Canonical name: Adobe Journey Optimizer — Acronym: AJO
- Synonyms: “dataflow” = “data flow”
- Do not confuse: “Change data capture” (automatically mirrors source deletions into Adobe Experience Platform) ≠ “Data Distiller” (deletes records only within Adobe Experience Platform, independent of the source system)
FAQ:
- Q: What must I do before changing the data source for an existing dataset? — Delete the existing dataflow before creating a new one that references the same dataset and the new source, because Adobe Experience Platform enforces a strict one-to-one relationship between dataflows and datasets.
- Q: Which sources are supported for Orchestrated campaigns? — Cloud Storage (Amazon S3, Google Cloud Storage, SFTP), Cloud Data Warehouses (Snowflake, Google BigQuery, Data Landing Zone, Azure Databricks), and File-Based Uploads (Local File Upload).
- Q: Can Change data capture be enabled on a dataset that already has ingested data? — No, Change data capture cannot be enabled on a dataset that already contains ingested data.
- Q: How do I delete a record using file-based ingestion? — Mark the record with a “d” value in the Change Request Type field, which indicates the record should be deleted in Adobe Experience Platform, mirroring the source system.
- Q: How can I delete records from Adobe Experience Platform without affecting the source data? — Use a proxy or sanitized source table for Change data capture replication, or, if licensed, use Data Distiller to delete records directly within Adobe Experience Platform.
- Q: What happens if the _change_request_type column is missing from a file-based source? — The system does not recognize the data as supporting change tracking, and the Orchestrated campaign toggle does not appear, preventing the dataset from being selected for targeting.
Related pages:
- For mapping source file attributes to target schema fields during dataflow configuration: Learn more about targeting dimensions (orchestrated/target-dimension.md)
Personas:
- developer: Can map each source file attribute to the corresponding field in the target schema during dataflow configuration. Can include a _change_request_type column in file-based source data, with values u for upsert or d for delete, to support change tracking. The page states that without this column, the Orchestrated campaign toggle does not appear, preventing the dataset from being selected for targeting. Where: “Configure a dataflow”.
- admin: Can configure a dataflow for Orchestrated campaigns using Cloud Storage, Cloud Data Warehouses, or File-Based Uploads sources. Can enable Change data capture only on datasets mapped to relational schemas with a primary key and version descriptor. The page states that a dataflow must be deleted before creating a new one that references the same dataset and a new source. Where: “Guardrails”.
Onboarding:
- Level: Experienced
- First minimal step: From the Connections menu, access the Sources menu.
- Success check: From the Connections menu, select Sources and access the Data Flows tab to track flow execution, review ingested records, and troubleshoot any errors.
- Next: Mapping source file attributes to target schema fields during dataflow configuration: Create your Targeting dimension (orchestrated/target-dimension.md)