Criar um fluxo de dados usando uma fonte de banco de dados na interface
Um fluxo de dados é uma tarefa agendada que recupera e assimila dados de uma origem para um conjunto de dados na Adobe Experience Platform. Este tutorial fornece etapas sobre como criar um fluxo de dados para uma origem de banco de dados usando a interface do usuário do Experience Platform.
-
Para criar um fluxo de dados, você já deve ter uma conta autenticada com uma fonte de banco de dados. Uma lista de tutoriais para criar diferentes contas de origem de banco de dados na interface do usuário pode ser encontrada na visão geral das origens.
-
Para que o Experience Platform assimile dados, os fusos horários de todas as fontes de lote baseadas em tabela devem ser configurados como UTC. O único carimbo de data/hora com suporte para Snowflake origem é TIMESTAMP_NTZ com hora UTC.
Introdução
Este tutorial requer uma compreensão funcional dos seguintes componentes do Experience Platform:
-
Fontes: o Experience Platform permite a assimilação de dados de várias fontes, ao mesmo tempo em que fornece a capacidade de estruturar, rotular e aprimorar os dados recebidos usando os serviços do Experience Platform.
-
Experience Data Model (XDM) Sistema: a estrutura padronizada pela qual o Experience Platform organiza os dados de experiência do cliente.
- Noções básicas sobre a composição de esquema: saiba mais sobre os blocos de construção básicos de esquemas XDM, incluindo princípios-chave e práticas recomendadas na composição de esquema.
- Tutorial do Editor de esquemas: saiba como criar esquemas personalizados usando a interface do Editor de esquemas.
-
Real-Time Customer Profile: Fornece um perfil de consumidor unificado em tempo real com base em dados agregados de várias fontes.
-
Data Prep: permite que os engenheiros de dados mapeiem, transformem e validem dados de e para o Experience Data Model (XDM).
Adicionar dados
Depois de criar sua conta de origem de banco de dados, a etapa Add data é exibida, fornecendo uma interface para que você explore a hierarquia de tabelas da conta de origem de banco de dados.
- A metade esquerda da interface é um navegador que exibe uma lista das tabelas de dados contidas na sua conta. A interface também inclui uma opção de pesquisa que permite identificar rapidamente os dados de origem que você pretende usar.
- A metade direita da interface é um painel de visualização, que permite visualizar até 100 linhas de dados.
Depois de encontrar os dados de origem, selecione a tabela e, em seguida, Next.
Fornecer detalhes do fluxo de dados
A página Dataflow detail permite selecionar se você deseja usar um conjunto de dados existente ou um novo conjunto de dados. Durante esse processo, você também pode definir as configurações para Profile dataset, Error diagnostics, Partial ingestion e Alerts.
Usar um conjunto de dados existente
Para assimilar dados em um conjunto de dados existente, selecione Existing dataset. Você pode recuperar um conjunto de dados existente usando a opção Advanced search ou rolando pela lista de conjuntos de dados existentes no menu suspenso. Depois de selecionar um conjunto de dados, forneça um nome e uma descrição para o fluxo de dados.
Usar um novo conjunto de dados
Para assimilar em um novo conjunto de dados, selecione New dataset e forneça um nome de conjunto de dados de saída e uma descrição opcional. Em seguida, selecione um esquema para mapear usando a opção Advanced search ou rolando pela lista de esquemas existentes no menu suspenso. Depois de selecionar um esquema, forneça um nome e uma descrição para o fluxo de dados.
Habilitar Profile e diagnóstico de erro
Em seguida, selecione a opção Profile dataset para habilitar seu conjunto de dados para Profile. Isso permite criar uma visualização integral dos atributos e comportamentos de uma entidade. Os dados de todos os conjuntos de dados habilitados para Profile serão incluídos em Profile e as alterações serão aplicadas quando você salvar seu fluxo de dados.
O Error diagnostics habilita a geração de mensagens de erro detalhadas para qualquer registro incorreto que ocorra no fluxo de dados, enquanto o Partial ingestion permite assimilar dados contendo erros, até um determinado limite definido manualmente. Consulte a visão geral da assimilação parcial de lotes para obter mais informações.
Ativar alertas
Você pode ativar os alertas para receber notificações sobre o status do fluxo de dados. Selecione um alerta na lista para assinar e receber notificações sobre o status do seu fluxo de dados. Para obter mais informações sobre alertas, consulte o manual sobre assinatura de alertas de fontes usando a interface.
Quando terminar de fornecer detalhes ao fluxo de dados, selecione Next.
Mapear campos de dados para um esquema XDM
A etapa Mapping é exibida, fornecendo uma interface para mapear os campos de origem do esquema de origem para os campos XDM de destino apropriados no esquema de destino.
O Experience Platform fornece recomendações inteligentes para campos mapeados automaticamente com base no esquema ou conjunto de dados de destino selecionado. Você pode ajustar manualmente as regras de mapeamento para atender aos seus casos de uso. Com base nas suas necessidades, você pode optar por mapear campos diretamente ou usar funções de preparação de dados para transformar dados de origem para derivar valores calculados ou calculados. Para obter etapas abrangentes sobre como usar a interface do mapeador e campos calculados, consulte o Guia da Interface do Preparo de Dados.
Colunas de controle como _change_request_type, usadas para captura de dados de alteração, são lidas durante a assimilação, mas não são armazenadas no esquema de destino.
Os esquemas relacionais também oferecem suporte a relações entre conjuntos de dados usando mapeamentos de chave primária e estrangeira.
Para obter mais informações, consulte a visão geral do Data Mirror e a referência técnica de esquemas relacionais.
Após mapear os dados de origem com êxito, selecione Next.
Programar execuções de assimilação
A etapa Scheduling é exibida, permitindo configurar um agendamento de assimilação para assimilar automaticamente os dados de origem selecionados usando os mapeamentos configurados. Por padrão, o agendamento está configurado para Once. Para ajustar a frequência de assimilação, selecione Frequency e, em seguida, selecione uma opção no menu suspenso.
Se você definir a frequência de assimilação como Minute, Hour, Day ou Week, deverá definir um intervalo para estabelecer um intervalo de tempo definido entre cada assimilação. Por exemplo, uma frequência de assimilação definida como Day e um intervalo definido como 15 significa que o fluxo de dados está agendado para assimilar dados a cada 15 dias.
Durante esta etapa, você também pode habilitar o preenchimento retroativo e definir uma coluna para a assimilação incremental de dados. O preenchimento retroativo é usado para assimilar dados históricos, enquanto a coluna definida para assimilação incremental permite que novos dados sejam diferenciados dos dados existentes.
Consulte a tabela abaixo para obter mais informações sobre como programar configurações.
Configure a frequência para indicar a frequência de execução do fluxo de dados. Você pode definir a frequência como:
- Uma vez: defina sua frequência como
oncepara criar uma assimilação única. As configurações para intervalo e preenchimento retroativo não estão disponíveis ao criar um fluxo de dados de assimilação única. Por padrão, a frequência de agendamento é definida como uma vez. - Minuto: Defina sua frequência como
minutepara agendar seu fluxo de dados para assimilar dados por minuto. - Hora: Defina sua frequência como
hourpara agendar seu fluxo de dados para assimilar dados por hora. - Dia: Defina sua frequência como
daypara agendar seu fluxo de dados para assimilar dados por dia. - Semana: Defina sua frequência como
weekpara agendar seu fluxo de dados para assimilar dados por semana. Para obter mais informações, leia a seção sobre [noções básicas sobre a programação de assimilação semanal] (#weekly).
Depois de selecionar uma frequência, você pode definir o intervalo para estabelecer o intervalo de tempo entre cada assimilação. Por exemplo, se você definir a frequência como dia e configurar o intervalo como 15, o fluxo de dados será executado a cada 15 dias. Você não pode definir o intervalo como zero. O valor mínimo de intervalo aceito para cada frequência é o seguinte:
- Uma vez: n/d
- Minuto: 15
- Hora: 1
- Dia: 1
- Semana: 1
Noções básicas da programação de assimilação semanal weekly
Quando você opta por definir seu fluxo de dados para execução semanal, o fluxo de dados é executado com base em um destes cenários:
- Se sua fonte de dados tiver sido criada, mas nenhum dado tiver sido assimilado ainda, o primeiro fluxo de dados semanal será executado sete dias após a data de criação da fonte. Esse intervalo de 7 dias sempre começa a partir de quando a origem foi criada, independentemente de quando você configurou o agendamento. Após a execução inicial, o fluxo de dados continuará a ser executado semanalmente, de acordo com o agendamento configurado.
- Se os dados da sua fonte tiverem sido assimilados anteriormente e você os agendar para assimilação semanal novamente, o próximo fluxo de dados será executado 7 dias após a assimilação bem-sucedida mais recente.
Revisar seu fluxo de dados
A etapa Review é exibida, permitindo que você revise seu novo fluxo de dados antes de ele ser criado. Os detalhes são agrupados nas seguintes categorias:
- Connection: Mostra o tipo de origem, o caminho relevante do arquivo de origem escolhido e a quantidade de colunas nesse arquivo de origem.
- Assign dataset & map fields: exibe o conjunto de dados no qual os dados de origem serão assimilados, juntamente com o esquema associado. Se estiver usando um esquema relacional, verifique se os campos obrigatórios, como a chave primária e o identificador de versão, estão mapeados corretamente. Além disso, verifique se as colunas de controle da captura de dados de alteração estão configuradas corretamente. Os conjuntos de dados que usam esquemas relacionais dão suporte a vários modelos de dados e habilitam fluxos de trabalho de captura de dados de alteração.
- Scheduling: mostra o período, a frequência e o intervalo ativos do agendamento de assimilação.
Depois de revisar o fluxo de dados, selecione Finish e aguarde algum tempo para que o fluxo de dados seja criado.
Monitorar seu fluxo de dados
Depois que o fluxo de dados for criado, você poderá monitorar os dados que estão sendo assimilados por meio dele para ver informações sobre taxas de assimilação, sucesso e erros. Para obter mais informações sobre como monitorar o fluxo de dados, consulte o tutorial sobre monitoramento de contas e fluxos de dados na interface.
Excluir seu fluxo de dados
Você pode excluir fluxos de dados que não são mais necessários ou que foram criados incorretamente usando a função Delete disponível no espaço de trabalho Dataflows. Para obter mais informações sobre como excluir fluxos de dados, consulte o tutorial sobre exclusão de fluxos de dados na interface.
Próximas etapas
Ao seguir este tutorial, você criou com êxito um fluxo de dados para trazer dados da fonte do banco de dados para a Experience Platform. Os dados de entrada agora podem ser usados por serviços Experience Platform downstream, como Real-Time Customer Profile e Data Science Workspace. Consulte os seguintes documentos para obter mais detalhes: