Blueprint de preparação e assimilação de dados

O blueprint de preparação e assimilação de dados abrange todos os métodos pelos quais os dados podem ser preparados e assimilados na Adobe Experience Platform.

A preparação de dados inclui o mapeamento dos dados de origem para o esquema do Experience Data Model (XDM). Inclui também transformações nos dados, como formatação de dados, separação/concatenação/conversões de campos e junção/mesclagem/rechaveamento de registros. A preparação de dados ajuda na unificação dos dados do cliente para fornecer análise agregada/filtrada, incluindo relatórios ou preparação dos dados para agrupamento/ciência de dados/ativação do perfil do cliente.

Arquitetura

Blueprint de arquitetura de referência para preparação e assimilação de dados

Medidas de proteção da assimilação de dados

O diagrama abaixo ilustra as medidas de proteção de desempenho médio e a latência para a assimilação de dados na Adobe Experience Platform.

Fluxo de dados da Experience Platform

Métodos de assimilação de dados

Métodos de assimilação Descrição
SDK da Web/móvel Latência:
  • Tempo real – coleção da mesma página para a Rede de borda
  • Assimilação por streaming para o Perfil ~1 minuto
  • Assimilação por streaming para o data lake (microlote ~15 minutos)
Documentação:
Fontes de streaming Fontes de streaming
Latência:
  • Tempo real – coleção da mesma página para a Rede de borda
  • Assimilação por streaming para o Perfil ~1 minuto
  • Assimilação por streaming para o data lake (microlote ~15 minutos)
API de streaming API de servidor da Edge Network (preferencial) - oferece suporte aos serviços de borda, incluindo segmentação de borda e
API do serviço principal de coleta de dados - não oferece suporte aos serviços de borda, roteia diretamente para o hub.
Latência:
  • Tempo real – coleção da mesma página para a Rede de borda
  • Assimilação por streaming para o Perfil ~1 minuto
  • Assimilação por streaming para o data lake (microlote ~15 minutos)
  • 7 GB/hora
Documentação
Ferramentas de ETL Use ferramentas de ETL para modificar e transformar dados corporativos antes de assimilá-los na Experience Platform.

Latência:
  • O tempo depende da programação da ferramenta externa de ETL. Em seguida, aplicam-se medidas de proteção padrão de assimilação, com base no método usado.
Origens em lote Busca programada na origem
Latência: ~ 200 GB/hora

Documentação
Tutoriais em vídeo
API em lote Latência:
  • A assimilação em lote para o Perfil depende do tamanho e das cargas de tráfego ~45 minutos
  • A assimilação em lote para o data lake depende do tamanho e das cargas de tráfego
Documentação
Conectores de aplicativos da Adobe Assimile automaticamente os dados cuja origem se encontra nos aplicativos da Adobe Experience Cloud

Métodos de preparação de dados

Métodos de preparação de dados Descrição
Ferramenta de ETL externa (Snaplogic, Mulesoft, Informatica, etc.) Execute transformações complexas em ferramentas de ETL e use as APIs padrão dos Serviços de fluxo da Experience Platform ou os conectores de origem para assimilar os dados resultantes.
Serviço de consulta – Preparação de dados Reúna, separe, mescle, transforme, consulte e filtre dados em um novo conjunto de dados. Utilização do Create Table as Select (CTAS)
Documentação
Mapeador XDM e funções de preparação de dados (em lote e por streaming) Mapeie atributos de origem no formato CSV ou JSON para atributos XDM durante a assimilação da Experience Platform.
Compute funções sobre dados conforme eles são assimilados, ou seja, formatação, separação, concatenação de dados, e assim por diante.
Documentação

Publicações do blog relacionadas

Nesta página