Blueprint de preparação e assimilação de dados

O blueprint de preparação e assimilação de dados abrange todos os métodos pelos quais os dados podem ser preparados e assimilados na Adobe Experience Platform.

A preparação de dados inclui o mapeamento dos dados de origem para o esquema do Experience Data Model (XDM). Inclui também transformações nos dados, como formatação de dados, separação/concatenação/conversões de campos e junção/mesclagem/rechaveamento de registros. A preparação de dados ajuda na unificação dos dados do cliente para fornecer análise agregada/filtrada, incluindo relatórios ou preparação dos dados para agrupamento/ciência de dados/ativação do perfil do cliente.

Arquitetura

Blueprint de arquitetura de referência para preparação e assimilação de dados

Proteção da assimilação de dados

O diagrama abaixo ilustra as medidas de proteção de desempenho médio e a latência para a assimilação de dados na Adobe Experience Platform.

Fluxo de dados da Experience Platform

Métodos de assimilação de dados

Fontes de streaming

Método

Casos de uso comuns

Protocolos

Considerações

SDK da Web/móvel da Adobe
  • Coleção de dados de sites e aplicativos móveis.
  • Método preferencial para a coleção do lado do cliente.

Push, HTTP, JSON
  • Implemente vários aplicativos da Adobe usando um único SDK.

Conector da API HTTP
  • Coleção de fontes de transmissão, transações, eventos e sinais relevantes do cliente

Push, API REST, JSON
  • Os dados são transmitidos diretamente ao hub, de modo que não haja segmentação de Edge em tempo real ou encaminhamento de eventos.

API da Edge Network
  • Coleção de fontes de transmissão, transações, eventos e sinais relevantes do cliente da rede de Edge distribuída globalmente

Push, API REST, JSON
  • Os dados são transmitidos por meio da Edge Network. Suporte para segmentação em tempo real na Edge.

Aplicativos da Adobe
  • Implementação anterior do Adobe Analytics, do Marketo, do Campaign, do Target e do AAM

Push, conectores de origem e API
  • A abordagem recomendada é a migração para o SDK da Web/móvel em vez dos SDKs de aplicativos tradicionais.

Conectores de origem de transmissão
  • Assimilação de um fluxo de eventos corporativos, normalmente usada para compartilhar dados corporativos em vários aplicativos de fluxo descendente.

Push, API REST, JSON
  • Deve ser transmitido no formato XDM.

SDK de fontes de transmissão
  • Smelhante ao Conector da API HTTP, permite um cartão de configuração de autoatendimento de um fluxo de dados externo.

Push, API HTTP, JSON
  • Edge Network

Origens em lote

Método

Casos de uso comuns

Protocolos

Considerações

API de assimilação em lote
  • Assimilação de uma pasta gerenciada pela empresa. Limpeza e transformação dos dados antes da ingestão.

Push, JSON ou Parquet
  • Deve gerenciar lotes e arquivos para assimilação

Conectores de origem em lote
  • Abordagem comum para a assimilação de arquivos de locais de armazenamento na nuvem.
  • Conectores para aplicativos comuns de CRM e marketing.
  • Ideal para assimilar grandes quantidades de dados históricos.

Pull, CSV, JSON, Parquet
  • Nem sempre ativo, ingestão imediata.
  • Verificações de frequência recorrentes para assimilar arquivos delta a cada 15 minutos, no mínimo.

Zona de aterrissagem de dados
  • A Adobe provisionou o local de armazenamento de arquivos para enviar arquivos para assimilação.

Push, CSV, JSON, Parquet

- Os arquivos são fornecidos por um TTL de 7 dias

SDK de fontes em lote
  • Permite o cartão de configuração de autoatendimento de uma fonte de dados externa.
  • Ideal para conectores de parceiros ou para uma experiência de fluxo de trabalho personalizada para configurar um conector corporativo.

Pull, API REST, arquivos CSV ou JSON
  • Frequência mínima de 15 minutos
  • Exemplos: MailChimp, One Trust, Zendesk

 
Métodos de assimilação Descrição
SDK da Web/móvel Latência:
  • Tempo real – coleção da mesma página para a Rede de borda
  • Assimilação por streaming para o Perfil ~1 minuto
  • Assimilação por streaming para o data lake (microlote ~15 minutos)
Documentação:
Fontes de streaming Fontes de streaming
Latência:
  • Tempo real – coleção da mesma página para a Rede de borda
  • Assimilação por streaming para o Perfil ~1 minuto
  • Assimilação por streaming para o data lake (microlote ~15 minutos)
API de streaming API de servidor da Edge Network (preferencial) - oferece suporte aos serviços de borda, incluindo segmentação de borda e
API do serviço principal de coleta de dados - não oferece suporte aos serviços de borda, roteia diretamente para o hub.
Latência:
  • Tempo real – coleção da mesma página para a Rede de borda
  • Assimilação por streaming para o Perfil ~1 minuto
  • Assimilação por streaming para o data lake (microlote ~15 minutos)
  • 7 GB/hora
Documentação
Ferramentas de ETL Use ferramentas de ETL para modificar e transformar dados corporativos antes de assimilá-los na Experience Platform.

Latência:
  • O tempo depende da programação da ferramenta externa de ETL. Em seguida, aplicam-se medidas de proteção padrão de assimilação, com base no método usado.
Origens em lote Busca programada na origem
Latência: ~ 200 GB/hora

Documentação
Tutoriais em vídeo
API em lote Latência:
  • A assimilação em lote para o Perfil depende do tamanho e das cargas de tráfego ~45 minutos
  • A assimilação em lote para o data lake depende do tamanho e das cargas de tráfego
Documentação
Conectores de aplicativos da Adobe Assimile automaticamente os dados cuja origem se encontra nos aplicativos da Adobe Experience Cloud

Métodos de preparação de dados

Métodos de preparação de dados Descrição
Ferramenta de ETL externa (Snaplogic, Mulesoft, Informatica, etc.) Execute transformações complexas em ferramentas de ETL e use as APIs padrão dos Serviços de fluxo da Experience Platform ou os conectores de origem para assimilar os dados resultantes.
Serviço de consulta – Preparação de dados Reúna, separe, mescle, transforme, consulte e filtre dados em um novo conjunto de dados. Utilização do Create Table as Select (CTAS)
Documentação
Mapeador XDM e funções de preparação de dados (em lote e por streaming) Mapeie atributos de origem no formato CSV ou JSON para atributos XDM durante a assimilação da Experience Platform.
Compute funções sobre dados conforme eles são assimilados, ou seja, formatação, separação, concatenação de dados, e assim por diante.
Documentação

Publicações do blog relacionadas

Nesta página