DocumentaçãoTutoriaisBlueprints

Preparação de dados e blueprint de assimilação

Last update: Sat Jul 20 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Criado para:

  • Desenvolvedor
  • Usuário

O Blueprint de preparação e assimilação de dados abrange todos os métodos pelos quais os dados podem ser preparados e assimilados no Adobe Experience Platform.

A preparação de dados inclui o mapeamento dos dados de origem para o esquema do Experience Data Model (XDM). Inclui também transformações nos dados, como formatação de dados, separação/concatenação/conversões de campos e junção/mesclagem/rechaveamento de registros. A preparação de dados ajuda na unificação dos dados do cliente para fornecer análise agregada/filtrada, incluindo relatórios ou preparação dos dados para agrupamento/ciência de dados/ativação do perfil do cliente.

Arquitetura

Blueprint de arquitetura de referência para preparação e assimilação de dados

Proteção da assimilação de dados

O diagrama abaixo ilustra as medidas de proteção de desempenho médio e a latência para assimilação de dados no Adobe Experience Platform.

Experience Platform Fluxo de dados

Métodos de assimilação de dados

Fontes de streaming
Método
Casos de uso comuns
Protocolos
Considerações
SDK da Web/móvel da Adobe
  • Coleção de dados de sites e aplicativos móveis.
  • Método preferencial para a coleção do lado do cliente.
Push, HTTP, JSON
  • Implemente vários aplicativos da Adobe usando um único SDK.
Conector da API HTTP
  • Coleção de fontes de transmissão, transações, eventos e sinais relevantes do cliente
Push, API REST, JSON
  • Os dados são transmitidos diretamente ao hub, de modo que não haja segmentação de Edge em tempo real ou encaminhamento de eventos.
Edge Network API
  • Coleta de fontes de transmissão, transações, eventos relevantes do cliente e sinais da distribuição global Edge Network
Push, API REST, JSON
  • Os dados são transmitidos por meio do Edge Network. Suporte para segmentação em tempo real na Edge.
Aplicativos da Adobe
  • Implementação anterior do Adobe Analytics, do Marketo, do Campaign, do Target e do AAM
Push, conectores de origem e API
  • A abordagem recomendada é a migração para o SDK da Web/móvel em vez dos SDKs de aplicativos tradicionais.
Conectores de origem de transmissão
  • Assimilação de um fluxo de eventos corporativos, normalmente usada para compartilhar dados corporativos em vários aplicativos de fluxo descendente.
Push, API REST, JSON
  • Deve ser transmitido no formato XDM.
SDK de fontes de transmissão
  • Smelhante ao Conector da API HTTP, permite um cartão de configuração de autoatendimento de um fluxo de dados externo.
Push, API HTTP, JSON
  • Edge Network
Origens em lote
Método
Casos de uso comuns
Protocolos
Considerações
API de assimilação em lote
  • Assimilação de uma pasta gerenciada pela empresa. Limpeza e transformação dos dados antes da ingestão.
Push, JSON ou Parquet
  • Deve gerenciar lotes e arquivos para assimilação
Conectores de origem em lote
  • Abordagem comum para a assimilação de arquivos de locais de armazenamento na nuvem.
  • Conectores para aplicativos comuns de CRM e marketing.
  • Ideal para assimilar grandes quantidades de dados históricos.
Pull, CSV, JSON, Parquet
  • Nem sempre ativo, ingestão imediata.
  • Verificações de frequência recorrentes para assimilar arquivos delta a cada 15 minutos, no mínimo.
Zona de aterrissagem de dados
  • A Adobe provisionou o local de armazenamento de arquivos para enviar arquivos para assimilação.
Push, CSV, JSON, Parquet
- Os arquivos são fornecidos por um TTL de 7 dias
SDK de fontes em lote
  • Permite o cartão de configuração de autoatendimento de uma fonte de dados externa.
  • Ideal para conectores de parceiros ou para uma experiência de fluxo de trabalho personalizada para configurar um conector corporativo.
Pull, API REST, arquivos CSV ou JSON
  • Frequência mínima de 15 minutos
  • Exemplos: MailChimp, One Trust, Zendesk
Métodos de assimilação
Descrição
SDK da Web/móvel

Latência:

  • Tempo real - mesma coleção de páginas de Edge Network
  • Assimilação de streaming ao perfil < 15 minutos no 95º percentil
  • Assimilação por streaming para o data lake (microlote ~15 minutos)

Documentação:

Fontes de streaming

Fontes de streaming
Latência:

  • Tempo real - mesma coleção de páginas de Edge Network
  • Assimilação por streaming para o Perfil ~1 minuto
  • Assimilação por streaming para o data lake (microlote ~15 minutos)
API de streaming

Edge Network API do Servidor (preferencial) - suporta os Serviços Edge, incluindo a Segmentação Edge e a
API do Serviço Principal de Coleta de Dados - não suporta os Serviços Edge, é roteado diretamente para o hub.
Latência:

  • Tempo real - mesma coleção de páginas de Edge Network
  • Assimilação por streaming para o Perfil ~1 minuto
  • Assimilação por streaming para o data lake (microlote ~15 minutos)
  • 7 GB/hora

Documentação

Ferramentas de ETL

Use ferramentas ETL para modificar e transformar dados corporativos antes de assimilar em Experience Platform.

Latência:

  • O tempo depende da programação da ferramenta externa de ETL. Em seguida, aplicam-se medidas de proteção padrão de assimilação, com base no método usado.
Origens em lote
Busca programada na origem
Latência: ~ 200 GB/hora

Documentação
Tutoriais em vídeo
API em lote

Latência:

  • A assimilação em lote para o Perfil depende do tamanho e das cargas de tráfego ~45 minutos
  • A assimilação em lote para o data lake depende do tamanho e das cargas de tráfego

Documentação

Conectores de aplicativos da Adobe

Assimile automaticamente os dados cuja origem se encontra nos aplicativos da Adobe Experience Cloud

Métodos de preparação de dados

Métodos de preparação de dados
Descrição
Ferramenta de ETL externa (Snaplogic, Mulesoft, Informatica, etc.)
Execute transformações complexas em ferramentas ETL e use APIs Experience Platform Serviço de Fluxo padrão ou conectores de origem para assimilar os dados resultantes.
Serviço de consulta – Preparação de dados
Reúna, separe, mescle, transforme, consulte e filtre dados em um novo conjunto de dados. Utilização do Create Table as Select (CTAS)
Documentação
Mapeador XDM e funções de preparação de dados (em lote e por streaming)
Mapeie atributos de origem no formato CSV ou JSON para atributos XDM durante a assimilação de Experience Platform.
Compute funções sobre dados conforme eles são assimilados, ou seja, formatação, separação, concatenação de dados, e assim por diante.
Documentação

Publicações do blog relacionadas

recommendation-more-help
045b7d44-713c-4708-a7a6-5dea7cc2546b