Plan directeur de la préparation et de l’ingestion de données

Le plan directeur de la préparation et de l’ingestion de données englobe et décrit toutes les méthodes de préparation et d’ingestion des données dans Adobe Experience Platform.

La préparation des données inclut le mapping de données sources vers un schéma du Modèle de données d’expérience (XDM). Elle inclut également la réalisation de transformations sur les données, y compris le formatage de la date ; le fractionnement, la concaténation ou les conversions de champ ; et la jonction, la fusion ou la ressaisie d’informations. La préparation des données permet d’unifier les données clients pour fournir une analyse agrégée / filtrée, y compris la création de rapports ou la préparation de données pour l’assemblage d’un profil client, la data science, l’activation.

Architecture

Architecture de référence pour le plan directeur de la préparation et de l’ingestion de données

Garde-fous de l’ingestion des données

Le diagramme ci-dessous illustre les principaux garde-fous de performance et la latence de l’ingestion de données dans Adobe Experience Platform.

Flux de données Experience Platform

Méthodes d’ingestion de données

Méthodes d’ingestion Description
SDK web / mobile Latence :
  • Temps réel - même collection de page sur Edge Network
  • Ingestion en continu vers le profil ~ 1 minute
  • Ingestion en continu vers le lac de données (micro-lot ~ 15 minutes)
Documentation :
Sources de diffusion Latence :
  • Temps réel - même collection de page sur Edge Network
  • Ingestion en continu vers le profil ~ 1 minute
  • Ingestion en continu vers le lac de données (micro-lot ~ 15 minutes)
Documentation
API de diffusion Latence :
  • Temps réel - même collection de page sur Edge Network
  • Ingestion en continu vers le profil ~ 1 minute
  • Ingestion en continu vers le lac de données (micro-lot ~ 15 minutes)
  • 7 Go/heure
Documentation
Outillage ETL Utilisez les outils ETL pour modifier et transformer les données d’entreprise avant ingestion dans Experience Platform.

Latence :
  • La synchronisation dépend du planning de l’outil ETL externe, puis les garde-fous d’ingestion standard s’appliquent en fonction de la méthode utilisée pour l’ingestion.
Sources de lots Récupération planifiée à partir des sources
Latence : ~ 200 Go/heure

Documentation
Tutoriels vidéo
Lot API Latence :
  • Ingestion par lots dans le Profil en fonction de la taille et des charges de trafic ~ 45 minutes
  • Ingestion par lots dans le lac de données en fonction de la taille et des charges de trafic
Documentation
Connecteurs d’applications Adobe Ingèrent automatiquement les données qui proviennent des applications Adobe Experience Cloud

Méthodes de préparation des données

Méthodes de préparation des données Description
Data Science Workspace - Préparation des données Transformation axée sur modèle, transformation scriptée.
Documentation
Outil ETL externe (Snaplogic, Mulesoft, Informatica, etc.) Effectuez des transformations complexes dans l’outillage ETL et utilisez des API ou des connecteurs sources Experience Platform standard Flow Service pour ingérer les données résultantes.
Query Service - Préparation des données Associe, fractionne, fusionne, transforme, interroge et filtre des données dans un nouveau jeu de données.
Documentation pour l’utilisation de Create Table as Select (CTAS)
Fonctions XDM Mapper et Data Prep (en flux continu et par lots) Faites correspondre les attributs source au format CSV ou JSON avec les attributs XDM lors de l’ingestion de données dans Experience Platform.
Calculent des fonctions sur les données au fur et à mesure qu’elles sont ingérées ; c’est-à-dire le formatage, le fractionnement, la concaténation des données, etc.
Documentation

Articles de blog connexes

Sur cette page