DocumentationTutorielsPlans directeurs

Préparation des données et plan directeur d’ingestion

Last update: Wed Apr 03 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Créé pour :

  • Developer
  • User

Le plan directeur pour la préparation et l’ingestion des données englobe toutes les méthodes par lesquelles les données peuvent être préparées et ingérées dans Adobe. Experience Platform.

La préparation des données inclut le mapping de données sources vers un schéma du Modèle de données d’expérience (XDM). Elle inclut également la réalisation de transformations sur les données, y compris le formatage de la date ; le fractionnement, la concaténation ou les conversions de champ ; et la jonction, la fusion ou la ressaisie d’informations. La préparation des données permet d’unifier les données clients pour fournir une analyse agrégée / filtrée, y compris la création de rapports ou la préparation de données pour l’assemblage d’un profil client, la data science, l’activation.

Architecture

Architecture de référence pour le plan directeur de la préparation et de l’ingestion de données {modal="regular"}

Mécanismes de sécurisation de l’ingestion des données

Le diagramme ci-dessous illustre les barrières de performance moyennes et la latence pour l’ingestion de données dans Adobe Experience Platform.

Experience Platform Flux de données {width="90%" modal="regular"}

Méthodes d’ingestion de données

Sources de diffusion
Méthode
Cas d’utilisation courants
Protocoles
Considérations
Adobe Web / SDK mobile
  • Collecte de données à partir de sites web et d’applications mobiles.
  • Méthode préférée pour la collecte côté client.
Push, HTTP, JSON
  • Implémentez plusieurs applications Adobe à l’aide d’un seul SDK.
Connecteur API HTTP
  • Collecte à partir de sources de diffusion en continu, de transactions, d’événements client pertinents et de signaux
Push, API REST, JSON
  • Les données sont diffusées directement vers le hub, de sorte qu’aucune segmentation Edge en temps réel ni transfert d’événement ne soit effectuée.
Edge Network API
  • Collecte à partir de sources de diffusion en continu, de transactions, d’événements client pertinents et de signaux provenant de la distribution globale Edge Network
Push, API REST, JSON
  • Les données sont diffusées en continu via la variable Edge Network. Prise en charge de la segmentation en temps réel sur Edge.
Applications Adobe
  • Mise en œuvre préalable d’Adobe Analytics, Marketo, Campaign, Target, AAM
Push, connecteurs source et API
  • L’approche recommandée consiste à passer du SDK Web/Mobile aux SDK d’application traditionnels.
Connecteurs source de streaming
  • Ingestion d’un flux d’événements d’entreprise, généralement utilisé pour partager des données d’entreprise vers plusieurs applications de streaming.
Push, API REST, JSON
  • Doit être diffusé en continu au format XDM.
SDK de sources de streaming
  • Tout comme HTTP API Connector, permet la carte de configuration en libre-service d’un flux de données externe.
Push, API HTTP, JSON
  • Edge Network
Sources de lots
Méthode
Cas d’utilisation courants
Protocoles
Considérations
API Batch Ingestion
  • Ingestion à partir d’une banque gérée par l’entreprise. Nettoyage et transformation des données avant ingestion.
Push, JSON ou Parquet
  • Doit gérer les lots et les fichiers pour l’ingestion
Connecteurs source par lots
  • Approche courante de l’ingestion de fichiers à partir d’emplacements de stockage dans le cloud.
  • Connecteurs vers les applications CRM et marketing courantes.
  • Idéal pour ingérer de grandes quantités de données historiques.
Pull, CSV, JSON, Parquet
  • Pas toujours activé, ingestion immédiate.
  • Vérifications de fréquence récurrentes pour ingérer les fichiers delta toutes les 15 minutes au minimum.
Zone de destination des données
  • Emplacement de stockage des fichiers approvisionné par Adobe pour envoyer les fichiers Push vers l’ingestion.
Push, CSV, JSON, Parquet
- Les fichiers sont fournis avec une durée de vie de 7 jours
SDK de sources par lots
  • Permet la carte de configuration en libre-service d’une source de données externe.
  • Idéal pour les connecteurs partenaires ou pour une expérience de workflow personnalisée afin de configurer un connecteur d’entreprise.
Pull, API REST, fichiers CSV ou JSON
  • Fréquence minimale de 15 min
  • Exemples : MailChimp, One Trust, Zendesk
Méthodes d’ingestion
Description
SDK web / mobile

Latence :

  • Temps réel : même collection de pages à Edge Network
  • Ingestion par flux vers Profile < 15 minutes au 95e percentile
  • Ingestion en continu vers le lac de données (micro-lot ~ 15 minutes)

Documentation :

Sources de diffusion

Sources de diffusion en continu
Latence :

  • Temps réel : même collection de pages à Edge Network
  • Ingestion en continu vers le profil ~ 1 minute
  • Ingestion en continu vers le lac de données (micro-lot ~ 15 minutes)
API de diffusion

Edge Network API serveur (préférée) - prend en charge les services Edge, notamment la segmentation Edge et
API Core Service de collecte de données - ne prend pas en charge les services Edge, les itinéraires directement vers le hub.
Latence :

  • Temps réel : même collection de pages à Edge Network
  • Ingestion en continu vers le profil ~ 1 minute
  • Ingestion en continu vers le lac de données (micro-lot ~ 15 minutes)
  • 7 Go/heure

Documentation

Outillage ETL

Utilisation des outils ETL pour modifier et transformer des données d’entreprise avant leur ingestion en Experience Platform.

Latence :

  • La synchronisation dépend du planning de l’outil ETL externe, puis les garde-fous d’ingestion standard s’appliquent en fonction de la méthode utilisée pour l’ingestion.
Sources de lots
Récupération planifiée à partir des sources
Latence : ~ 200 Go/heure

Documentation
Tutoriels vidéo
Lot API

Latence :

  • Ingestion par lots dans le Profil en fonction de la taille et des charges de trafic ~ 45 minutes
  • Ingestion par lots dans le lac de données en fonction de la taille et des charges de trafic

Documentation

Connecteurs d’applications Adobe

Ingèrent automatiquement les données qui proviennent des applications Adobe Experience Cloud

Méthodes de préparation des données

Méthodes de préparation des données
Description
Outil ETL externe (Snaplogic, Mulesoft, Informatica, etc.)
Exécution de transformations complexes dans l’outil ETL et utilisation des normes Experience Platform Service de flux API ou connecteurs source pour ingérer les données créées.
Service de requête - Préparation des données
Associe, fractionne, fusionne, transforme, interroge et filtre des données dans un nouveau jeu de données.
Documentation pour l’utilisation de Create Table as Select (CTAS)
Fonctions XDM Mapper et Data Prep (en flux continu et par lots)
Mappage des attributs source au format CSV ou JSON dans les attributs XDM pendant Experience Platform ingestion.
Calculent des fonctions sur les données au fur et à mesure qu’elles sont ingérées ; c’est-à-dire le formatage, le fractionnement, la concaténation des données, etc.
Documentation

Articles de blog connexes

recommendation-more-help
045b7d44-713c-4708-a7a6-5dea7cc2546b