Le processus d’ingestion de données dans Adobe Experience Platform se compose de plusieurs étapes. Une fois que vous avez identifié les fichiers de données à ingérer dans Platform, le processus d'assimilation commence et chaque étape se produit consécutivement jusqu'à ce que les données soient correctement ingérées ou échouent. Il est possible d’initier le processus d’ingestion à l’aide de l’API Data Ingestion d’Adobe ou de l’interface utilisateur Experience Platform.Experience Platform
Les données chargées dans Platform doivent suivre plusieurs étapes pour atteindre leur destination, le Data Lake ou le magasin de données Real-time Customer Profile. Chaque étape implique le traitement des données, leur validation, puis leur stockage avant de passer à l’étape suivante. En fonction de la quantité de données ingérée, ce processus peut devenir chronophage et il existe toujours une possibilité qu’il échoue en raison d’erreurs de validation, de sémantique ou de traitement. En cas d’échec, les problèmes de données doivent être résolus, puis l’ensemble du processus d’ingestion doit être redémarré en utilisant des fichiers de données corrigés.
Pour vous aider à surveiller le processus d'assimilation, Experience Platform permet de vous abonner à un ensemble de événements publiés à chaque étape du processus, en vous informant de l'état des données ingérées et de tout échec éventuel.
Pour recevoir des notifications d'assimilation de données, vous devez utiliser Adobe Developer Console pour enregistrer un webhook dans votre intégration Experience Platform.
Suivez le didacticiel sur l'abonnement aux Adobe I/O Event notifications pour obtenir des instructions détaillées sur la façon d'y parvenir.
Au cours du processus d’abonnement, veillez à sélectionner Notifications de plateforme comme fournisseur de événement et à sélectionner l’abonnement de événement Notification d’assimilation de données lorsque vous y êtes invité.
Une fois que vous avez enregistré votre webhook et que de nouvelles données ont été ingérées, vous pouvez début recevoir des notifications de événement. Ces événements peuvent être visualisés à l’aide de webhook lui-même ou en sélectionnant l’onglet Suivi du débogage dans l’aperçu de l’enregistrement des événements de votre projet dans Adobe Developer Console.
Le fichier JSON suivant est un exemple de charge utile de notification qui serait envoyée à votre webhook en cas d’échec d’un événement d’assimilation par lots :
{
"event_id": "93a5b11a-b0e6-4b29-ad82-81b1499cb4f2",
"event": {
"xdm:ingestionId": "01EGK8H8HF9JGFKNDCABHGA24G",
"xdm:customerIngestionId": "01EGK8H8HF9JGFKNDCABHGA24G",
"xdm:imsOrg": "{IMS_ORG}",
"xdm:completed": 1598374341560,
"xdm:datasetId": "5e55b556c2ae4418a8446037",
"xdm:eventCode": "ing_load_failure",
"xdm:sandboxName": "prod",
"sentTime": "1598374341595",
"processStartTime": 1598374342614,
"transformedTime": 1598374342621,
"header": {
"_adobeio": {
"imsOrgId": "{IMS_ORG}",
"providerMetadata": "aep_observability_catalog_events",
"eventCode": "platform_event"
}
}
}
}
Propriété | Description |
---|---|
event_id |
Identifiant unique généré par le système pour la notification. |
event |
Objet contenant les détails du événement qui a déclenché la notification. |
event.xdm:datasetId |
ID du jeu de données auquel s'applique le événement d'assimilation. |
event.xdm:eventCode |
Code d’état indiquant le type de événement déclenché pour le jeu de données. Voir l'appendice pour connaître les valeurs spécifiques et leurs définitions. |
Pour vue le schéma complet des notifications de événement, consultez le référentiel GitHub public.
Une fois que vous avez enregistré des notifications Platform à votre projet, vous pouvez vue les événements reçus de l'Aperçu du projet. Consultez le guide traçage des Événements Adobe I/O pour obtenir des instructions détaillées sur la façon de suivre vos événements.
La section suivante contient des informations supplémentaires sur l'interprétation des charges utiles de notification d'assimilation de données.
Le tableau suivant liste les notifications d'état d'assimilation de données disponibles auxquelles vous pouvez vous abonner.
Code d’événement | Service Platform | État | Description des événements |
---|---|---|---|
ing_load_success |
Data Ingestion | success | Un lot a été assimilé à un jeu de données dans Data Lake. |
ing_load_failure |
Data Ingestion | failure | Échec de l'assimilation d'un lot dans un jeu de données dans Data Lake. |
ps_load_success |
Real-time Customer Profile | succès | Un lot a été assimilé à un lot dans le magasin de données Profile. |
ps_load_failure |
Real-time Customer Profile | échec | Échec de l'assimilation d'un lot dans le magasin de données Profile. |
ig_load_success |
Identity Service | succès | Les données ont été chargées avec succès dans le graphique d'identité. |
ig_load_failure |
Identity Service | échec | Échec du chargement des données dans le graphique d'identité. |
Il n’y a qu’une seule rubrique d’événement fournie pour toutes les notifications d’ingestion de données. Vous pouvez utiliser le code d’événement pour faire la distinction entre les différents états.