Surveillance des flux de données pour les sources dans l’interface utilisateur

IMPORTANT

Les sources en flux continu, telles que la source de l’API HTTP, ne sont actuellement pas prises en charge par le tableau de bord de surveillance. Actuellement, vous ne pouvez utiliser que le tableau de bord pour surveiller les sources de lots.

Dans Adobe Experience Platform, les données sont ingérées à partir d’une grande variété de sources, analysées dans Experience Platform et activées vers un grand nombre de destinations. En offrant de la transparence au niveau des flux de données, Platform facilite le processus de suivi de ce flux de données potentiellement non linéaire.

Le tableau de bord de surveillance vous fournit une représentation visuelle du parcours d’un flux de données. Vous pouvez utiliser une vue de surveillance agrégée et naviguer verticalement du niveau source à un flux de données et à une exécution de flux de données, ce qui vous permet d’afficher les mesures correspondantes qui contribuent au succès ou à l’échec d’un flux de données. Vous pouvez également utiliser la capacité de surveillance inter-services du tableau de bord de surveillance pour surveiller le parcours d’un flux de données depuis une source, vers Identity Service et vers Profile.

Ce tutoriel décrit les étapes à suivre pour surveiller votre flux de données à l’aide de la vue de surveillance agrégée et de la surveillance inter-services.

Prise en main

Ce tutoriel nécessite une compréhension du fonctionnement des composants suivants d’Adobe Experience Platform :

  • Flux de données : les flux de données sont une représentation des tâches de données qui déplacent ces dernières dans Platform. Les flux de données sont configurés sur différents services, ce qui permet de déplacer les données des connecteurs sources vers des jeux de données cibles, vers Identity et Profile, et vers Destinations.
    • Le flux de données s’exécute : Les exécutions de flux de données sont les tâches planifiées récurrentes en fonction de la configuration de fréquence des flux de données sélectionnés.
  • Sources : Experience Platform permet d’ingérer des données à partir de diverses sources tout en vous permettant de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide des services Platform.
  • Identity Service : profitez d’une meilleure compréhension de vos clients et de leurs comportements en rapprochant des identités entre appareils et systèmes.
  • Real-time Customer Profile : fournit un profil client en temps réel unifié basé sur des données agrégées issues de plusieurs sources.
  • Environnements de test : Experience Platform fournit des environnements de test virtuels qui divisent une instance de plateforme unique en environnements virtuels distincts pour favoriser le développement et l’évolution d’applications d’expérience numérique.

Vue de surveillance agrégée

Dans l’ interface utilisateur de la plateforme, sélectionnez Surveillance dans le volet de navigation de gauche pour accéder au tableau de bord Surveillance. Le tableau de bord Surveillance contient des mesures et des informations sur tous les flux de données de sources, y compris des informations sur l’intégrité du trafic de données d’une source à Identity Service et à Profile.

Au centre du tableau de bord se trouve le panneau Ingestion de la source, qui contient des mesures et des graphiques qui affichent les données sur les enregistrements ingérés et ayant échoué.

monitoring-dashboard

Par défaut, les données affichées contiennent les taux d’ingestion des dernières 24 heures. Sélectionnez 24 dernières heures pour ajuster la période des enregistrements affichés.

change-date

Une fenêtre contextuelle de calendrier s’affiche, vous permettant d’accéder à d’autres options de périodes d’ingestion. Sélectionnez 30 derniers jours puis Appliquer.

réglage-période

Les graphiques sont activés par défaut et vous pouvez les désactiver pour développer la liste des sources ci-dessous. Sélectionnez le bouton d’activation/désactivation Mesures et graphiques pour désactiver les graphiques.

mesures-et-graphiques

Ingestion source Description
Enregistrements ingérés Nombre total d’enregistrements ingérés.
Enregistrements échoués Nombre total d’enregistrements qui n’ont pas été ingérés en raison d’erreurs dans les données.
Total des flux de données ayant échoué Nombre total de flux de données avec un état failed.

La liste d’ingestion source affiche toutes les sources qui contiennent au moins un compte existant. La liste inclut également des informations sur le taux d’ingestion de chaque source, le nombre d’enregistrements ayant échoué et le nombre total de flux de données ayant échoué en fonction de la période que vous avez appliquée.

source-ingestion

Pour trier la liste des sources, sélectionnez Mes sources, puis sélectionnez votre catégorie de choix dans le menu déroulant. Par exemple, pour vous concentrer sur le stockage dans le cloud, sélectionnez Stockage dans le cloud

tri-par-catégorie

Pour afficher tous les flux de données existants dans toutes les sources, sélectionnez Flux de données.

view-all-dataflows

Vous pouvez également entrer une source dans la barre de recherche pour isoler une source unique. Une fois votre source identifiée, sélectionnez l’icône de filtre filter à côté de celle-ci pour afficher la liste de ses principaux flux de données.

de recherches

Une liste de flux de données s’affiche. Pour réduire la liste et se concentrer sur les flux de données contenant des erreurs, sélectionnez Afficher uniquement les échecs.

show-failure-only

Recherchez le flux de données à surveiller, puis sélectionnez l’icône de filtre filter à côté de celui-ci, pour afficher plus d’informations sur son état d’exécution.

dataflow

La page d’exécution du flux de données affiche des informations sur la date de début de l’exécution de votre flux de données, la taille des données, l’état, ainsi que sa durée de traitement. Sélectionnez l’icône de filtre filter en regard de l’heure de début de l’exécution du flux de données pour afficher les détails de l’exécution du flux de données.

dataflow-run-start

La page Détails de l’exécution du flux de données affiche des informations sur les métadonnées du flux de données, l’état d’ingestion partiel et le résumé de l’erreur. Le résumé de l’erreur contient l’erreur de niveau supérieur spécifique qui indique à quelle étape le processus d’ingestion a rencontré une erreur.

Faites défiler l’écran vers le bas pour afficher des informations plus spécifiques sur l’erreur qui s’est produite.

dataflow-run-details

Le panneau Erreurs d’exécution de flux de données affiche le code d’erreur et d’erreur spécifique qui ont entraîné l’échec de l’ingestion du flux de données. Dans ce scénario, une erreur de transformation du mappeur s’est produite, entraînant l’échec de 24 enregistrements.

Sélectionnez Fichiers pour plus d’informations.

dataflow-run-errors

Le panneau Fichiers contient des informations sur le nom et le chemin du fichier.

Pour une représentation plus granulaire de l’erreur, sélectionnez Prévisualiser les diagnostics d’erreur.

files

La fenêtre Prévisualisation des diagnostics d’erreur s’affiche, affichant un aperçu de 100 erreurs maximum dans le flux de données. Vous pouvez sélectionner Télécharger pour récupérer une commande curl, qui vous permet ensuite de télécharger les diagnostics d’erreur.

Lorsque vous avez terminé, sélectionnez Fermer

error-diagnostics

Vous pouvez utiliser le système de chemin de navigation dans l’en-tête supérieur pour revenir au tableau de bord Surveillance. Sélectionnez Exécuter le démarrage : 2/14/2021, 21 h 47 pour revenir à la page précédente, puis sélectionnez Flux de données : Démonstration de Loyalty Data Ingestion - Échec pour revenir à la page des flux de données.

chemin de navigation

Surveillance inter-services

La partie supérieure du tableau de bord contient une représentation du flux d’ingestion du niveau source, à Identity Service et à Profile. Chaque cellule comprend un marqueur de point qui indique la présence d’erreurs qui se sont produites à ce stade de l’ingestion. Un point vert signifie une ingestion sans erreur, tandis qu’un point rouge signifie qu’une erreur s’est produite à ce stade particulier de l’ingestion.

suivi inter-services

Dans la page des flux de données, recherchez un flux de données réussi et sélectionnez l’icône de filtre filter à côté de celui-ci, pour afficher les informations d’exécution de son flux de données.

dataflow-success

La page Ingestion source contient des informations qui confirment la réussite de l’ingestion de votre flux de données. À partir de là, vous pouvez commencer à surveiller le parcours de votre flux de données du niveau source, à Identity Service, puis à Profile.

Sélectionnez Identités pour afficher l’ingestion à l’étape Identités.

sources

Identity mesures

La page Traitement des identités contient des informations sur les enregistrements ingérés dans Identity Service, notamment le nombre d’identités ajoutées, les graphiques créés et les graphiques mis à jour.

Sélectionnez l’icône de filtre filter en regard de l’heure de début de l’exécution du flux de données pour afficher plus d’informations sur votre Identity exécution du flux de données.

identités

Mesures d’identité Description
Enregistrements reçus Nombre d’enregistrements reçus de Data Lake.
Enregistrements échoués Nombre d’enregistrements qui n’ont pas été ingérés dans Platform en raison d’erreurs dans les données.
Enregistrements ignorés Nombre d’enregistrements ingérés, mais pas dans Identity Service, car il n’y avait qu’un seul identifiant dans la ligne d’enregistrement.
Enregistrements ingérés Nombre d’enregistrements ingérés dans Identity Service.
Total enregistrements Comptage total de tous les enregistrements, y compris les enregistrements en échec, les enregistrements ignorés, Identities ajoutés et les enregistrements dupliqués.
Identités ajoutées Nombre de nouveaux identifiants nets ajoutés à Identity Service.
Graphiques créés Nombre de nouveaux graphiques d’identités nets créés dans Identity Service.
Graphiques mis à jour Nombre de graphiques d’identités existants mis à jour avec de nouvelles périphéries.
Exécutions de flux de données en échec Nombre d’exécutions de flux de données ayant échoué.
Durée du traitement Horodatage du début de l’ingestion jusqu’à la fin.
État Définit l’état global d’un flux de données. Les valeurs d’état possibles sont les suivantes :
  • Success: Indique qu’un flux de données est principal et ingère des données selon le planning selon lequel il a été fourni.
  • Failed: Indique que le processus d’activation d’un flux de données a été interrompu en raison d’erreurs.
  • Processing: Indique que le flux de données n’est pas encore principal. Cet état est souvent rencontré immédiatement après la création d’un nouveau flux de données.

La page Détails de l’exécution du flux de données affiche plus d’informations sur votre exécution du flux de données Identity, y compris son identifiant de l’organisation IMS et son identifiant d’exécution du flux de données. Cette page affiche également le code d’erreur et le message d’erreur correspondants fournis par Identity Service, en cas d’erreur lors du processus d’ingestion.

Sélectionnez Exécuter le démarrage : 2/14/2021, 21 h 47 pour revenir à la page précédente.

identities-dataflow-run

Sur la page Traitement des identités , sélectionnez Profils pour afficher l’état de l’ingestion des enregistrements à l’étape Profils .

select-profiles

Profile mesures

La page Traitement des profils contient des informations sur les enregistrements ingérés à Profile, notamment le nombre de fragments de profil créés, de fragments de profil mis à jour et le nombre total de fragments de profil.

Sélectionnez l’icône de filtre filter en regard de l’heure de début de l’exécution du flux de données pour afficher plus d’informations sur votre Profile exécution du flux de données.

profils

Mesures de profil Description
Enregistrements reçus Nombre d’enregistrements reçus de Data Lake.
Enregistrements échoués Nombre d’enregistrements ingérés, mais pas dans Profile en raison d’erreurs.
Fragments de profil ajoutés Nombre net de nouveaux fragments Profile ajoutés.
Fragments de profil mis à jour Le nombre de fragments Profile existants mis à jour
Fragments de profil totaux Le nombre total d'enregistrements écrits dans Profile, y compris tous les fragments Profile existants mis à jour et les nouveaux fragments Profile créés.
Exécutions de flux de données en échec Nombre d’exécutions de flux de données ayant échoué.
Durée du traitement Horodatage du début de l’ingestion jusqu’à la fin.
État Définit l’état global d’un flux de données. Les valeurs d’état possibles sont les suivantes :
  • Success: Indique qu’un flux de données est principal et ingère des données selon le planning selon lequel il a été fourni.
  • Failed: Indique que le processus d’activation d’un flux de données a été interrompu en raison d’erreurs.
  • Processing: Indique que le flux de données n’est pas encore principal. Cet état est souvent rencontré immédiatement après la création d’un nouveau flux de données.

La page Détails de l’exécution du flux de données affiche plus d’informations sur votre exécution du flux de données Profile, y compris son identifiant de l’organisation IMS et son identifiant d’exécution du flux de données. Cette page affiche également le code d’erreur et le message d’erreur correspondants fournis par Profile, en cas d’erreur lors du processus d’ingestion.

profiles-dataflow-run

Étapes suivantes

En suivant ce tutoriel, vous avez suivi avec succès le flux de données d’ingestion du niveau source, à Identity Service et à Profile, à l’aide du tableau de bord Surveillance . Vous avez également identifié des erreurs qui ont contribué à l’échec des flux de données pendant le processus d’ingestion. Pour plus d’informations, consultez les documents suivants :

Sur cette page