Surveillance de l’ingestion du lac de données

IMPORTANT
Les sources en flux continu, telles que la source API HTTP ne sont actuellement pas prises en charge par le tableau de bord de surveillance. Actuellement, vous ne pouvez utiliser le tableau de bord que pour surveiller les sources de lots.

Vous pouvez utiliser le tableau de bord de surveillance dans l’interface utilisateur de Adobe Experience Platform pour récupérer des mesures relatives à vos processus d’ingestion et de conservation des données dans le lac de données. Utilisez les graphiques de l’interface pour surveiller les tendances d’ingestion et de rétention au fil du temps et résumer les performances de tous vos flux de données sources.

Lisez ce document pour savoir comment utiliser le tableau de bord de surveillance pour surveiller tous les traitements de données dans le lac de données, y compris l’ingestion et la rétention.

Commencer get-started

Ce tutoriel nécessite une compréhension du fonctionnement des composants suivants d’Adobe Experience Platform :

  • Flux de données : les flux de données sont une représentation des tâches de données qui déplacent ces dernières dans Experience Platform. Les flux de données sont configurés sur différents services, ce qui permet de déplacer les données des connecteurs sources vers des jeux de données cibles, vers Identity et Profile, et vers Destinations.
    • Exécutions de flux de données : les exécutions de flux de données sont les tâches planifiées récurrentes en fonction de la configuration de la fréquence des flux de données sélectionnés.
  • Sources : Experience Platform permet d’ingérer des données provenant de diverses sources tout en vous offrant la possibilité de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide des services d’Experience Platform.
  • Service d’identités : obtenez une meilleure compréhension des clients individuels et de leurs comportements en reliant les identités entre les appareils et les systèmes.
  • Profil client en temps réel : fournit un profil client en temps réel unifié basé sur des données agrégées issues de plusieurs sources.
  • Sandbox : Experience Platform fournit des sandbox virtuels qui divisent une instance Experience Platform unique en environnements virtuels distincts pour favoriser le développement et l’évolution d’applications d’expérience digitale.

Utiliser le tableau de bord de surveillance pour l’ingestion du lac de données

Sélectionnez Lac de données dans l’en-tête principal du tableau de bord de surveillance pour afficher le taux d’ingestion du lac de données.

Tableau de bord de surveillance avec la carte sources sélectionnée.

Le graphique Taux d’ingestion affiche le taux d’ingestion des données en fonction de la période configurée. Par défaut, le tableau de bord de surveillance affiche les taux d’ingestion des dernières 24 heures. Pour savoir comment configurer votre période, consultez le guide sur la configuration de la période de surveillance.

Le graphique peut s’afficher par défaut. Pour masquer le graphique, sélectionnez Mesures et graphiques pour désactiver le bouton (bascule) et masquer le graphique.

Graphique des mesures de taux d’ingestion.

La partie inférieure du tableau de bord affiche un tableau qui décrit le rapport des mesures actuelles pour tous les flux de données sources existants.

Le tableau de bord de surveillance des mesures.

Mesures
Description
Enregistrements reçus
Nombre total d’enregistrements reçus d’une source donnée.
Enregistrements ingérés
Nombre total d’enregistrements ingérés dans le lac de données.
Enregistrements supprimés
Nombre total d’enregistrements supprimés en raison des paramètres de conservation du lac de données ou des opérations de modification de la capture de données.
Enregistrements ignorés
Nombre total d’enregistrements ignorés. Un enregistrement ignoré fait référence à des champs qui ont été ignorés car ils n’étaient pas nécessaires à l’ingestion. Par exemple, si vous créez un flux de données de sources avec l’ingestion partielle activée, vous pouvez configurer un seuil de taux d’erreur acceptable. Pendant le processus d’ingestion, les enregistrements des champs qui ne sont pas obligatoires, tels que les champs d’identité, seront ignorés pendant l’ingestion, tant qu’ils se trouvent dans le seuil d’erreur.
Échec des enregistrements
Nombre total d’enregistrements qui n’ont pas pu être ingérés en raison d’erreurs.
Taux d'ingestion
Pourcentage d'enregistrements ingérés par rapport au nombre total d'enregistrements reçus.
Nombre total de flux de données ayant échoué
Nombre total de flux de données ayant échoué.

Vous pouvez filtrer davantage vos données à l’aide des options fournies au-dessus du tableau des mesures :

Options de filtrage
Description
Rechercher
Utilisez la barre de recherche pour filtrer votre vue en un seul type de source.
Sources
Sélectionnez Sources pour filtrer votre vue et afficher les données de mesure par type de source. Il s’agit de l’affichage par défaut utilisé par le tableau de bord de surveillance.
Flux de données
Sélectionnez Flux de données pour filtrer l’affichage et afficher les données de mesure par flux de données.
Afficher uniquement les échecs
Sélectionnez Afficher les échecs uniquement pour filtrer votre vue et afficher uniquement les flux de données qui ont signalé des échecs d’ingestion.
Mes sources
Vous pouvez filtrer davantage votre vue à l’aide du menu déroulant Mes sources. Utilisez le menu déroulant pour filtrer votre vue par catégorie. Vous pouvez également sélectionner Toutes les sources pour afficher les mesures sur toutes les sources ou ou sélectionner Mes sources pour afficher uniquement les sources avec lesquelles vous disposez d’un compte correspondant.

Pour personnaliser l’affichage des colonnes, sélectionnez l’icône des paramètres de colonne icône-colonne .

Tableau de bord de surveillance avec l’icône des paramètres de colonne sélectionnée.

Utilisez ensuite la fenêtre Personnaliser le tableau pour sélectionner les colonnes à afficher dans le tableau de bord. Lorsque vous avez terminé, sélectionnez Appliquer.

Fenêtre pop-up de personnalisation de colonne dans le tableau de bord de surveillance.

Pour surveiller les données ingérées dans un flux de données spécifique, sélectionnez l’icône de filtre filtre en regard d’une source.

TIP
Vous pouvez utiliser le tableau de bord de surveillance pour surveiller les mesures de suppression des données des enregistrements supprimés à l’aide de politiques de conservation des données. Pour plus d’informations sur la conservation des données, consultez le guide sur la définition de politiques de conservation des données.

Surveillez un flux de données spécifique en sélectionnant l’icône de filtre en regard d’une source donnée.

Le tableau des mesures est mis à jour vers un tableau des flux de données actifs correspondant à la source que vous avez sélectionnée. Au cours de cette étape, vous pouvez afficher des informations supplémentaires sur vos flux de données, y compris leur jeu de données et leur type de données correspondants, ainsi qu’un horodatage indiquant la date de leur dernière activation.

Pour inspecter davantage un flux de données, sélectionnez l’icône de filtre filtre en regard d’un flux de données.

Le tableau des flux de données dans le tableau de bord de surveillance.

Vous accédez ensuite à une interface qui répertorie toutes les itérations d’exécution du flux de données que vous avez sélectionné.

Les exécutions de flux de données représentent une instance d’exécution de flux de données. Par exemple, si un flux de données est planifié pour s’exécuter toutes les heures à 9 h, 10 h et 11 h, trois instances d’exécution de flux se produisent. Les exécutions de flux sont spécifiques à votre organisation.

Pour examiner les mesures d’une itération d’exécution de flux de données spécifique, sélectionnez l’icône de filtre filtre en regard de votre flux de données.

Page de mesure d’exécution du flux de données.

Utilisez la page Détails de l’exécution du flux de données pour afficher les mesures et les informations relatives à l’itération d’exécution sélectionnée.

Page des détails de l’exécution du flux de données.

Détails de l’exécution du flux de données
Description
Enregistrements ingérés
Nombre total d’enregistrements ingérés à partir de l’exécution du flux de données.
Échec des enregistrements
Nombre total d’enregistrements qui n’ont pas été ingérés en raison d’erreurs dans l’exécution du flux de données.
Nombre total de fichiers
Nombre total de fichiers dans l’exécution du flux de données.
Taille des données
Taille totale des données contenues dans l’exécution du flux de données.
ID d’exécution du flux de données
Identifiant de l’itération d’exécution du flux de données.
ID d’organisation
Identifiant de l’organisation dans laquelle l’exécution du flux de données a été créée.
Statut
Statut de l’exécution du flux de données.
Début de l’exécution du flux de données
Horodatage indiquant le moment auquel l’exécution du flux de données a démarré.
Fin de l’exécution du flux de données
Date et heure indiquant la fin de l’exécution du flux de données.
Jeu de données
Jeu de données utilisé pour créer le flux de données.
Type de données
Type des données qui se trouvaient dans le flux de données.
Ingestion partielle
L’ingestion par lots partielle est la possibilité d’ingérer des données contenant des erreurs, jusqu’à un certain seuil configurable. Cette fonctionnalité vous permet d’ingérer toutes vos données exactes dans Experience Platform, tandis que toutes vos données incorrectes sont traitées par lots séparément avec des informations sur les raisons de leur non-validité. Vous pouvez activer l’ingestion partielle pendant le processus de création du flux de données.
Diagnostics d’erreur
Les diagnostics d’erreur demandent à la source de générer des diagnostics d’erreur que vous pouvez référencer ultérieurement lors de la surveillance de l’activité du jeu de données et du statut du flux de données. Vous pouvez activer les diagnostics d’erreur pendant le processus de création du flux de données.
Résumé des erreurs
Étant donné l’échec de l’exécution d’un flux de données, le résumé des erreurs affiche un code d’erreur et une description pour résumer les raisons de l’échec de l’itération d’exécution.

Si l’exécution de votre flux de données signale des erreurs, vous pouvez faire défiler la page vers le bas et utiliser l’interface Erreurs d’exécution du flux de données.

Utilisez la section Échec des enregistrements pour afficher les mesures sur les enregistrements qui n’ont pas été ingérés en raison d’erreurs. Pour afficher un rapport d’erreur complet, sélectionnez Aperçu des diagnostics d’erreur. Pour télécharger une copie de vos diagnostics d’erreur et du manifeste du fichier, sélectionnez Télécharger puis copiez l’exemple d’appel API à utiliser avec l’API Data Access.

NOTE
Vous ne pouvez utiliser les diagnostics d’erreur que si la fonction a été activée pendant le processus de création de la connexion source.

Étapes suivantes next-steps

En suivant ce tutoriel, vous avez appris à surveiller le taux d’ingestion du lac de données à l’aide du tableau de bord Surveillance. Vous avez également appris à identifier les erreurs qui provoquent des échecs de flux de données lors de l’ingestion. Consultez les documents suivants pour plus d’informations :

recommendation-more-help
d4f38c9a-ed8e-4b74-98e7-57b4df1b999f