Ingestion par lots partielle

L’ingestion par lots partielle permet d’ingérer des données contenant des erreurs jusqu’à un certain seuil. Grâce à cette fonctionnalité, les utilisateurs peuvent ingérer toutes leurs données correctes dans Adobe Experience Platform, alors que toutes leurs données incorrectes sont traitées par lots séparément, avec des détails sur les raisons de leur non-validité.

Ce document fournit un tutoriel pour la gestion de l’ingestion par lots partielle.

Prise en main

Ce tutoriel nécessite une connaissance pratique des différents services Adobe Experience Platform impliqués dans l’ingestion par lots partielle. Avant de commencer ce tutoriel, veuillez consulter la documentation relative aux services suivants :

Les sections suivantes contiennent des informations supplémentaires nécessaires pour passer des appels à des API Experience Platform.

Lecture d’exemples d’appels API

Ce guide fournit des exemples d’appels API pour démontrer comment formater vos requêtes. Il s’agit notamment de chemins d’accès, d’en-têtes requis et de payloads de requêtes correctement formatés. L’exemple JSON renvoyé dans les réponses de l’API est également fourni. Pour plus d’informations sur les conventions utilisées dans la documentation pour les exemples d’appels d’API, voir la section concernant la lecture d’exemples d’appels d’API dans le guide de dépannage Experience Platform.

Collecte des valeurs des en-têtes requis

Pour lancer des appels aux API Experience Platform, vous devez d’abord suivre le tutoriel d’authentification. Le tutoriel d’authentification fournit les valeurs de chacun des en-têtes requis dans tous les appels d’API Experience Platform, comme indiqué ci-dessous :

Dans Experience Platform, toutes les ressources sont isolées dans des sandbox virtuels spécifiques. Toutes les requêtes envoyées aux API Experience Platform nécessitent un en-tête spécifiant le nom du sandbox dans lequel l’opération sera effectuée :

Activation d’un lot pour l’ingestion par lots partielle dans l’API enable-api

Vous pouvez créer un lot pour lequel l’ingestion partielle est activée.

Pour créer un lot, suivez les étapes du guide de développement de l’ingestion par lots batch ingestion. Une fois que vous avez atteint l’étape Créer un lot, ajoutez le champ suivant dans le corps de la requête :

{
    "enableErrorDiagnostics": true,
    "partialIngestionPercent": 5
}

Activer un lot pour l’ingestion de lots partiels dans l’interface utilisateur enable-ui

Pour activer un lot pour une ingestion partielle via l’interface utilisateur de Experience Platform, vous pouvez créer un lot par le biais des connexions source, créer un nouveau lot dans un jeu de données existant ou créer un lot par le biais du « Mapper CSV à XDM flow ».

Créer une connexion source new-source

Pour créer une connexion source, procédez comme indiqué dans la section Présentation des sources. Une fois que vous avez atteint l’étape Détails du flux de données, notez la présence des champs Ingestion partielle et Diagnostics d’erreur.

Le bouton Ingestion partielle vous permet d’activer ou de désactiver l’utilisation de l’ingestion par lots partielle.

Le bouton (bascule) Diagnostics d’erreur ne s’affiche que lorsque le bouton (bascule) Ingestion partielle est désactivé. Cette fonctionnalité Experience Platform permet de générer des messages d’erreur détaillés sur vos lots ingérés. Si le bouton (bascule) Ingestion partielle est activé, les diagnostics d’erreur améliorés sont automatiquement appliqués.

Le seuil d’erreur vous permet de définir le pourcentage d’erreurs acceptables avant le rejet de l’ensemble du lot. Par défaut, cette valeur est définie sur 5 %.

Utiliser un jeu de données existant existing-dataset

Pour utiliser un jeu de données existant, commencez par sélectionner un jeu de données. La barre latérale droite contient des informations sur le jeu de données.

Le bouton Ingestion partielle vous permet d’activer ou de désactiver l’utilisation de l’ingestion par lots partielle.

Le bouton (bascule) Diagnostics d’erreur ne s’affiche que lorsque le bouton (bascule) Ingestion partielle est désactivé. Cette fonctionnalité Experience Platform permet de générer des messages d’erreur détaillés sur vos lots ingérés. Si le bouton (bascule) Ingestion partielle est activé, les diagnostics d’erreur améliorés sont automatiquement appliqués.

Le seuil d’erreur vous permet de définir le pourcentage d’erreurs acceptables avant le rejet de l’ensemble du lot. Par défaut, cette valeur est définie sur 5 %.

Désormais, vous pouvez charger des données à l’aide du bouton Ajouter des données, et elles seront ingérées à l’aide de l’ingestion partielle.

Utiliser le flux « Mapper CSV à un schéma XDM » map-flow

Pour utiliser le flux « Mapper CSV à un schéma XDM », suivez les étapes répertoriées dans le tutoriel Mapper un fichier CSV. Une fois que vous avez atteint l’étape Ajouter des données, notez la présence des champs Ingestion partielle et Diagnostics d’erreur.

Le bouton Ingestion partielle vous permet d’activer ou de désactiver l’utilisation de l’ingestion par lots partielle.

Le bouton (bascule) Diagnostics d’erreur ne s’affiche que lorsque le bouton (bascule) Ingestion partielle est désactivé. Cette fonctionnalité Experience Platform permet de générer des messages d’erreur détaillés sur vos lots ingérés. Si le bouton (bascule) Ingestion partielle est activé, les diagnostics d’erreur améliorés sont automatiquement appliqués.

Seuil d’erreur vous permet de définir le pourcentage d’erreurs acceptables avant l’échec de l’ensemble du lot. Par défaut, cette valeur est définie sur 5 %.

Étapes suivantes next-steps

Ce tutoriel explique comment créer ou modifier un jeu de données pour activer l’ingestion par lots partielle. Pour plus d’informations sur l’ingestion par lots, consultez le guide de développement de l’ingestion par lots.

Pour plus d’informations sur la surveillance des erreurs d’ingestion partielle, consultez le guide de diagnostic des erreurs d’ingestion par lots.