Ingestion par lots partielle

L’ingestion par lots partielle permet d’ingérer des données contenant des erreurs jusqu’à un certain seuil. Grâce à cette fonctionnalité, les utilisateurs peuvent ingérer toutes leurs données correctes dans Adobe Experience Platform, alors que toutes leurs données incorrectes sont traitées par lots séparément, avec des détails sur les raisons de leur non-validité.

Ce document fournit un tutoriel pour la gestion de l’ingestion par lots partielle.

Prise en main

Ce tutoriel nécessite une connaissance pratique des différents services Adobe Experience Platform impliqués dans l’ingestion par lots partielle. Avant de commencer ce tutoriel, veuillez consulter la documentation relative aux services suivants :

  • Ingestion par lots Platform : méthode d’ingestion et de stockage de données de fichiers, par exemple de type CSV et Parquet, dans
  • Experience Data Model (XDM) : Cadre normalisé selon lequel Platform organise les données de l’expérience client.

Les sections suivantes fournissent des informations supplémentaires dont vous aurez besoin pour pouvoir invoquer les API Platform.

Lecture d’exemples d’appels API

Ce guide fournit des exemples d’appels API pour démontrer comment formater vos requêtes. Il s’agit notamment de chemins d’accès, d’en-têtes requis et de payloads de requêtes correctement formatés. L’exemple JSON renvoyé dans les réponses de l’API est également fourni. Pour plus d’informations sur les conventions utilisées dans la documentation pour les exemples d’appels d’API, voir la section concernant la lecture d’exemples d’appels d’API dans le guide de dépannageExperience Platform.

Collecte des valeurs des en-têtes requis

Pour lancer des appels aux API Platform, vous devez d’abord suivre le tutoriel d’authentification. Le tutoriel d’authentification fournit les valeurs de chacun des en-têtes requis dans tous les appels d’API Experience Platform, comme indiqué ci-dessous :

  • Authorization: Bearer {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}

Toutes les ressources de Experience Platform sont isolées dans des sandbox virtuels spécifiques. Toutes les requêtes d'API Platform nécessitent un en-tête spécifiant le nom du sandbox dans lequel l'opération aura lieu :

  • x-sandbox-name: {SANDBOX_NAME}
REMARQUE

Pour plus d'informations sur les sandbox dans Platform, consultez la documentation d'aperçu de sandbox.

Activez un lot pour l'assimilation partielle de lots dans l'API

REMARQUE

Cette section décrit l'activation d'un lot pour l'assimilation partielle de lots à l'aide de l'API. Pour obtenir des instructions sur l'utilisation de l'interface utilisateur, consultez l'activation d'un lot pour l'assimilation partielle de lots à l'étape UI.

Vous pouvez créer un nouveau lot avec l'assimilation partielle activée.

Pour créer un nouveau lot, suivez les étapes du guide du développeur d'assimilation par lot. Une fois que vous avez atteint l’étape Créer un lot, ajoutez le champ suivant dans le corps de la requête :

{
    "enableErrorDiagnostics": true,
    "partialIngestionPercentage": 5
}
Propriété Description
enableErrorDiagnostics Indicateur qui permet à Platform de générer des messages d'erreur détaillés sur votre lot.
partialIngestionPercentage Pourcentage d’erreurs acceptables avant le rejet de l’ensemble du lot. Ainsi, dans cet exemple, un maximum de 5 % du lot peut être une erreur, avant qu’il ne soit endommagé.

Activer un lot pour l'assimilation partielle de lots dans l'interface utilisateur

REMARQUE

Cette section décrit l'activation d'un lot pour l'assimilation partielle de lots à l'aide de l'interface utilisateur. Si vous avez déjà activé un lot pour l'assimilation partielle de lots à l'aide de l'API, vous pouvez passer à la section suivante.

Pour activer un lot pour l'assimilation partielle via l'interface utilisateur Platform, vous pouvez créer un nouveau lot via les connexions source, créer un nouveau lot dans un jeu de données existant, ou créer un nouveau lot via "Faire correspondre le flux CSV au flux XDM".

Créer une connexion source

Pour créer une nouvelle connexion source, suivez les étapes répertoriées dans la section Présentation des sources. Une fois que vous avez atteint l'étape Détails du flux de données, notez les champs Importation partielle et Diagnostic d'erreur.

Le bouton Ingestion partielle vous permet d’activer ou de désactiver l’utilisation de l’ingestion par lots partielle.

La bascule Diagnostics d'erreur n'apparaît que lorsque la bascule assimilation partielle est désactivée. Cette fonctionnalité permet à Platform de générer des messages d'erreur détaillés sur vos lots assimilés. Si la bascule assimilation partielle est activée, les diagnostics d'erreur améliorés sont automatiquement appliqués.

Le seuil d’erreur vous permet de définir le pourcentage d’erreurs acceptables avant le rejet de l’ensemble du lot. Par défaut, cette valeur est définie sur 5 %.

Utilisation d’un jeu de données existant

Pour utiliser un jeu de données existant, début en sélectionnant un jeu de données. La barre latérale droite contient des informations sur le jeu de données.

Le bouton Ingestion partielle vous permet d’activer ou de désactiver l’utilisation de l’ingestion par lots partielle.

La bascule Diagnostics d'erreur n'apparaît que lorsque la bascule assimilation partielle est désactivée. Cette fonctionnalité permet à Platform de générer des messages d'erreur détaillés sur vos lots assimilés. Si la bascule assimilation partielle est activée, les diagnostics d'erreur améliorés sont automatiquement appliqués.

Le seuil d’erreur vous permet de définir le pourcentage d’erreurs acceptables avant le rejet de l’ensemble du lot. Par défaut, cette valeur est définie sur 5 %.

Désormais, vous pouvez transférer des données à l’aide du bouton Ajouter les données et elles seront ingérées à l’aide de l’assimilation partielle.

Utilisez le flux "Faire correspondre le fichier CSV au schéma XDM"

Pour utiliser le flux "Mapper le fichier CSV au schéma XDM", suivez les étapes répertoriées dans le didacticiel Mapper un fichier CSV. Une fois que vous avez atteint l'étape Ajouter les données, notez les champs Envoi partiel et Diagnostic d'erreur.

Le bouton Ingestion partielle vous permet d’activer ou de désactiver l’utilisation de l’ingestion par lots partielle.

La bascule Diagnostics d'erreur n'apparaît que lorsque la bascule assimilation partielle est désactivée. Cette fonctionnalité permet à Platform de générer des messages d'erreur détaillés sur vos lots assimilés. Si la bascule assimilation partielle est activée, les diagnostics d'erreur améliorés sont automatiquement appliqués.

Le seuil d’erreur vous permet de définir le pourcentage d’erreurs acceptables avant que le lot entier n’échoue. Par défaut, cette valeur est définie sur 5 %.

Étapes suivantes

Ce tutoriel explique comment créer ou modifier un jeu de données pour activer l’ingestion par lots partielle. Pour plus d’informations sur l’ingestion par lots, consultez le guide de développement de l’ingestion par lots.

Pour plus d'informations sur la surveillance des erreurs d'assimilation partielle, consultez le guide de diagnostic des erreurs d'assimilation par lot.

Sur cette page

Adobe Summit Banner

A virtual event April 27-28.

Expand your skills and get inspired.

Register for free
Adobe Summit Banner

A virtual event April 27-28.

Expand your skills and get inspired.

Register for free
Adobe Maker Awards Banner

Time to shine!

Apply now for the 2021 Adobe Experience Maker Awards.

Apply now
Adobe Maker Awards Banner

Time to shine!

Apply now for the 2021 Adobe Experience Maker Awards.

Apply now