Ingestion de données par lots

Dans cette leçon, vous allez assimiler des données par lots dans l'Experience Platform à l'aide de diverses méthodes.

L'ingestion de données par lots vous permet d'assimiler une grande quantité de données à Adobe Experience Platform en même temps. Vous pouvez assimiler des données par lots lors d’un chargement unique dans l’interface de la plate-forme ou à l’aide de l’API. Vous pouvez également configurer des chargements par lots planifiés régulièrement à partir de services tiers tels que des services de stockage cloud à l’aide des connecteurs Source.

Ingénieurs de données devra assimiler des données par lots en dehors de ce tutoriel.

Avant de commencer les exercices, regardez cette courte vidéo pour en savoir plus sur l’ingestion de données :

Autorisations requises

Dans la boîte de dialogue Configuration des autorisations vous configurez tous les contrôles d'accès requis pour terminer ce cours.

Vous devez avoir accès à un serveur (S)FTP ou à une solution de stockage dans le cloud pour l'exercice Sources. Il existe une solution si vous n'en avez pas.

Assimilation de données par lots avec l’interface utilisateur de la plate-forme

Les données peuvent être téléchargées directement dans un ensemble de données sur l’écran des ensembles de données aux formats JSON et parquet. Il s’agit d’un excellent moyen de tester l’ingestion de certaines de vos données après avoir créé un

Téléchargement et préparation des données

Commencez par obtenir les données d’exemple et personnalisez-les pour votre client :

REMARQUE

Données contenues dans le fichier luma-data.zip est fictif et ne doit être utilisé qu'à des fins de démonstration.

  1. Télécharger luma-data.zip à Ressources du tutoriel Luma dossier.

  2. Décompressez le fichier pour créer un dossier nommé luma-data qui contient les quatre fichiers de données que nous allons utiliser dans cette leçon

  3. Ouvrir luma-loyalty.json dans un éditeur de texte et remplacez toutes les instances de _techmarketingdemos avec votre propre ID de soulignement-locataire, comme indiqué dans vos propres schémas :
    ID client souligné

  4. Enregistrer le fichier mis à jour

Assimilation des données

  1. Dans l’interface utilisateur de la plate-forme, sélectionnez Données dans la navigation de gauche

  2. Ouvrez votre Luma Loyalty Dataset

  3. Faites défiler la liste vers le bas jusqu’à ce que le Ajouter des données dans la colonne de droite

  4. Téléchargez le fichier luma-loyalty.json fichier.

  5. Une fois le fichier chargé, une ligne pour le lot s’affiche.

  6. Si vous rechargez la page au bout de quelques minutes, vous devriez voir que le lot a été correctement chargé avec 1 000 enregistrements et 1 000 fragments de profil.

    Ingestion

REMARQUE

Quelques options sont disponibles. Diagnostic des erreurs et Exposition partielle, que vous verrez sur différents écrans dans cette leçon. Ces options ne sont pas abordées dans le tutoriel. Quelques infos rapides :

  • L’activation des diagnostics d’erreur génère des données sur l’ingestion de vos données, que vous pouvez ensuite vérifier à l’aide de l’API d’accès aux données. Pour en savoir plus, consultez la page la documentation.
  • L’ingestion partielle vous permet d’assimiler des données contenant des erreurs, jusqu’à un certain seuil que vous pouvez spécifier. Pour en savoir plus, consultez la page la documentation

Validation des données

Il existe plusieurs façons de confirmer que les données ont été correctement assimilées.

Validation dans l’interface utilisateur de la plate-forme

Pour confirmer que les données ont été assimilées dans l'ensemble de données :

  1. Sur la page où vous avez assimilé les données, sélectionnez l’option Aperçu du dataset en haut à droite

  2. Sélectionnez l’option Aperçu et vous devriez pouvoir voir certaines des données assimilées.

    Aperçu du jeu de données réussi

Pour confirmer que les données sont entrées dans Profile (peut prendre quelques minutes pour que les données atterrissent) :

  1. Aller à Profils dans la navigation de gauche

  2. Sélectionnez l’icône en regard de l’icône Sélectionner un espace de noms d’identité pour ouvrir la modale

  3. Sélectionnez votre Luma Loyalty Id namespace

  4. Puis entrez l’une des options loyaltyId des valeurs de votre dataset, 5625458

  5. Sélectionner Affichage

    Confirmer un profil à partir du jeu de données

Validation avec des événements d'assimilation de données

Si vous avez souscrit à des événements d’assimilation de données lors de la leçon précédente, consultez votre URL webhook.site unique. Vous devriez voir trois demandes apparaître dans l’ordre suivant, avec un certain temps entre elles, avec les éléments suivants : eventCode valeurs :

  1. ing_load_success: le lot comme assimilé
  2. ig_load_success: le lot a été assimilé dans un graphique d'identité.
  3. ps_load_success: le lot a été assimilé au service de profils.

Webhook d'assimilation de données

Voir la section documentation pour plus de détails sur les notifications.

Assimilation de données par lots avec l’API de plate-forme

Nous allons maintenant charger des données à l’aide de l’API.

REMARQUE

Architectes de données, n’hésitez pas à charger les données CRM via la méthode de l’interface utilisateur.

Téléchargement et préparation des données

  1. Vous auriez déjà dû télécharger et décompresser luma-data.zip dans votre Luma Tutorial Assets dossier.
  2. Ouvrir luma-crm.json dans un éditeur de texte et remplacez toutes les instances de _techmarketingdemos avec votre propre ID de soulignement-locataire, comme indiqué dans vos schémas
  3. Enregistrer le fichier mis à jour

Obtenir l'ID du jeu de données

Nous allons d'abord obtenir l'ID du jeu de données du jeu de données dans lequel nous voulons assimiler des données :

  1. Ouvrir Postman
  2. Si vous n’avez pas fait de demande au cours des dernières 24 heures, vos jetons d’autorisation ont probablement expiré. Ouvrir la demande Adobe I/O Access Token Generation > Local Signing (Non-production use-only) > IMS: JWT Generate + Auth via User Token et sélectionnez Envoyer pour demander de nouveaux jetons d'accès et JWT, comme vous l'avez fait dans le fichier Postman leçon.
  3. Ouvrez vos variables d’environnement et assurez-vous que la valeur de CONTAINER_ID est toujours tenant
  4. Ouvrir la demande Catalog Service API > Datasets > Retrieve a list of datasets. et sélectionnez Envoyer
  5. Vous devriez avoir un 200 OK réponse
  6. Copiez l’ID du noeud Luma CRM Dataset de l'organisme de réponse
    Obtenir l'ID du jeu de données

Création du lot

Nous pouvons maintenant créer un lot dans le jeu de données :

  1. Télécharger Data Ingestion API.postman_collection.json à Luma Tutorial Assets dossier

  2. Importation de la collection dans Postman

  3. Sélectionnez la demande. Data Ingestion API > Batch Ingestion > Create a new batch in Catalog Service.

  4. Collez les éléments suivants en tant que Corps de la demande, remplacement de la valeur datasetId par la vôtre:

    {
        "datasetId":"REPLACE_WITH_YOUR_OWN_DATASETID",
        "inputFormat": {
            "format": "json"
        }
    }
    
  5. Sélectionnez l’option Envoyer bouton

  6. Vous devriez obtenir une réponse 201 créée contenant l’ID de votre nouveau lot !

  7. Copiez le fichier id du nouveau lot
    Lot créé

Assimilation des données

Nous pouvons maintenant charger les données dans le lot :

  1. Sélectionnez la demande. Data Ingestion API > Batch Ingestion > Upload a file to a dataset in a batch.

  2. Dans la boîte de dialogue Params , saisissez votre ID de dataset et votre ID de lot dans leurs champs respectifs.

  3. Dans la boîte de dialogue Params , saisissez luma-crm.json comme filePath

  4. Dans la boîte de dialogue Corps , sélectionnez binaire option

  5. Sélectionnez le fichier téléchargé luma-crm.json de votre Luma Tutorial Assets dossier

  6. Sélectionner Envoyer et vous devriez obtenir une réponse OK de 200 avec "1" dans le corps de la réponse.

    Données téléchargées

À ce stade, si vous regardez votre lot dans l’interface utilisateur de la plate-forme, vous verrez qu’il se trouve dans unChargement" status :
Chargement par lots

Comme l’API de traitement par lots est souvent utilisée pour télécharger plusieurs fichiers, vous devez indiquer à la plate-forme quand un traitement par lots est terminé, ce que nous ferons à l’étape suivante.

Finalisation du lot

Pour terminer le lot :

  1. Sélectionnez la demande. Data Ingestion API > Batch Ingestion > Finish uploading a file to a dataset in a batch.

  2. Dans la boîte de dialogue Params , saisissez COMPLETE comme action

  3. Dans la boîte de dialogue Params , entrez votre ID de lot. S'ils sont présents, ne vous inquiétez pas pour l'ID de dataset ou filePath.

  4. Assurez-vous que l’URL du POST est https://platform.adobe.io/data/foundation/import/batches/:batchId?action=COMPLETE et qu'il n'y a pas de références inutiles au datasetId ou filePath

  5. Sélectionner Envoyer et vous devriez obtenir une réponse OK de 200 avec "1" dans le corps de la réponse.

    Lot terminé

Validation des données

Validation dans l’interface utilisateur de la plate-forme

Validez les données ont atterri dans l'interface utilisateur de la plate-forme, comme vous l'avez fait pour le jeu de données Loyauté.

Tout d’abord, confirmez que le lot indique que 1 000 enregistrements ont été assimilés :

Succès par lots

Ensuite, confirmez le lot à l’aide du jeu de données Aperçu :

Aperçu par lots

Enfin, confirmez que l’un de vos profils a été créé en recherchant l’un des profils par l’onglet Luma CRM Id namespace, par exemple 112ca06ed53d3db37e4cea49cc45b71e

Profil assimilé

Il y a une chose intéressante qui vient de se produire que je veux souligner. Ouvrir Danny Wright profil. Le profil comporte un Lumacrmid et un Lumaloyaltyid. N’oubliez pas Luma Loyalty Schema contenait deux champs d’identité, l’ID Loyauté Luma et l’ID CRM. Maintenant que nous avons chargé les deux ensembles de données, ils ont fusionné en un seul profil. Les données sur la loyauté Daniel comme prénom et "New York City" comme adresse d’accueil, tandis que les données de CRM avaient Danny comme prénom et Portland comme adresse d’accueil du client ayant le même ID de fidélité. Nous reviendrons à la raison pour laquelle le prénom s’affiche Danny dans la leçon sur les politiques de fusion.

Félicitations, vous venez de fusionner des profils !

Profil fusionné

Validation avec des événements d'assimilation de données

Si vous avez souscrit à des événements d’assimilation de données lors de la leçon précédente, consultez votre URL webhook.site unique. Trois demandes doivent être introduites, comme pour les données de fidélité :

Webhook d'assimilation de données

Voir la section documentation pour plus de détails sur les notifications.

Assimilation de données avec Workflows

Voyons un autre moyen de charger des données. La fonction Flux de travaux vous permet d’assimiler des données CSV qui ne sont pas déjà modélisées dans XDM.

Téléchargement et préparation des données

  1. Vous auriez déjà dû télécharger et décompresser luma-data.zip dans votre Luma Tutorial Assets dossier.
  2. Confirmez que vous avezluma-products.csv

Créer un workflow

Nous allons maintenant configurer le flux de travaux :

  1. Aller à Workflows dans la navigation de gauche
  2. Sélectionner Mapper le fichier CSV au schéma XDM et sélectionnez l’option Lancer bouton
    Lancement du flux de travaux
  3. Sélectionnez votre Luma Product Catalog Dataset et sélectionnez l’option Suivant bouton
    Sélection de votre dataset
  4. Ajoutez la luma-products.csv le fichier que vous avez téléchargé et sélectionnez Suivant bouton
    Sélection de votre dataset
  5. Vous êtes maintenant dans l’interface du mappeur, dans laquelle vous pouvez mapper un champ à partir des données source (l’un des noms de colonne dans le fichier luma-products.csv ) vers les champs XDM dans le schéma cible. Dans notre exemple, les noms de colonne sont suffisamment proches des noms de champ de schéma pour que le mappeur puisse détecter automatiquement le mappage approprié ! Si le mappeur n’a pas pu détecter automatiquement le champ de droite, vous devez sélectionner l’icône à droite du champ cible pour sélectionner le champ XDM correct. En outre, si vous ne souhaitez pas assimiler l’une des colonnes du fichier CSV, vous pouvez supprimer la ligne du mappeur. N’hésitez pas à lire et à modifier les en-têtes de colonne dans le fichier luma-products.csv pour vous familiariser avec le fonctionnement du mappeur.
  6. Sélectionnez l’option Terminer bouton
    Sélection de votre dataset

Validation des données

Une fois le lot chargé, vérifiez le chargement en prévisualisant le jeu de données.

Depuis la Luma Product SKU est un espace de noms autre que les personnes, nous ne verrons aucun profil pour le skus de produit.

Vous devriez voir les trois coups sur votre webhook.

Assimiler les données avec les sources

Tu as fait les choses à la dure. Passons maintenant au pays promis de automatisé ingestion par lots Quand je dis, "DÉMARREZ !" vous dites : "OUBLIEZ !" "DÉMARREZ !" "OUBLIE-LE !" "DÉMARREZ !" "OUBLIE-LE !" Vous plaisanteriez, vous ne feriez jamais une telle chose ! Ok, retourne au travail. Vous avez presque fini.

Aller à Sources dans le volet de navigation gauche pour ouvrir le catalogue Sources. Vous y verrez différentes intégrations prêtes à l'emploi avec les principaux fournisseurs de données et de stockage.

Catalogue source

Nous allons assimiler des données à l'aide d'un connecteur source.

Cet exercice sera un style de choix d'aventure. Je vais afficher le flux de travaux à l'aide du connecteur source FTP. Vous pouvez soit utiliser un connecteur source de stockage dans le cloud différent que vous utilisez dans votre entreprise, soit télécharger le fichier json à l’aide de l’interface utilisateur du jeu de données, comme nous l’avons fait avec les données de fidélité.

La plupart des sources ont un processus de configuration similaire, dans lequel vous :

  1. Entrez vos informations d’authentification
  2. Sélectionnez les données à assimiler.
  3. Sélectionnez l'ensemble de données de la plate-forme dans lequel vous souhaitez l'assimiler.
  4. Mapper les champs à votre schéma XDM
  5. Sélectionnez la fréquence à laquelle vous souhaitez réassimiler les données à partir de cet emplacement.
REMARQUE

Les données d'achat hors ligne que nous utiliserons dans cet exercice contiennent des données d'heure. Les données datetime doivent être dans l’une ou l’autre des Chaînes formatées ISO 8061 ("2018-07-10T15:05:59,000-08:00") ou Temps Unix formatés en millisecondes (1531263959000) et convertis lors de l’assimilation au type XDM cible. Pour plus d’informations sur la conversion des données et d’autres contraintes, voir la documentation de l’API d’administration par lots.

Téléchargement, préparation et téléchargement des données vers votre fournisseur de stockage en ligne préféré

  1. Vous auriez déjà dû télécharger et décompresser luma-data.zip dans votre Luma Tutorial Assets dossier.
  2. Ouvrir luma-offline-purchases.json dans un éditeur de texte et remplacez toutes les instances de _techmarketingdemos avec votre propre ID de soulignement-locataire, comme indiqué dans vos schémas
  3. Sélectionnez votre fournisseur de stockage en mode cloud préféré, en vous assurant qu’il est disponible dans le dossier Sources catalogue
  4. Télécharger luma-offline-purchases.json vers un emplacement de votre fournisseur de stockage cloud préféré

Assimilez les données à votre emplacement de stockage dans le cloud préféré

  1. Dans l’interface utilisateur de la plate-forme, filtrez la Sources vers Stockage cloud

  2. Notez qu’il existe des liens pratiques vers la documentation sous la rubrique ...

  3. Dans la zone de votre fournisseur de stockage Cloud préféré, sélectionnez l’option Configurer bouton
    Sélectionnez Configurer

  4. Authentification est la première étape. Saisissez le nom de votre compte, par exemple Luma's FTP Account et vos détails d’authentification. Cette étape doit être assez similaire pour toutes les sources de stockage dans le cloud, bien que les champs puissent légèrement varier. Une fois que vous avez saisi les détails d’authentification d’un compte, vous pouvez les réutiliser pour d’autres connexions sources qui peuvent envoyer des données différentes sur des calendriers différents à partir d’autres fichiers du même compte.

  5. Sélectionnez l’option Bouton Se connecter à la source

  6. Lorsque la plate-forme est correctement connectée à la source, sélectionnez l’option Suivant bouton
    Authentifiez-vous à la source

  7. Sur la Sélectionner des données , l’interface utilisateur utilisera vos informations d’identification pour ouvrir le dossier sur votre solution de stockage cloud

  8. Sélectionnez les fichiers que vous souhaitez assimiler, par exemple luma-offline-purchases.json

  9. En tant que Format de données, sélectionnez XDM JSON

  10. Vous pouvez ensuite afficher un aperçu de la structure json et des exemples de données dans votre fichier.

  11. Sélectionnez l’option Suivant bouton
    Sélectionnez vos fichiers de données

  12. Sur la Mappage , sélectionnez votre Luma Offline Purchase Events Dataset et sélectionnez l’option Suivant bouton. Notez dans le message que, puisque les données que nous ingérons sont un fichier JSON, il n’existe aucune étape de mappage où nous mappons le champ source au champ cible. Les données JSON doivent déjà être dans XDM. Si vous ingériez un fichier CSV, l’interface utilisateur de mappage complet s’affiche à cette étape :
    Sélection de votre dataset

  13. Sur la Planification , vous choisissez la fréquence à laquelle vous souhaitez réassimiler les données de la source. Prenez quelques instants pour examiner les options. Nous allons juste faire une ingestion unique, alors laissez le Fréquence sur Une fois et sélectionnez l’option Suivant bouton :
    Planification de votre flux de données

  14. Sur la Détails du flux de données , vous pouvez choisir un nom pour votre flux de données, entrer une description facultative, activer les diagnostics d'erreur et l'assimilation partielle. Conservez les paramètres tels quels et sélectionnez l’option Suivant bouton :
    Modification des détails de votre flux de données

  15. Sur la Révision , vous pouvez passer en revue tous vos paramètres ensemble et soit les modifier, soit sélectionner l’option Terminer bouton

  16. Après l'enregistrement, vous accédez à un écran comme celui-ci :
    Terminée

Validation des données

Une fois le lot chargé, vérifiez le chargement en prévisualisant le jeu de données.

Vous devriez voir les trois coups sur votre webhook.

Recherche du profil avec une valeur 5625458 dans la loyaltyId pour voir s’il existe des événements d’achat dans leur profil. Vous devriez voir un achat. Vous pouvez entrer les détails de l’achat en sélectionnant Afficher JSON:

Événement d’achat dans le profil

Outils ETL

Adobe s'associe avec plusieurs fournisseurs ETL pour prendre en charge l'assimilation de données dans l'Experience Platform. En raison de la variété des fournisseurs tiers, ETL n’est pas couvert dans ce tutoriel, mais vous pouvez consulter certaines des ressources suivantes :

Ressources supplémentaires

Maintenant, diffusion de données à l’aide du SDK Web

Sur cette page