Configuration des traitements d’import

Adobe Campaign vous permet d'importer des données dans la base de données à partir d'un ou de plusieurs fichiers au format texte, CSV, TAB ou XML. Ces fichiers sont associés à une table (principale ou liée) et chaque champ du ou des fichier(s) source est associé à un champ de la base de données.

REMARQUE

Vous pouvez importer des données sans les associer aux données de la base en utilisant la fonction Importer une liste. Les données seront alors utilisables exclusivement dans les workflows via l'objet Lecture de liste. Voir à ce sujet cette page.

L'assistant d'import vous permet de configurer un import, de définir ses options (comme la transformation de données) et de lancer son exécution. Il s'agit d'une série d'écrans dont le contenu dépend du type d'import (simple ou multiple) et des droits de l'opérateur.

L’assistant d’import s’affiche après avoir créé un nouveau traitement d’import (voir la section Création de traitements d’import et d’export).

REMARQUE

Si vous utilisez un serveur web IIS, un paramétrage peut-être nécessaire afin d'autoriser le téléchargement de fichiers volumineux (> 28 Mo). Pour plus d’informations, consultez cette section.

Fichier source

Dans le fichier source, chaque ligne correspond à un enregistrement. Les données des enregistrements sont séparées les unes des autres par un délimiteur (espace, tabulation, caractère, etc.). Les données sont ainsi récupérées sous forme de colonnes et chaque colonne est associée à un champ de la base de données.

Etape 1 - Choix du modèle d’import

Lorsque vous lancez l'assistant d'import, vous devez d'abord sélectionner un modèle. A titre d'exemple, pour configurer l'import des destinataires qui ont reçu une newsletter, procédez comme suit :

  1. Sélectionnez le dossier Profils et Cibles > Traitement > Imports et exports génériques.

  2. Cliquez sur Nouveau puis sur Import pour créer le modèle d'import.

  3. Cliquez sur la flèche située à droite du champ Modèle d'import pour sélectionner votre modèle, ou cliquez sur l'icône Choisir le lien pour parcourir l'arborescence.

    Le modèle natif est Nouvel import texte. Ce modèle ne doit pas être modifié, mais vous pouvez le dupliquer pour paramétrer un modèle correspondant à vos besoins. Par défaut, les modèles d'import sont enregistrés dans le nœud Profils et cibles > Modèles > Modèles de traitement.

  4. Saisissez un nom pour cet import dans le champ Libellé. Vous pouvez ajouter une description.

  5. Sélectionnez le type d'import dans le champ correspondant. Deux types d'imports sont possibles : Import simple pour n'importer qu'un seul fichier et Import multiple pour importer plusieurs fichiers en une seule exécution.

    Dans le cas d'un import multiple, sélectionnez Import multiple dans la liste déroulante Type d'import du premier écran de l'assistant d'import.

  6. Indiquez ensuite les différents fichiers que vous souhaitez importer en cliquant sur Ajouter.

    Chaque fois qu'un fichier est ajouté, l'écran de l'assistant Fichier à importer s'affiche. Consultez la section Etape 2 - Choix du fichier source et suivez les étapes de l'assistant pour définir les options d'import comme pour un import simple.

    REMARQUE

    Les imports multiples ne doivent répondre qu'à des besoins spécifiques et ne sont pas recommandés.

Paramètres avancés

Le lien Paramètres avancés… permet d'accéder aux options suivantes :

  • Onglet Général

    • Stopper l'exécution s'il y a trop de rejets

      Cette option est sélectionnée par défaut. Vous pouvez la décocher si vous souhaitez continuer l'exécution de l'import, quel que soit le nombre de rejets. Par défaut, l'exécution est stoppée si les 100 premières lignes sont rejetées.

    • Mode trace

      Cochez cette option pour assurer un tracking de l'exécution de l'import, pour chaque ligne.

    • Lancer le traitement dans un processus détaché

      Cette option est sélectionnée par défaut. Elle permet de dissocier l'exécution de l'import afin de ne pas affecter d'autres traitements en cours au même moment sur la base de données.

    • Ne pas mettre à jour les énumérations

      Cochez cette option pour ne pas enrichir la liste des valeurs énumérées en base. Pour plus d'informations, consultez la section Gérer les énumérations.

  • Onglet Variables

    Vous pouvez définir des variables associées au traitement et qui seront accessibles dans les requêteurs et dans les champs calculés. Pour créer une variable, cliquez sur l'icône Ajouter et renseignez l'éditeur de variables.

    IMPORTANT

    L'onglet Variables est réservé à des utilisations programmatiques de type Workflow et ne doit être paramétré que par des utilisateurs experts.

Etape 2 - Choix du fichier source

Le fichier source peut être au format texte (txt, csv, tab, colonnes fixes) ou xml.

Par défaut, l'option Télécharger le fichier sur le serveur est cochée. Cliquez sur le dossier situé à droite du champ Fichier local pour parcourir le disque local et sélectionner le fichier à importer. Vous pouvez décocher cette option pour saisir le chemin d'accès et le nom du fichier à importer s'il se trouve sur le serveur.

Une fois le fichier spécifié, vous pouvez en visualiser les données dans la section inférieure de la fenêtre en cliquant sur le lien Auto-détection du format. Cet aperçu affiche les 200 premières lignes du fichier source.

Utilisez les options proposées au-dessus de cette vue pour paramétrer l'import. Les paramètres définis via ces options sont répercutés dans l'aperçu. Les options disponibles sont les suivantes :

  • Cliquez ici pour changer le format du fichier… permet de vérifier le format du fichier et d'affiner le paramétrage.
  • Mettre à jour sur le serveur… permet de transférer le fichier local sur le serveur. Cette option n'est disponible que si l'option Télécharger le fichier sur le serveur est cochée.
  • Rapatrier en local n'est disponible que si le fichier a été téléchargé sur le serveur.
  • Auto-détection du format permet de réinitialiser le format de la source de données. Cette option permet de réappliquer les formats originaux aux données qui ont été formatées via l'option Cliquez ici pour changer le format du fichier….
  • Le lien Paramètres avancés… permet de filtrer les données sources et d'accéder à des options avancées. Vous pouvez choisir depuis cet écran de n'importer qu'une partie du fichier. Vous pouvez également définir un filtre pour n'importer par exemple que les utilisateurs de type 'Prospect' ou 'Client', en fonction de la valeur de la ligne correspondante. L'utilisation de ces options est réservée à des utilisateurs experts JavaScript.

Modifier le format du fichier

L'option Cliquez ici pour changer le format du fichier… permet de formater les données du fichier source, et notamment de préciser le séparateur de colonnes et le type de données pour chaque champ. Ce paramétrage est réalisé au travers de la fenêtre suivante :

Cette étape permet de décrire comment doivent être lues les valeurs des champs du fichier. Par exemple, dans le cas d'une date, vous pouvez associer le type de données Date ou Date+Heure à un format (jj/mm/aaaa, mm/jj/aa, etc.). Si la donnée en entrée ne correspond pas au format attendu, des rejets auront lieu lors de l'import.

Vous pouvez visualiser le résultat du paramétrage dans la zone d'aperçu située dans la section inférieure de la fenêtre.

Cliquez sur OK pour enregistrer ce formatage puis sur Suivant pour afficher l'étape suivante.

Etape 3 - Association des champs

Vous devez ensuite choisir le schéma de destination et associer les données de chaque colonne à des champs de la base de données.

  • Le champ Schéma destination permet de sélectionner le schéma dans lequel seront importées les données. Cette information est obligatoire. Cliquez sur l'icône Choisir le lien pour sélectionner un des schéma existants. Cliquez sur Editer le lien pour visualiser le contenu de la table sélectionnée.

  • Le tableau central reprend tous les champs définis dans le fichier source. Sélectionnez les champs à importer afin de leur associer un champ de destination. Ces champs peuvent être associés manuellement ou automatiquement.

    Pour associer un champ manuellement, cliquez sur la case à cocher pour sélectionner le champ source et cliquez dans la seconde colonne pour activer la cellule correspondant au champ sélectionné. Cliquez ensuite sur l'icône Editer l'expression pour afficher tous les champs de la table courante. Sélectionnez le champ de destination et cliquez sur OK pour valider l'association.

    Pour associer automatiquement les champs sources et les champs de destination, cliquez sur l'icône Deviner les champs destination située à droite de la liste des champs. Les champs proposés peuvent si besoin être modifiés.

    IMPORTANT

    Le résultat de cette opération doit toujours être validé avant de passer à l'étape suivante.

  • Vous pouvez appliquer une transformation aux champs importés. Pour cela, cliquez dans la cellule de la colonne Transformation relative au champ visé et sélectionnez la transformation à appliquer.

    IMPORTANT

    La transformation est appliquée au moment de l'importation. Toutefois, si des contraintes ont été définies sur les champs de destination (dans l'exemple ci-dessus, sur le champ @lastname), ces dernières sont prioritaires.

  • Vous pouvez ajouter des champs calculés depuis l'icône correspondante située à droite du tableau central. Les champs calculés permettent d'effectuer des transformations complexes, d'ajouter des colonnes virtuelles ou des fusionner les données de plusieurs colonnes. Reportez-vous aux paragraphes ci-dessous qui détaillent les différentes possibilités.

Les champs calculés

Les champs calculés sont de nouvelles colonnes ajoutées au fichier source et calculées à partir d'autres colonnes. Les champs calculés peuvent ensuite être associés à des champs de la base de données Adobe Campaign. Toutefois, les opérations de réconciliation ne sont pas possibles sur des champs calculés.

Quatre types de champ calculé sont proposés :

  • Chaîne fixe : la valeur du champ calculé est la même pour toutes les lignes du fichier source. Permet de définir la valeur d'un champ des enregistrements insérés ou mis à jour. Par exemple, vous pouvez définir un marqueur sur "oui" pour tous les enregistrements importés.

  • Chaîne avec fusion JavaScript : la valeur du champ calculé est une chaîne de caractères contenant des directives JavaScript.

  • Expression JavaScript : la valeur du champ calculé est le résultat de l'évaluation d'une fonction JavaScript, la valeur retournée pouvant être typée (nombre, date, etc.).

  • Enumération : la valeur du champ est attribuée en fonction d'une valeur contenue dans le fichier source. L'éditeur vous permet de spécifier la colonne source et de saisir la liste des valeurs d'énumération, comme dans l'exemple suivant :

    L'onglet Aperçu permet de visualiser le résultat du paramétrage défini. Ici, la colonne Abonnement a été ajoutée. La valeur est calculée à partir du champ Statut.

Etape 4 - Réconciliation

L'étape de réconciliation de l'assistant d'import permet de définir le mode de rapprochement des données issues du fichier avec les informations existantes dans la base de données, ainsi que de fixer les règles de priorité entre les données du fichier et celles de la base de données. La fenêtre de configuration se présente comme suit :

La section centrale de l'écran présente, de manière arborescente les champs et les tables de la base de données Adobe Campaign vers lesquels des données seront importées.

Des options spécifiques sont disponibles pour chaque noeud (table ou champ). Cliquez sur le noeud concerné dans la liste et ses paramètres, ainsi qu'une courte description apparaîtront en-dessous. Le comportement défini pour chaque élément est affiché dans la colonne Comportement correspondante.

Types d'opérations

Pour chaque table concernée par l'import, vous devez définir le type d'opération. Les opérations disponibles pour l'élément principal de la base de données sont les suivantes :

  • Mise à jour ou insertion : met à jour l'enregistrement s'il existe dans la base de données et le crée dans le cas contraire.
  • Insertion : insère les enregistrements dans la base.
  • Mise à jour : effectue uniquement une mise à jour des enregistrements existants (ignore les autres enregistrements).
  • Réconciliation seule : recherche l'enregistrement dans la base de données mais n'effectue aucune mise à jour de celui-ci. Permet par exemple d'associer le dossier de destinataires à importer en fonction d'une colonne du fichier sans mettre à jour les données des dossiers.
  • Suppression : permet de détruire des enregistrements de la base de données.

Les options disponibles pour chaque champ de la table concernée par l'import sont les suivantes :

  • Mettre à jour (vider) si la valeur source est vide : en cas de mise à jour, permet d'écraser la valeur du champ telle qu'elle est dans la base de données si la valeur du champ est vide dans le fichier source. Sinon, le champ de la base est conservé.
  • Mettre à jour uniquement si la destination est vide : la valeur du champ de la base de données n'est pas écrasée par celle du fichier source sauf si le champ de la base est vide. Il prend alors la valeur du fichier source.
  • Mettre à jour uniquement à l'insertion de l'enregistrement : lors d'une opération de mise à jour ou insertion, ne sont importés que les enregistrement du fichier source qui sont nouveaux.
REMARQUE

Dans tous les cas, la définition d'une clé de réconciliation est obligatoire, sauf en cas d'insertion sans dédoublonnage.

Les clés de réconciliation

Il est nécessaire de renseigner au moins une clé de réconciliation pour gérer le dédoublonnage.

Une clé de réconciliation est un ensemble de champs utilisé pour identifier un enregistrement. Par exemple, pour importer des destinataires, la clé de réconciliation peut être le numéro de compte, le champ "email", les champs "Nom, Prénom, Société", etc.

Dans ce cas, pour savoir si une ligne du fichier correspond à un destinataire existant dans la base de données, le moteur d'import compare les valeurs du fichier avec celles de la base de données pour tous les champs de la clé. Plus les champs sont spécifiques à un enregistrement, plus la comparaison entre les données source et destination pourra être fine et garantir l'intégrité des données après l'import. Il est possible de renseigner une seconde clé de réconciliation pour une même table : elle sera utilisée pour les lignes dont la première clé est vide.

Il convient aussi de ne pas choisir un champ qui risque d'être modifié lors de l'import, auquel cas, le moteur risque de créer des enregistrements supplémentaires.

REMARQUE

Pour un import de destinataires, l'identifiant du dossier sélectionné est implicitement ajouté à la clé.

La réconciliation n'est donc effectuée que sur ce dossier (sauf si aucun dossier n'est sélectionné).

Déduplication

REMARQUE

Un doublon est un élément qui est présent au moins deux fois dans le fichier à importer.

Un duplicata est un élément qui est présent à la fois dans le fichier à importer et dans la base.

Le champ Gestion des doublons permet de paramétrer le dédoublonnage des données. Le dédoublonnage concerne les enregistrements qui apparaissent plusieurs fois dans le fichier source (ou les fichiers sources dans le cas d'un import multi-fichiers), c'est-à-dire des lignes pour lesquelles les champs de la clé de réconciliation sont identiques.

  • La gestion des doublons en mode Mise à jour (mode par défaut) n'effectue pas de dédoublonnage. Par conséquent, le dernier enregistrement est prioritaire (puisqu'il met à jour les données du ou des précédents enregistrements). Le comptage de doublons n'est pas effectué dans ce mode.
  • Les gestions des doublons en mode Ignorer ou Rejeter l'entité excluent les doublons de l'import. Dans ce cas, aucun enregistrement n'est importé.
  • En mode Rejeter l'entité, l'élément n'est pas importé et une erreur est générée dans les logs de l'importation.
  • En mode Ignorer, l'élément n'est pas importé mais aucune trace de l'erreur n'est conservée. Ce mode permet d'optimiser les performances.
IMPORTANT

Le dédoublonnage est effectué uniquement en mémoire. Par conséquent, la taille d'un import avec dédoublonnage est limitée. La limite dépend de plusieurs paramètres (capacité du serveur applicatif, activité, nombre de champs dans la clé, etc.). L'ordre de grandeur de la taille maximale pour un dédoublonnage est 1 000 000 de lignes.

La déduplication concerne un enregistrement présent à la fois dans le fichier source et dans la base de données. Elle ne concerne que les opérations avec mise à jour (c'est-à-dire Mise à jour et insertion ou Mise à jour). L'option Gestion des duplicatas permet de mettre à jour ou d'ignorer l'enregistrement s'il est à la fois dans le fichier source et dans la base. L'option Mise à jour ou insertion en fonction de l'origine fait partie d'un module optionnel : elle n'est pas utilisable dans un contexte standard.

Les options Rejeter et Ignorer fonctionnent comme présentés ci-dessus.

En cas d’erreur

La plupart des opérations de transfert de données génèrent divers types d'erreurs (format de ligne incohérent, adresse email invalide, etc.). Toutes les erreurs et tous les avertissements générés par le moteur d'import sont stockés et associés à l'instance d'import.

Le détail de ces rejets est visible depuis l'onglet Rejets.

Les rejets peuvent être de deux types (le type est affiché dans la colonne Connecteur) :

  • Les rejets du connecteur texte concernent les erreurs lors du traitement de la ligne du fichier (champ calculé, analyse de données, etc.). Ainsi, en cas d'erreur, c'est toujours la ligne entière qui est rejetée.
  • Les rejets du connecteur base de données concernent les erreurs ayant lieu lors de la réconciliation des données ou de l'écriture dans la base. Dans le cas d'un import sur plusieurs tables, le rejet peut ne concerner qu'une portion de l'enregistrement (par exemple pour un import de destinataires et d'événements associés, une erreur peut empêcher la mise à jour d'un événement sans pour autant rejeter le destinataire).

Dans la page de réconciliation des données, il est possible de définir champ par champ, et table par table, le type de gestion d'erreur souhaité.

  • Ignorer mais générer un avertissement : tous les champs sont importés dans la base de données, sauf celui qui a généré une erreur.

  • Rejeter l'élément parent : toute la ligne de l'enregistrement est rejetée et pas uniquement le champ qui a provoqué une erreur.

  • Rejeter tous les éléments : l'import s'arrête et tous les éléments de l'enregistrement sont rejetés.

L'arborescence dans l'écran des rejets d'une instance d'import indique quels champs ont été rejetés et où les erreurs se sont produites.

Vous pouvez générer un fichier comportant ces enregistrements via l'icône Exporter les rejets:

Etape 5 - Etape supplémentaire lors de l'import de destinataires

L'étape suivante de l'assistant d'import permet de choisir ou créer le dossier dans lequel les données seront importées, d'associer automatiquement les destinataires importés à une liste (existante ou nouvelle) et de les abonner à un service.

REMARQUE

Cette étape n'est proposée que dans le cas d'un import de destinataires et si vous utilisez la table des destinataires Adobe Campaign par défaut (nms:recipient).

  • Cliquez sur les liens Editer pour choisir le dossier, la liste ou le service auxquels vous souhaitez associer ou abonner les destinataires.

    1. Importer dans un dossier

      Le lien Editer… de la section Réaliser l'import dans un dossier permet de sélectionner ou créer le dossier dans lequel seront importés les destinataires. Par défaut, si aucun dossier n'est défini, les données sont importées dans le dossier par défaut de l'opérateur.

      REMARQUE

      Le dossier par défaut de l'opérateur correspond au premier dossier dans lequel l'opérateur a le droit d'écrire. En savoir plus dans la section Gestion des accès aux dossiers.

      Pour choisir le dossier d'import, cliquez sur la flèche située à droite du champ Dossier et sélectionnez le dossier visé. Vous pouvez également utiliser l'icône Choisir le lien pour afficher l'arborescence dans une nouvelle fenêtre ou créer un nouveau dossier.

      Pour créer un nouveau dossier, sélectionnez le noeud à partir duquel vous souhaitez ajouter un dossier et cliquez sur le bouton droit de la souris. Choisissez Ajouter un dossier Destinataires.

      Le dossier est ajouté en sous-arborescence du noeud courant. Saisissez le nom de ce nouveau dossier, tapez sur la touche Entrée pour valider et cliquez sur OK.

    2. Associer à une liste

      Le lien Editer… de la section Ajouter les destinataires dans une liste permet de sélectionner ou créer une liste dans laquelle seront ajoutés les destinataires importés.

      Vous pouvez créer une liste pour ces destinataires en cliquant sur Choisir le lien, puis sur Créer. La création et la gestion des listes sont présentées dans cette section.

      Vous pouvez choisir d'ajouter les destinataires à ceux déjà présents dans une liste existante ou de recréer la liste avec les nouveaux destinataires. Dans ce cas, si la liste contenait déjà des destinataires, ils seront supprimés, et remplacés par les destinataires importés.

    3. Abonner à un service

      Pour abonner tous les destinataires importés à un service d'information, cliquez sur le lien Editer… de la section Abonner les destinataires à un service afin de sélectionner ou créer le service d'information auquel seront inscrits les destinataires. Vous pouvez cocher l'option Envoyer un message de confirmation : le contenu du message est défini dans le modèle de diffusion associé au service d'abonnement.

      Vous pouvez créer un nouveau service pour ces destinataires en cliquant sur le bouton Choisir le lien, puis sur l'icône Créer. La gestion des services d'information est présentée dans cette section.

  • Utilisez le champ Origine pour ajouter des informations sur l'origine des destinataires dans leur profil : ces informations sont notamment utiles dans le cadre d'un import multiple.

Cliquez sur Suivant pour valider cette étape et afficher l'étape suivante.

Étape 6 - Lancement de l’import

La dernière étape de l’assistant permet de lancer l’import des données. Pour cela, cliquez sur le bouton Démarrer.

Vous pouvez ensuite surveiller l’exécution du traitement d’import (voir la section Surveillance de l’exécution des traitements.

Sur cette page