Déduplication deduplication

Ajoutez une activité Déduplication à votre workflow.

Dans la section Ensembles à joindre, cochez les activités précédentes que vous souhaitez connecter en tant que transitions entrantes de l’activité de Déduplication. Les activités sélectionnées sont ensuite liées à la déduplication dans la zone de travail du workflow. Utilisez le champ Ensemble principal pour définir la transition entrante de référence. Les enregistrements des autres ensembles sont comparés à l’ensemble principal pour identifier les doublons.

Dans la section Champs pour identifier les doublons, cliquez sur le bouton Ajouter un attribut pour indiquer les champs pour lesquels des valeurs identiques permettent d’identifier les doublons, par exemple : adresse e-mail, prénom, nom, etc. L’ordre des champs permet de spécifier ceux à traiter en premier. Découvrez comment sélectionner des attributs et les ajouter aux favoris.

Dans la section Paramètres de déduplication, sélectionnez le nombre de Doublons à conserver uniques. La valeur par défaut de ce champ est 1. La valeur 0 conserve tous les doublons.

Par exemple, si des enregistrements A et B sont considérés comme des doublons d’un enregistrement Y, et qu’un enregistrement C est considéré comme un doublon d’un enregistrement Z :

• Si la valeur du champ est 1 : seuls les enregistrements Y et Z sont conservés.
• Si la valeur du champ est 0 : tous les enregistrements sont conservés.
• Si la valeur du champ est 2 : les enregistrements C et Z sont conservés et deux enregistrements parmi A, B et Y sont conservés, au hasard ou en fonction de la méthode de déduplication choisie.

Sélectionnez la méthode de déduplication à utiliser :

• Sélection aléatoire : sélectionne au hasard parmi les doublons l’enregistrement à conserver.

• En utilisant une expression : conserve les enregistrements dont l’expression renseignée a la plus petite ou la plus grande valeur. Saisissez l’Expression, puis choisissez l’ordre Tri : Croissant (valeurs les plus petites en premier) ou Décroissant (valeurs les plus grandes en premier).

• Valeur non vide : conserve les enregistrements pour lesquels l’expression n’est pas vide.

• En suivant une liste de valeurs : définit la priorité de l’enregistrement en faisant correspondre une ou plusieurs valeurs pour un attribut ou une expression. Cliquez sur Ajouter un attribut pour ajouter un attribut. Pour chaque attribut :

  • Dans le champ Attribut, sélectionnez l’attribut ou créez une expression.
  • Cliquez sur Ajouter une valeur pour créer la liste ordonnée de valeurs à prioriser.
  • Utilisez le menu déroulant Trier pour d’autres valeurs pour choisir comment trier les valeurs qui ne figurent pas dans la liste, par exemple Indifférent (aléatoire).

  Lorsque plusieurs attributs sont définis, le premier est utilisé comme critère de tri principal, et les attributs suivants agissent comme des disjoncteurs, dans l’ordre.

Cochez l’option Générer le complément si vous souhaitez exploiter la population restante. Le complémentaire est constitué de tous les doublons. Une transition supplémentaire sera alors ajoutée à l’activité.