La science derrière les algorithmes de recommandations de Target

Algorithmes basés sur un article : incluez des algorithmes qui suivent la logique « Les personnes qui ont consulté/acheté cet article ont également consulté/acheté ces articles ». Ces algorithmes sont regroupés sous le terme générique de filtrage collaboratif article par article, ainsi que des algorithmes Items with Similar Attributes.

Algorithmes basés sur l’utilisateur : incluez les algorithmes Recently Viewed et Recommended for You.

Algorithmes basés sur la popularité : incluez des algorithmes qui renvoient les articles les plus consultés ou les plus achetés sur le site web ou les plus consultés ou les plus achetés par catégorie ou attribut d’article.

Algorithmes basés sur le panier : incluez des recommandations basées sur plusieurs éléments avec la logique « Les personnes qui ont consulté/acheté ces éléments, ont également consulté/acheté ces éléments ».

Critères personnalisés : incluez des recommandations basées sur des fichiers personnalisés chargés dans Target.

Données d’entrée : données comportementales, sous la forme d’affichages et d’achats de visiteurs collectés lorsque vous implémentez Target ou à partir de Adobe Analytics.

Modèle de formation :

• Nettoyage et échantillonnage des données : pour les algorithmes avec une recherche en amont de N jours, les données comportementales sont d’abord filtrées afin d’inclure uniquement ces N jours de données. Les règles de collection et les exclusions globales sont ensuite appliquées pour supprimer tous les éléments qui ne doivent pas être recommandés. Enfin, pour tous les visiteurs et visiteuses qui ont interagi avec plus de 1 000 éléments, les données d’utilisation sont échantillonnées à seulement 1 000 éléments.
• Calcul de similarité d’élément : il s’agit de l’étape de calcul principale : calcul de la similarité du rapport de vraisemblance logarithmique entre toutes les paires d’éléments candidats et classement des paires d’éléments en fonction de ce score de similarité.
• Filtrage hors ligne : enfin, tous les autres filtres dynamiques applicables sont appliqués (par exemple, les exclusions de catégories dynamiques). Après cette étape, les recommandations précalculées sont mises en cache globalement pour être disponibles pour diffusion.

Diffusion de modèles : le contenu de Recommendations est diffusé à partir du réseau Targetglobal « Edge »​ d’. Lorsque des requêtes de mbox sont envoyées à Target et qu’il est déterminé que le contenu des recommandations doit être diffusé sur la page, la requête de la clé item appropriée pour l’algorithme de recommandations est analysée à partir de la requête ou recherchée à partir du profil utilisateur, puis utilisée pour récupérer les recommandations calculées dans les étapes précédentes. D’autres filtres dynamiques sont appliqués à ce stade, avant que la conception appropriée ne soit rendue.

Données d’entrée : comme décrit précédemment, cet algorithme est basé uniquement sur les données de catalogue (ingérées par les Target via un flux de catalogue), l’API Entities ou à partir de mises à jour sur la page.

Modèle de formation :

• Extraction d’attributs : après l’application de filtres statiques standard, de règles de catalogue et d’exclusions globales, cet algorithme extrait les champs de texte pertinents du schéma d’entité. Target utilise automatiquement les champs nom, message et catégorie des attributs d’entité et tente d’extraire n’importe quel champ de chaîne des attributs d’entité personnalisés. Pour ce faire, assurez-vous que la majorité des valeurs de ce champ ne sont pas analysables sous la forme d’un nombre, d’une date ou d’une valeur booléenne.

• Suppression de mots vides et de mots vides : pour une correspondance de similarité de texte plus précise, il est recommandé de supprimer les mots vides très courants qui ne modifient pas considérablement la signification d’un élément (par exemple, « était », « est », « et », etc.). De même, le terme de bourrage fait référence au processus de réduction de mots ayant des suffixes différents à leur mot racine, qui a une signification identique (par exemple, « connect », « connection » et « connection » ont tous le même mot racine : « connect »). Target utilise la tige de boule de neige. Target effectue d'abord la détection automatique de la langue, et peut arrêter la suppression de mots pour jusqu'à 50 langues et la gestion de contenu pour 18 langues.

• création n-gramme : Suite aux étapes précédentes, chaque mot est traité comme un jeton. Le processus de combinaison de séquences contiguës de jetons en un seul jeton est appelé création de n-grammes. Les algorithmes de Target prennent en compte jusqu'à 2 grammes.

• calcul tf-idf : l’étape suivante implique la création de vecteurs tf-idf pour refléter l’importance relative des jetons dans la description de l’élément. Pour chaque jeton/terme t d'un élément i, dans un catalogue D avec |D| on calcule d'abord le terme fréquence TF(t, i) (nombre d'occurrences du terme dans l'élément i), ainsi que la fréquence document DF(t, D). En substance, le nombre d’éléments pour lesquels le jeton t existe. La mesure tf-idf est alors

  

  Target utilise l’implémentation de la fonctionnalité tf-idf d’Apache Spark, qui hache chaque jeton dans un espace de 218 jetons. Au cours de cette étape, l’amplification et l’enfouissement des attributs spécifiés par le client sont également appliqués en ajustant les fréquences du terme dans chaque vecteur en fonction des paramètres spécifiés dans les critères.

• Calcul de similarité d'élément : Le calcul de similarité d'élément final est effectué en utilisant une similarité cosinus approximative. Pour deux items, A et B, avec les vecteurs tA et tB, la similarité cosinus est définie comme :

  

  Pour éviter une complexité significative dans le calcul des similitudes entre tous les N x N éléments, le vecteur tf-idf est tronqué pour ne contenir que ses 500 entrées les plus grandes, puis calcule les similitudes cosinus entre les éléments à l'aide de cette représentation vectorielle tronquée. Cette approche s’avère plus robuste pour les calculs de similarité de vecteurs épars, par rapport à d’autres techniques de voisinage proche approximatif (ANN), telles que le hachage sensible à la localité.

• Service de modèles : ce processus est identique aux techniques de filtrage collaboratif article par article décrites dans la section précédente.

Données d’entrée : est identique aux méthodes de filtrage collaboratif (CF) élément par élément. Les algorithmes Both Recommended For You et basés sur le panier utilisent des données comportementales, sous la forme d’affichages et d’achats des utilisateurs collectés lors de l’implémentation de Target ou à partir de Adobe Analytics.

Modèle de formation :

• Nettoyage et échantillonnage des données : il s’agit toujours de la même procédure que pour les méthodes de filtrage collaboratif, où l’intervalle de recherche en amont est appliqué pour filtrer les données comportementales selon une période appropriée, suivie de l’application de règles de catalogue et d’exclusions globales. Les visiteurs et visiteuses qui ont interagi avec plus de 1 000 éléments n’ont pris en compte que leurs 1 000 utilisations les plus récentes.
• Répartition des tests d’entraînement : effectuez une répartition chronologique des utilisations de chaque utilisateur, en attribuant les 80 % premiers de leurs utilisations aux données d’entraînement, les 20 % restants étant attribués aux données de test.
• Entraînement du modèle de similarité d’élément : le calcul de similarité d’élément principal diffère pour les algorithmes Recommended For You et basés sur le panier de la manière dont les vecteurs d’élément candidat sont construits. Par Recommended For You, les vecteurs d'article ont des utilisateurs de dimension NUsers, où chaque entrée représente la somme des évaluations implicites pour cet utilisateur de l'article - les achats d'un article ont un poids de 2 fois celui des vues de l'article. Pour les recommandations basées sur le panier, les vecteurs d’élément ont des entrées binaires ; si le comportement au sein de la session doit uniquement être pris en compte, il existe une nouvelle entrée pour chaque session. Sinon, il y a une entrée dans ce vecteur d’élément pour chaque visiteur.

L'étape d'apprentissage calcule plusieurs types de similitudes vectorielles: la similarité LLR (discutée ici), la similarité cosinus (définie précédemment), et une similarité L2 normalisée, définie comme:

• Évaluation du modèle de similarité d’élément : l’évaluation du modèle est effectuée en prenant les recommandations générées à l’étape précédente et en effectuant des prédictions sur le jeu de données de test. La phase de notation en ligne est simulée en ordonnant chronologiquement les utilisations d’articles de chaque utilisateur dans le jeu de données de test, puis en effectuant 100 recommandations pour des sous-ensembles d’articles ordonnés dans le but de prédire les vues et achats ultérieurs. Une mesure de récupération des informations, la [précision moyenne moyenne]​(https://en.wikipedia.org/wiki/Evaluation_measures_(information_retrieval?lang=fr)), est utilisée pour évaluer la qualité de ces recommandations. Cette mesure prend en compte l’ordre des recommandations et favorise les éléments pertinents plus haut dans la liste des recommandations, ce qui est une propriété importante pour les systèmes de classement.
• Sélection de modèle : après l’évaluation hors ligne, le modèle présentant la précision moyenne la plus élevée est sélectionné et toutes les recommandations individuelles d’élément sont calculées pour lui.
• Filtrage hors ligne : la dernière étape de l’apprentissage des modèles consiste à appliquer les filtres dynamiques applicables. Après cette étape, les recommandations précalculées sont mises en cache globalement pour être disponibles pour diffusion.

Diffusion de modèles : contrairement aux algorithmes précédents dans lesquels les recommandations de diffusion impliquent de spécifier une seule clé à récupérer, suivie de l’application de règles métier, les algorithmes Recommended for You et Basés sur le panier utilisent un processus d’exécution plus complexe.

• Récupération et fusion de plusieurs clés : pour les recommandations basées sur le panier, un maximum de dix éléments transmis dans le panier sont considérés comme des clés pour la récupération et les recommandations de chaque élément sont pondérées de manière égale. Par Recommended for You, jusqu’aux cinq derniers éléments consultés uniques et aux cinq derniers éléments achetés uniques sont considérés comme des clés de récupération, les recommandations provenant d’éléments achetés étant pondérées deux fois plus que les recommandations provenant d’éléments consultés. Lors de la fusion de recommandations, si un élément apparaît dans plusieurs listes individuelles de recommandations, ses scores de similarité pondérés sont ajoutés. La liste finale des recommandations issues de cette étape est alors la liste fusionnée des recommandations répondérées, classées par ordre décroissant.
• Filtrage : ensuite, les règles de filtrage telles que la suppression des éléments précédemment consultés et/ou achetés, ainsi que d’autres règles métier dynamiques sont appliquées.