Sur cette page : surveillez l’intégrité, l’état de l’entraînement et les performances de vos modèles de classement IA afin de confirmer qu’ils améliorent vos résultats commerciaux et de résoudre les problèmes lorsque ce n’est pas le cas.
Que vous soyez responsable marketing, spécialiste des données, ou bien administrateur ou administratrice de prise de décision, comprendre les performances et le comportement de vos modèles d’optimisation personnalisés vous permet de sélectionner les meilleures offres pour chaque client ou cliente à l’aide de l’IA.
Pour ce faire, vous pouvez surveiller l’intégrité, l’état de l’entraînement et l’évolution de vos modèles d’IA directement dans Journey Optimizer.
Vous pouvez ainsi déterminer clairement si votre modèle fonctionne, quand il a été entraîné pour la dernière fois, ce qui s’est passé au cours de l’entraînement, comment il génère les résultats de votre entreprise (par exemple, les conversions ou les recettes) et déterminer s’il ne fonctionne pas.
➡️ Découvrez cette fonctionnalité en vidéo
Afficher le statut de l’entraînement from-ai-model-list
Une fois qu’un modèle est défini sur actif, il entre dans un cycle de vie continu : les données sont collectées et le modèle est périodiquement entraîné pour optimiser le classement des offres. Vous pouvez vérifier le statut d’entraînement de vos modèles d’optimisation personnalisés dans la liste des modèles d’IA.
-
Accédez à Prise de décision > Configuration de la stratégie > Modèles d’IA pour ouvrir l’inventaire des modèles d’IA.
-
Vous pouvez afficher tous les modèles d’IA disponibles et leur statut.
-
Pour chaque modèle d’IA en ligne du type Optimisation personnalisée, deux colonnes permettent de voir :
- La date de la dernière tâche d’entraînement (Dernier entraînement), et
- si chaque modèle a été correctement entraîné ou non (résultat de l’entraînement).
Vous pouvez ainsi identifier rapidement les modèles qui nécessitent une étude ou un dépannage plus approfondis.
Accès à un rapport de statut du modèle access-ai-model-details
Cliquez dans un modèle d’IA d’optimisation personnalisé dans la liste. De là, vous pouvez afficher les éléments répertoriés ci-dessous :
-
Modèle actuellement déployé - Cette section indique le modèle actuellement déployé, la date de déploiement, la période de données qu’il utilise, le nombre d’éléments de décision (offres) inclus et personnalisés, ainsi que l’affectation actuelle du trafic entre les sous-modèles.
Dans cet exemple, le modèle a été entraîné sur cinq éléments de décision et il a suffisamment de trafic pour développer des prédictions personnalisées pour trois des éléments de décision. Les deux éléments de décision restants sont diffusés au hasard.
Vous pouvez également constater que le modèle alloue actuellement 40 % du trafic au réseau neuronal personnalisé, 40 % du trafic au bandit contextuel et 20 % du trafic à l’exploration aléatoire.
-
Dernière tâche d’entraînement - Cette section affiche le statut de la dernière tâche d’entraînement, la date de son exécution et les messages d’erreur éventuels. En savoir plus sur les états d’erreur
Dans cet exemple, vous pouvez constater que le modèle déployé correspond à la tâche d’entraînement prévue.
-
Propriétés - Cette section affiche les propriétés du modèle, telles que le jeu de données utilisé, la mesure d’optimisation et les audiences utilisées pour entraîner le modèle d’optimisation personnalisé.
Cliquez sur Modifier les propriétés pour modifier ces éléments. Vous serez redirigé vers l’écran Créer un modèle d’IA. En savoir plus
-
Model performance - Cette section présente les performances de chaque variante du modèle au fil du temps, telles que l’affectation du trafic et le taux de conversion pour chaque sous-modèle. Vous pouvez basculer entre les 7 derniers jours et les 30 derniers jours. L’effet élévateur et la signification statistique sont les indicateurs clés permettant de déterminer si le modèle améliore réellement vos résultats marketing.
Dans cet exemple, vous pouvez constater qu’au cours des 30 derniers jours, les sous-modèles personnalisés ont entraîné une augmentation de plus de 60 % du taux de conversion. Cette augmentation est statistiquement significative, ce qui signifie que ce modèle d’IA a un impact sur votre entreprise.
-
Affectation du trafic du modèle au fil du temps - Cette section montre comment votre modèle a évolué au fil du temps. Lorsqu’un modèle est déployé pour la première fois, 100 % du trafic est aléatoire, car aucune donnée d’offre n’a encore été collectée. Après le premier réentraînement, le trafic se déplace généralement vers les variantes personnalisées.
Dans cet exemple, vous pouvez constater que l’affectation du trafic est passée d’une exploration aléatoire à 100 % à un trafic de réseau neuronal et de bandit contextuel, le modèle ayant été réentraîné au fil du temps.
Comprendre les erreurs d’entraînement check-for-error-states
Pour afficher les détails d’erreur d’un modèle d’IA d’optimisation personnalisé dont la dernière tâche d’entraînement a échoué, procédez comme suit.
-
Cliquez dans le modèle dans la liste. Les détails du statut du modèle s’affichent.
Dans cet exemple, vous pouvez constater qu’aucun modèle n’est déployé, car la dernière tâche d’entraînement a échoué.
note NOTE Lorsqu’aucun modèle n’est déployé, les demandes de décision sont diffusées à l’aide d’une affectation de trafic aléatoire uniforme. -
Parcourez les détails de l’erreur dans la section Dernier traitement d’entraînement.
Un traitement d’entraînement échoue généralement lorsque le jeu de données que vous avez sélectionné pour ce modèle ne contient aucun événement de retour. Cela signifie que vous devez renseigner le jeu de données ou sélectionner un nouveau jeu de données avec les événements de conversion appropriés.
-
Vous pouvez vérifier quel jeu de données est sélectionné dans les Propriétés du modèle. Cliquez sur Modifier les propriétés pour sélectionner un autre jeu de données. En savoir plus
Questions fréquentes faq
L’indice de Gini de chaque variante de modèle est calculé différemment selon que la mesure d’optimisation est binaire ou continue :
Métrique d’optimisation binaire (par exemple clics, ordres) : l’indice de Gini est calculé en fonction de l’aire sous la courbe (AUC) de la courbe caractéristique de fonctionnement du récepteur (ROC), généralement appelée ROC AUC ou simplement AUC pour abréger. Le ROC AUC varie de 0,5 (modèle aléatoire avec une puissance prédictive nulle) à 1,0 (puissance prédictive parfaite). Le ROC AUC est converti en un indice de Gini en utilisant la formule Gini = 2 x (ROC AUC) - 1.
Métrique d’optimisation continue (par exemple, chiffre d’affaires, valeur de commande) : l’indice de Gini est calculé en fonction de l’aire sous la courbe de Lorenz associée aux positifs prévus cumulés du modèle par rapport aux positifs réels cumulés dans la population. L’aire sous la courbe de Lorenz va de 0,0 (puissance prédictive parfaite) à 0,5 (modèle aléatoire avec puissance prédictive nulle). Le Lorenz AUC est converti en index de Gini en utilisant la formule Gini = 1 - 2 x (Lorenz AUC).
Vidéo pratique video
Découvrez comment surveiller vos modèles de classement IA et interpréter le statut et les performances de l’entraînement dans Journey Optimizer.