Surveiller vos modèles d’IA ai-model-observability
Que vous soyez spécialiste du marketing, spécialiste des données ou administrateur de prise de décision, comprendre les performances et le comportement de vos modèles d’optimisation personnalisés vous permet de sélectionner les meilleures offres pour chaque client à l’aide de l’IA.
Pour ce faire, vous pouvez surveiller l’intégrité, l’état de l’entraînement et l’évolution de vos modèles d’IA directement dans Journey Optimizer.
Vous pouvez ainsi déterminer clairement si votre modèle fonctionne, quand il a été formé pour la dernière fois, ce qui s’est passé au cours de la formation, comment il génère les résultats de votre entreprise (par exemple, les conversions ou les recettes) et déterminer s’il ne fonctionne pas.
➡️ Découvrez cette fonctionnalité en vidéo
Afficher le statut de l’entraînement from-ai-model-list
Une fois qu’un modèle est défini sur actif, il entre dans un cycle de vie continu : les données sont collectées et le modèle est périodiquement entraîné pour optimiser le classement des offres. Vous pouvez vérifier le statut d’entraînement de vos modèles d’optimisation personnalisés dans la liste des modèles d’IA.
-
Accédez à Prise de décision > Configuration de la stratégie > Modèles d’IA pour ouvrir l’inventaire des modèles d’IA.
-
Vous pouvez afficher tous les modèles d’IA disponibles et leur statut.
-
Pour chaque modèle d’IA en ligne du type Optimisation personnalisée , deux colonnes permettent de voir :
- la date de la dernière tâche de formation (Dernière formation), et
- Si chaque modèle a été correctement entraîné ou non (résultat de l’entraînement).
Vous pouvez ainsi identifier rapidement les modèles qui nécessitent une étude ou un dépannage plus approfondis.
Accès à un rapport de statut du modèle access-ai-model-details
Cliquez dans un modèle d’IA d’optimisation personnalisé dans la liste. De là, vous pouvez afficher les éléments répertoriés ci-dessous :
-
Modèle actuellement déployé - Cette section indique le modèle actuellement déployé, la date de déploiement, la période de données qu’il utilise, le nombre d’éléments de décision (offres) inclus et personnalisés, ainsi que l’affectation actuelle du trafic entre les sous-modèles.
Dans cet exemple, le modèle a été entraîné sur cinq éléments de décision et le modèle a suffisamment de trafic pour développer des prédictions personnalisées pour trois des éléments de décision. Les deux éléments de décision restants sont diffusés au hasard.
Vous pouvez également constater que le modèle alloue actuellement 40 % du trafic au réseau neuronal personnalisé, 40 % du trafic au bandit contextuel et 20 % du trafic à l’exploration aléatoire.
-
Dernière tâche de formation - Cette section affiche le statut de la dernière tâche de formation, la date de son exécution et les messages d’erreur éventuels. En savoir plus sur les états d’erreur
Dans cet exemple, vous pouvez constater que le modèle déployé correspond à la tâche de formation prévue.
-
Propriétés - Cette section affiche les propriétés du modèle, telles que le jeu de données utilisé, la mesure d’optimisation et les audiences utilisées pour entraîner le modèle d’optimisation personnalisé.
Cliquez sur Modifier les propriétés pour modifier ces éléments. Vous serez redirigé vers l’écran Créer un modèle d’IA . En savoir plus
-
Model performance - Cette section présente les performances de chaque branche du modèle au fil du temps, telles que l’affectation du trafic et le taux de conversion pour chaque sous-modèle. Vous pouvez basculer entre les 7 derniers jours et les 30 derniers jours. L’effet élévateur et la signification statistique sont les indicateurs clés permettant de déterminer si le modèle améliore réellement vos résultats marketing.
Dans cet exemple, vous pouvez constater qu’au cours des 30 derniers jours, les sous-modèles personnalisés ont entraîné une augmentation de plus de 60 % du taux de conversion. Cette augmentation est statistiquement significative, ce qui signifie que ce modèle d’IA a un impact sur votre entreprise.
-
Affectation du trafic du modèle au fil du temps - Cette section montre comment votre modèle a évolué au fil du temps. Lorsqu’un modèle est déployé pour la première fois, 100 % du trafic est aléatoire, car aucune donnée d’offre n’a encore été collectée. Après le premier recyclage, le trafic se déplace généralement vers les bras personnalisés.
Dans cet exemple, vous pouvez constater que l’affectation du trafic est passée d’une exploration aléatoire à 100 % à un trafic de réseau neuronal et de bandit contextuel, le modèle ayant été recyclé au fil du temps.
Comprendre les erreurs d’identification check-for-error-states
Pour afficher les détails d’erreur d’un modèle d’IA d’optimisation personnalisé dont la dernière tâche de formation a échoué, procédez comme suit.
-
Cliquez dans le modèle dans la liste. Les détails du statut du modèle s’affichent.
Dans cet exemple, vous pouvez constater qu’aucun modèle n’est déployé, car la dernière tâche de formation a échoué.
note note NOTE Lorsqu’aucun modèle n’est déployé, les demandes de décision sont diffusées à l’aide d’une affectation de trafic aléatoire uniforme. -
Parcourez les détails de l’erreur dans la section Dernière tâche de formation.
Une tâche de formation échoue généralement lorsque le jeu de données que vous avez sélectionné pour ce modèle ne contient aucun événement de retour. Cela signifie que vous devez renseigner le jeu de données ou sélectionner un nouveau jeu de données avec les événements de conversion appropriés.
-
Vous pouvez vérifier quel jeu de données est sélectionné dans les Propriétés du modèle. Cliquez sur Modifier les propriétés pour sélectionner un autre jeu de données. En savoir plus
Questions fréquentes faq
L’index de Gini de chaque bras de modèle est calculé différemment selon que la mesure d’optimisation est binaire ou continue :
Mesure d’optimisation binaire (par exemple clics, ordres) : l’index de Gini est calculé en fonction de l’aire sous la courbe (ASC) de la courbe caractéristique de fonctionnement du récepteur (ROC), généralement appelée AUC ROC ou simplement AUC pour abréger. L’ASC du ROC varie de 0,5 (modèle aléatoire avec une puissance prédictive nulle) à 1,0 (puissance prédictive parfaite). L’ASC du ROC est convertie en un index de Gini en utilisant la formule Gini = 2 x (ASC du ROC) - 1.
Mesure d’optimisation continue (par exemple, chiffre d’affaires, valeur de commande) : l’index de Gini est calculé en fonction de l’aire sous la courbe de Lorenz associée aux positifs prévus cumulés du modèle par rapport aux positifs réels cumulés dans la population. L'aire sous la courbe de Lorenz va de 0,0 (puissance prédictive parfaite) à 0,5 (modèle aléatoire avec puissance prédictive nulle). L’ASC de Lorenz est convertie en index de Gini en utilisant la formule Gini = 1 - 2 x (ASC de Lorenz).
Vidéo pratique video
Découvrez comment surveiller vos modèles de classement par l’IA et interpréter le statut et les performances de la formation dans Journey Optimizer.