Panneau Expérimentation
Créé pour :
- Utilisateur ou utilisatrice
Cet article présente le panneau Expérimentation dans
Consultez Panneau Analytics for Target pour plus d’informations sur l’analyse des activités et des expériences Adobe Target dans
Le panneau Expérimentation permet aux analystes de comparer des variantes d’expériences d’utilisation, de marketing ou de messagerie afin de déterminer la meilleure source d’un résultat spécifique. Vous pouvez évaluer l’effet élévateur et le degré de confiance de toute expérience A/B à partir de n’importe quelle plateforme d’expérimentation, en ligne, hors ligne, à partir de solutions Adobe comme Target ou Journey Optimizer et même de données BYO (apportez vos propres données).
En savoir plus sur l’intégration entre Adobe Customer Journey Analytics et Adobe Target.
Contrôle d’accès
Le panneau Expérimentation est disponible pour tous les utilisateurs et utilisatrices de Customer Journey Analytics. Aucun droit d’administrateur ou autre autorisation n’est requis. Toutefois, les conditions préalables exigent des actions que seuls les administrateurs et administratrices peuvent effectuer.
Fonctions dans les mesures calculées
Deux nouvelles fonctions avancées sont disponibles : Effet élévateur et Degré de confiance. Pour plus d’informations, voir Référence - fonctions avancées.
Conditions préalables
Pour utiliser le panneau d’expérimentation, veillez à respecter les conditions préalables suivantes :
Créer une connexion aux jeux de données d’expérience
Le schéma de données recommandé consiste à placer les données de l’expérimentation dans un tableau d’objets qui contient les données d’expérience et de variante dans deux dimensions distinctes. Les deux dimensions doivent se trouver dans un tableau d’objets unique. Si vos données d’expérience se trouvent dans une seule dimension avec des données d’expérience et de variante dans une chaîne délimitée, le paramètre Sous-chaîne dans les vues de données vous permet de les diviser en deux pour les utiliser dans le panneau.
Une fois que les données de l’expérimentation ont été ingérées dans Adobe Experience Platform, créez une connexion dans Customer Journey Analytics vers un ou plusieurs jeux de données d’expérience.
Ajouter des libellés de contexte dans les vues de données
Dans les paramètres des vues de données Customer Journey Analytics, les administrateurs et administratrices peuvent ajouter des libellés de contexte à une dimension ou à une mesure et des services Customer Journey Analytics comme le panneau Expérimentation peuvent utiliser ces libellés à leurs fins. Deux libellés prédéfinis sont utilisés pour le panneau Expérimentation :
- Expérience d’expérimentation
- Variante d’expérimentation
Dans votre vue de données contenant des données d’expérimentation, sélectionnez deux dimensions, l’une avec les données d’expérimentation et l’autre avec les données de variante. Puis étiquetez ces dimensions avec les libellés Expérience d’expérimentation et Variante d’expérimentation.
Sans ces libellés, le panneau Expérience ne fonctionnera pas, puisqu’il n’y aura aucune expérience à utiliser.
Utilisation
Pour utiliser un panneau Expérimentation, procédez comme suit :
-
Créez un panneau Expérimentation. Pour plus d’informations sur la création d’un panneau, consultez Créer un panneau.
-
Spécifiez l’entrée du panneau.
-
Observez la sortie du panneau.
IMPORTANTSi la configuration nécessaire dans les vues de données Customer Journey Analytics n’a pas été effectuée, vous recevrez le message suivant avant de pouvoir poursuivre : « Veuillez configurer les dimensions de l’expérience et des variantes dans les vues de données ».
Entrée du panneau
Pour utiliser le panneau Expérimentation, procédez comme suit :
-
Configurez les paramètres d’entrée du panneau :
ParamètreDéfinitionPériodeLa période du panneau Expérimentation est automatiquement définie, en fonction du premier accès reçu dans Customer Journey Analytics pour l’expérience sélectionnée. Si nécessaire, vous pouvez limiter ou étendre la période à des délais plus spécifiques.ExpérienceUn ensemble de variantes sur une expérience qui ont été proposées aux utilisateurs et utilisatrices finaux afin de déterminer laquelle il est préférable de conserver à perpétuité. Une expérience est composée de deux variantes ou plus, dont l’une est considérée comme la variante de contrôle. Ce paramètre est pré-renseigné avec des dimensions qui ont été étiquetées avec le libellé Expérience dans les vues de données et l’équivalent des 3 derniers mois de données d’expérience.Variante de contrôleUne, deux ou plusieurs modifications de l’expérience d’un utilisateur final qui sont comparées dans le but d’identifier la meilleure alternative. Une variante doit être sélectionnée comme contrôle, et une seule variante peut être considérée comme la variante de contrôle. Ce paramètre est pré-renseigné avec les dimensions qui ont été étiquetées avec le libellé Variante dans les vues de données. Ce paramètre récupère les données de variante associées à cette expérience.Mesure de succès ➊La mesure ou les mesures avec lesquelles une personne compare des variantes. La variante ayant le résultat le plus souhaitable pour la mesure de conversion (la plus élevée ou la plus faible) est déclarée variante la plus performante d’une expérience. Vous pouvez ajouter jusqu’à 5 mesures.Mesure de normalisation ➋La base (Compte global B2B edition, Compte B2B edition, Opportunité B2B edition, Groupe d’achat B2B edition, People, Sessions ou Events) sur laquelle un test s’exécute. Par exemple, un test peut comparer les taux de conversion de plusieurs variantes où le Taux de conversion est calculé comme Page vue.Inclure les limites supérieure/inférieure de confianceActivez cette option pour afficher les limites supérieure et inférieure des niveaux de confiance. -
Sélectionnez la Version.
Sortie du panneau
Le panneau Expérimentation renvoie un riche ensemble de données et de visualisations pour vous aider à mieux comprendre les performances de vos expériences. En haut du panneau, des visualisations Synthèse des modifications vous rappellent les paramètres du panneau que vous avez sélectionnés. À tout moment, vous pouvez modifier le panneau en sélectionnant l’icône de modification en forme de crayon dans le coin supérieur droit.
Vous obtenez également un résumé textuel qui indique si l’expérience est concluante ou non et résume le résultat. La conclusion repose sur la signification statistique (consultez Méthodologie statistique). Vous pouvez afficher des nombres de synthèse pour la variante la plus performante avec l’effet élévateur et le degré de confiance les plus élevés.
Pour chaque mesure de succès sélectionnée, une visualisation Tableau à structure libre et une visualisation Ligne de taux de conversion s’affichent.
NOTEInterpréter les résultats
-
L’expérience est concluante : chaque fois que vous consultez le rapport d’expérience, les données accumulées jusqu’à présent dans l’expérience sont analysées. L’analyse déclare une expérience concluante lorsque le degré de confiance valide à tout moment dépasse un seuil de 95 % pour au moins l’une des variantes. Avec plus de deux bras, une correction de Benjamini-Hochberg est appliquée pour corriger plusieurs tests d’hypothèse.
-
Variante la plus performante : lorsqu’une expérience est déclarée concluante, la variante ayant le taux de conversion le plus élevé est étiquetée comme variante la plus performante. Notez que cette variante doit être la variante de référence ou de contrôle, ou l’une des variantes qui dépasse le seuil de 95 % de degré de confiance valide à tout moment (avec des corrections Benjamini-Hochberg appliquées).
-
Taux de conversion : le taux de conversion qui s’affiche est un ratio de la valeur de la mesure de succès ➊ par rapport à la valeur de la mesure de normalisation ➋. Notez que cette valeur peut parfois être supérieure à 1, si la mesure n’est pas binaire (1 ou 0 pour chaque unité de l’expérience).
-
Effet élévateur : la synthèse du rapport d’expérience affiche l’effet élévateur sur la ligne de base, qui est une mesure de l’amélioration en pourcentage du taux de conversion d’une variante donnée par rapport à la ligne de base. Défini précisément, il s’agit de la différence de performance entre une variante donnée et la ligne de base, divisée par les performances de la ligne de base, exprimée en pourcentage.
-
Confiance : le degré de confiance valide à tout moment qui s’affiche est une mesure probabiliste de l’ampleur des preuves qu’une variante donnée est identique à la variante de contrôle. Un degré de confiance plus élevé indique moins de preuves relatives à l’hypothèse que la variante de contrôle et la variante de non-contrôle ont des performances similaires. Le degré de confiance est une probabilité (exprimée en pourcentage) que vous auriez observé une différence plus faible dans les taux de conversion entre une variante donnée et le contrôle. Alors qu’en réalité, il n’y a aucune différence dans les taux de conversion réels sous-jacents. En termes de p-valeurs, la confiance affichée est 1 - p-valeur.
NOTEMéthodologie statistique d’Adobe
Afin de fournir une inférence statistique facile à interpréter et sûre, Adobe a adopté une méthodologie statistique fondée sur des Séquences de confiance valides à tout moment.
Une séquence de confiance est une analogie séquentielle d’un intervalle de confiance. Pour comprendre ce qu’est une séquence de confiance, imaginez que vous répétiez vos expériences cent fois. Et calculez une estimation de la mesure commerciale moyenne (par exemple le taux d’ouverture d’un e-mail) et de la séquence de confiance à 95 % qui lui est associée pour chaque nouvelle personne qui rejoint l’expérience.
Une séquence de confiance à 95 % inclura la valeur « True » de la mesure commerciale dans 95 des 100 expériences que vous avez exécutées. (Un intervalle de confiance de 95 % ne pouvait être calculé qu’une seule fois par expérience afin de fournir la même garantie de couverture de 95 % ; et pas avec chaque nouvelle personne.) Les séquences de confiance vous permettent donc de surveiller en permanence les expériences, sans augmenter les taux d’erreurs Faux positif, c’est-à-dire qu’elles permettent de « jeter un coup d’œil » aux résultats.
Interpréter les dimensions non randomisées
Customer Journey Analytics permet aux analystes de sélectionner n’importe quelle dimension comme expérience. Mais comment interpréter une analyse où la dimension choisie comme expérience n’est pas une dimension pour laquelle les personnes sont randomisées ?
Prenons l’exemple d’une publicité qu’une personne voit. Il se peut que vous souhaitiez mesurer le changement dans certaines mesures (par exemple, le revenu moyen) si vous décidez de montrer la publicité B au lieu de la publicité A aux personnes. L’effet causal de l’affichage de la publicité B, au lieu de la publicité A, est d’une importance capitale pour parvenir à la décision marketing. Cet effet causal peut être mesuré comme le revenu moyen sur l’ensemble de la population, si vous remplacez le statu quo de l’affichage de la publicité A par la stratégie alternative d’affichage de la publicité B.
Les tests A/B sont la référence dans l’industrie pour mesurer objectivement les effets de telles interventions. La principale raison pour laquelle un test A/B donne lieu à une estimation causale est due à la randomisation des personnes pour recevoir l’une des variantes possibles.
Maintenant, envisagez une dimension qui n’est pas atteinte par la randomisation, par exemple, l’État américain de la personne. Les personnes viennent principalement de deux États, New York et la Californie. Le chiffre d’affaires moyen des ventes d’une marque de vêtements d’hiver peut être différent dans les deux États en raison des différences dans la météo régionale. Dans une telle situation, la météo peut être le véritable facteur causal derrière les ventes de vêtements d’hiver, et non le fait que les États géographiques des personnes sont différents.
Le panneau Expérimentation de Customer Journey Analytics vous permet d’analyser les données en tant que différence de chiffre d’affaires moyen par État des personnes. Dans un tel cas, la sortie n’a pas d’interprétation causale. Toutefois, une telle analyse peut encore présenter un intérêt. Elle fournit une estimation (ainsi que des mesures d’incertitude) de la différence entre les revenus moyens des personnes par État. Cette valeur est également appelée Test statistique d’hypothèse. Le résultat de cette analyse peut être intéressant, mais pas nécessairement exploitable. Tout simplement parce que vous n’avez pas randomisé et que vous ne pouvez parfois pas randomiser les personnes sur l’une des valeurs possibles de la dimension.
L’illustration suivante met en contraste ces situations :
Lorsque vous voulez mesurer l’impact de l’intervention X sur le résultat Y, il est possible que la véritable cause des deux soit le facteur de confusion C. Si les données ne sont pas obtenues en randomisant les personnes sur X, l’impact est plus difficile à mesurer, et l’analyse prend explicitement en compte C. La randomisation rompt la dépendance de X par rapport à C, ce qui nous permet de mesurer l’effet de X sur Y sans avoir à nous soucier d’autres variables.
Utiliser les mesures calculées dans l’expérimentation
NOTEToutes les mesures calculées ne sont pas compatibles avec le panneau Expérimentation.
Les mesures calculées qui incluent l’une des mesures ou constantes suivantes ne sont pas compatibles avec le panneau Expérimentation :
- Mesures de base d’un jeu de données de résumé
- Mesures de base divisées entre elles ou multipliées ensemble (par exemple,
Revenue/Orders) - Constantes ajoutées ou soustraites à une mesure de base (par exemple,
Revenue+50) - L’une des mesures de base suivantes :
- Personnes
Les mesures calculées qui ne sont pas compatibles avec le panneau Expérimentation ont la valeur Partout dans Customer Journey Analytics (à l’exception de l’expérimentation) dans le champ Compatibilité des produits lors de la création de la mesure calculée. Pour plus d’informations sur la création d’une mesure calculée, consultez Création de mesures.
Utiliser des mesures calculées dans le panneau Expérimentation
Consultez cet article de blog pour plus d’informations sur l’utilisation de mesures calculées dans le panneau Expérimentation.