Panneau Expérimentation experimentation-panel
Le panneau Expérience permet aux analystes de comparer différentes expériences utilisateur, variations de marketing ou de messagerie afin de déterminer quelle est la meilleure source d’un résultat spécifique. Vous pouvez évaluer l’effet élévateur et le degré de confiance de toute expérience A/B à partir de n’importe quelle plateforme d’expérimentation : en ligne, hors ligne, à partir de solutions d’Adobe telles que Target ou Journey Optimizer, et même de données BYO (apportez-vous).
En savoir plus sur l’ intégration entre Adobe Customer Journey Analytics et Adobe Target.
Contrôle d’accès access
Le panneau Expérience est disponible pour tous les utilisateurs de Customer Journey Analytics. Aucun droit d’administrateur ou autre autorisation n’est requis. Toutefois, les conditions préalables nécessitent des actions que seuls les administrateurs peuvent effectuer.
Fonctions dans les mesures calculées
Deux fonctions avancées sont disponibles : effet élévateur et degré de confiance. Pour plus d’informations, voir Référence - fonctions avancées.
Conditions préalables
Pour utiliser le panneau d’expérimentation, assurez-vous de respecter les conditions préalables suivantes :
Création d’une connexion à des jeux de données d’expérience
Le schéma de données recommandé est que les données d’expérimentation se trouvent dans un tableau d’objets qui contient les données d’expérience et de variante dans deux dimensions distinctes. Les deux dimensions doivent se trouver dans un tableau d’objets single. Si vos données d’expérimentation se trouvent dans une seule dimension (avec les données d’expérience et de variante dans une chaîne délimitée), vous pouvez utiliser le paramètre substring dans les vues de données pour diviser la dimension en deux à utiliser dans le panneau.
Une fois vos données d’expérimentation ingéréesdans Adobe Experience Platform, créez une connexion en Customer Journey Analytics à un ou plusieurs jeux de données d’expérience.
Ajout d’étiquettes contextuelles dans les vues de données
Dans les paramètres des vues de données du Customer Journey Analytics, les administrateurs peuvent ajouter des libellés de contexte à une dimension ou à une mesure et les services de Customer Journey Analytics tels que le panneau Expérimentation peuvent utiliser ces libellés à leurs fins. Deux libellés prédéfinis sont utilisés pour le panneau Expérimentation :
- Expérience d’expérimentation
- Variante d’expérimentation
Dans votre vue de données contenant des données d’expérimentation, sélectionnez deux dimensions, l’une avec les données d’expérimentation et l’autre avec les données de variante. Étiquetez ensuite ces dimensions avec les étiquettes Expérience d’expérience et Variante d’expérience .
Sans ces libellés, le panneau Expérience ne fonctionnera pas, puisqu’il n’y aura aucune expérience à utiliser.
Sélectionnez l’option
Pour utiliser un panneau Expérimentation :
-
Créez un panneau Expérimentation. Pour plus d’informations sur la création d’un panneau, voir Création d’un panneau.
-
Spécifiez la entrée pour le panneau.
-
Observez la sortie pour le panneau.
note important IMPORTANT Si la configuration nécessaire dans les vues de données du Customer Journey Analytics n'a pas été effectuée, vous recevez ce message avant de pouvoir continuer : Configurez les dimensions de l'expérience et des variantes dans les vues de données.
Entrée de panneau
Pour utiliser le panneau d’expérience :
-
Configurez les paramètres d’entrée du panneau :
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 Paramètre Définition Période La période du panneau Expérimentation est automatiquement définie, en fonction du premier événement reçu en Customer Journey Analytics pour l’expérience sélectionnée. Si nécessaire, vous pouvez limiter ou étendre la période à des délais plus spécifiques. Expérience Ensemble de variations d’une expérience qui ont été exposées aux utilisateurs finaux afin de déterminer la meilleure expérience à conserver perpétuellement. Une expérience est composée de deux variantes ou plus, dont l’une est considérée comme la variante de contrôle. Ce paramètre est prérenseigné avec les dimensions qui ont été étiquetées avec l’étiquette Experience dans les vues de données et l’équivalent de 3 mois de données d’expérimentation. Variante de contrôle Une, deux ou plusieurs modifications de l’expérience d’un utilisateur final qui sont comparées dans le but d’identifier la meilleure alternative. Une variante doit être sélectionnée comme contrôle, et une seule variante peut être considérée comme la variante de contrôle. Ce paramètre est prérenseigné avec les dimensions qui ont été étiquetées avec le libellé Variant dans les vues de données. Ce paramètre récupère les données de variante associées à cette expérience. Mesures de succès Mesure ou mesures avec lesquelles un utilisateur compare des variantes. La variante ayant le résultat le plus souhaitable pour la mesure de conversion (la plus élevée ou la plus faible) est déclarée la variante la plus performante d’une expérience. Vous pouvez ajouter jusqu’à 5 mesures. Mesure de normalisation Base (People, Sessions ou Events) sur laquelle s’exécute un test. Par exemple, un test peut comparer les taux de conversion de plusieurs variations où le taux de conversion est calculé comme page vue. Inclure les limites supérieures/inférieures de la confiance Activez cette option pour afficher les limites supérieure et inférieure des niveaux de confiance. -
Sélectionnez la Version.
Sortie de panneau
Le panneau Expérimentation renvoie un riche ensemble de données et de visualisations pour vous aider à mieux comprendre les performances de vos expériences. Dans la partie supérieure du panneau, des visualisations synthèse des changements sont fournies pour vous rappeler les paramètres du panneau que vous avez sélectionnés. Vous pouvez à tout moment modifier le panneau en sélectionnant le crayon de modification en haut à droite.
Vous obtenez également un résumé textuel qui indique si l’expérience est concluante ou non et résume le résultat. La conclusion repose sur la signification statistique (voir la méthodologie statistique). Vous pouvez afficher des nombres de synthèse pour la variante la plus performante avec l’effet élévateur et le degré de confiance les plus élevés.
Pour chaque mesure de succès que vous avez sélectionnée, une visualisation tableau à structure libre et une visualisation de taux de conversion ligne s’affichent.
Interprétation des résultats
-
L’expérience est concluante : chaque fois que vous affichez le rapport d’expérimentation, les données accumulées dans l’expérience jusqu’à présent sont analysées. L’analyse déclare qu’une expérience est concluante lorsque le degré de confiance valide à tout moment dépasse un seuil de 95 % pour au moins un des variantes. Avec plus de deux bras, une correction Benjamini-Hochberg est appliquée pour corriger les tests d'hypothèse multiples.
-
Variante la plus performante : lorsqu’une expérience est déclarée concluante, la variante ayant le taux de conversion le plus élevé est étiquetée comme variante la plus performante. Notez que cette variante doit être la variante de référence ou de contrôle, ou l’une des variantes qui dépasse le seuil de confiance valide de 95 % à tout moment (avec des corrections Benjamini-Hochberg appliquées).
-
Taux de conversion : le taux de conversion qui s’affiche est un ratio de la valeur de la mesure de succès la valeur de la mesure de normalisation de la valeur de la mesure de. Notez que cette valeur peut être supérieure à 1, si la mesure n’est pas binaire (1 ou 0 pour chaque unité de l’expérience).
-
Effet élévateur : le résumé du rapport d’expérience affiche l’effet élévateur sur la ligne de base, qui est une mesure de l’amélioration en pourcentage du taux de conversion d’une variante donnée par rapport à la ligne de base. Défini précisément, il s’agit de la différence de performance entre une variante donnée et la ligne de base, divisée par les performances de la ligne de base, exprimée en pourcentage.
-
Degré de confiance : la confiance valide affichée à tout moment est une mesure probabiliste de la quantité de preuves qu’une variante donnée est identique à la variante de contrôle. Un degré de confiance plus élevé indique moins de preuves relatives à l’hypothèse que la variante de contrôle et la variante de non-contrôle ont des performances similaires. Le degré de confiance est une probabilité (exprimée en pourcentage) que vous auriez observé une différence plus faible des taux de conversion entre une variante donnée et le contrôle. Bien qu’en réalité, il n’y ait aucune différence entre les taux de conversion sous-jacents réels. En termes de p-valeurs, la confiance affichée est 1 - p-valeur.
Méthodologie statistique d’Adobe statistics
Afin de fournir une inférence statistique facile à interpréter et sûre, Adobe a adopté une méthodologie statistique fondée sur des Séquences de confiance valides à tout moment.
Une séquence de confiance est un séquentiel analogique d’un intervalle de confiance. Pour comprendre ce qu'est une séquence de confiance, imaginez que vous répétez vos expériences cent fois. Et calculez une estimation de la mesure commerciale moyenne (par exemple, le taux d’ouverture d’un email) et de sa séquence de confiance de 95 % associée pour chaque nouvel utilisateur qui entre dans l’expérience.
Une séquence de confiance de 95 % inclut la valeur "true" de la mesure d’entreprise dans 95 des 100 expériences que vous avez exécutées. (Un intervalle de confiance de 95 % ne pouvait être calculé qu’une seule fois par expérience pour offrir la même garantie de couverture de 95 % ; pas pour chaque nouvel utilisateur). Les séquences de confiance vous permettent donc de surveiller les expériences en continu, sans augmenter les taux d’erreur de faux positifs, c’est-à-dire qu’elles permettent de "regarder" les résultats.
Interprétation des dimensions non randomisées non-randomized
Customer Journey Analytics permet aux analystes de sélectionner n’importe quelle dimension comme expérience. Mais comment interpréter une analyse où la dimension choisie comme expérience n'est pas pour laquelle des personnes sont aléatoires ?
Prenons l’exemple d’une publicité qu’une personne voit. Il peut être intéressant de mesurer la modification de certaines mesures (par exemple, les recettes moyennes) si vous décidez d’afficher les personnes ad B au lieu de ad A. L’effet causal de l’affichage de la publicité B, au lieu de la publicité A, est d’une importance centrale pour arriver à la décision marketing. Cet effet de cause à effet peut être mesuré comme le revenu moyen sur l’ensemble de la population, si vous avez remplacé le statu quo de l’affichage et A par la stratégie alternative d’affichage de la publicité B.
Les tests A/B sont l'étalon-or de l'industrie pour mesurer objectivement les effets de telles interventions. La raison essentielle pour laquelle un test A/B donne lieu à une estimation du lien de cause à effet est la randomisation des personnes qui reçoivent l’une des variantes possibles.
Maintenant, considérez une dimension qui n'est pas atteinte par l'organisation aléatoire, par exemple, l'état américain de la personne. Les personnes viennent principalement de deux Etats, New York et la Californie. Les recettes moyennes des ventes d'une marque de vêtements d'hiver peuvent être différentes dans les deux états en raison des différences de conditions météorologiques régionales. Dans une telle situation, la météo peut être le véritable facteur de la vente des vêtements d'hiver, et non le fait que les états géographiques des personnes sont différents.
Le panneau d’expérimentation du Customer Journey Analytics vous permet d’analyser les données sous la forme d’une différence de revenus moyenne par état de la personne. Dans une telle situation, la production n'a pas d'interprétation causale. Cependant, une telle analyse peut encore être intéressante. Il donne une estimation (ainsi que des mesures d’incertitude) de la différence de revenus moyens par les Etats de la personne. Cette valeur est également appelée Tests d’hypothèse statistiques. Le résultat de cette analyse peut être intéressant, mais pas nécessairement exploitable. Tout simplement parce que vous n’avez pas effectué d’organisation aléatoire et que vous ne pouvez parfois pas randomiser les personnes selon l’une des valeurs possibles de la dimension.
L’illustration suivante présente un contraste entre ces situations :
Lorsque vous voulez mesurer l'impact de l'intervention X sur le résultat Y, il est possible que la cause réelle des deux soit le facteur de confusion C. Si les données ne sont pas obtenues en randomisant les personnes sur X, l'impact est plus difficile à mesurer, et l'analyse tient explicitement compte de C. La randomisation rompt la dépendance de X sur C, ce qui nous permet de mesurer l'effet de X sur Y sans avoir à nous soucier d'autres variables.
Utiliser les mesures calculées dans l’expérimentation use-in-experimentation
Toutes les mesures calculées ne sont pas compatibles avec le panneau Expérience .
Les mesures calculées qui incluent l’une des mesures ou constantes suivantes ne sont pas compatibles avec le panneau d’expérimentation :
- Mesures de base d’un jeu de données récapitulatif
- Mesures de base divisées entre elles ou multipliées ensemble (par exemple,
Revenue/Orders) - Constantes ajoutées ou soustraites à une mesure de base (par exemple,
Revenue+50) - L’une des mesures de base suivantes :
- Personnes
Les mesures calculées qui ne sont pas compatibles avec le panneau d’expérimentation ont la valeur Partout en Customer Journey Analytics (hors expérimentation) dans le champ Compatibilité des produits lors de la création de la mesure calculée. Pour plus d’informations sur la création d’une mesure calculée, voir Création de mesures.
Utilisation des mesures calculées dans le panneau Expérience
Reportez-vous à cet article de blog pour plus d’informations sur l’utilisation de mesures calculées dans le panneau d’expérimentation.