Cet article présente le panneau Expérimentation dans
Voir Panneau Analytics for Target pour plus d’informations sur l’analyse des activités et des expériences Adobe Target dans
Le panneau Expérimentation permet aux analystes de comparer différentes expériences utilisateur, variantes de marketing ou de messagerie afin de déterminer la meilleure source d’un résultat spécifique. Vous pouvez évaluer l’effet élévateur et le degré de confiance de toute expérience A/B à partir de n’importe quelle plateforme d’expérimentation : en ligne, hors ligne, à partir de solutions Adobe telles que Target ou Journey Optimizer, et même de données BYO (apportez vos propres données).
En savoir plus sur l’intégration entre Adobe Customer Journey Analytics et Adobe Target.
Contrôle d’accès access
Le panneau Expérimentation est disponible pour tous les utilisateurs de Customer Journey Analytics. Aucun droit d’administrateur ou autre autorisation n’est requis. Toutefois, les conditions préalables exigent des actions que seuls les administrateurs peuvent effectuer.
Fonctions dans les mesures calculées
Deux fonctions avancées sont disponibles : Effet élévateur et Degré de confiance. Pour plus d’informations, voir Référence - fonctions avancées.
Conditions préalables
Pour utiliser le panneau d’expérimentation, veillez à respecter les conditions préalables suivantes :
Créer une connexion aux jeux de données d’expérience
Le schéma de données recommandé consiste à placer les données de l’expérience dans un tableau Object qui contient les données d’expérience et de variante dans deux dimensions distinctes. Les deux dimensions doivent se trouver dans un tableau d’objets unique. Si vos données d’expérience se trouvent dans une seule dimension (avec des données d’expérience et de variante dans une chaîne délimitée), le paramètre sous-chaîne dans les vues de données vous permet de diviser la dimension en deux pour l’utiliser dans le panneau.
Une fois les données d’expérience ingérées dans Adobe Experience Platform, créez une connexion dans Customer Journey Analytics à un ou plusieurs jeux de données d’expérience.
Ajouter des libellés de contexte dans les vues de données
Dans les paramètres des vues de données Customer Journey Analytics, les administrateurs peuvent ajouter des libellés de contexte à une dimension ou à une mesure et les services Customer Journey Analytics tels que le panneau Expérimentation peuvent utiliser ces libellés à leurs fins. Deux libellés prédéfinis sont utilisés pour le panneau Expérimentation :
- Expérience d’expérimentation
- Variante d’expérimentation
Dans votre vue de données contenant des données d’expérimentation, sélectionnez deux dimensions, l’une avec les données d’expérimentation et l’autre avec les données de variante. Puis étiquetez ces dimensions avec les libellés Expérience d’expérimentation et Variante d’expérimentation.
Sans ces libellés, le panneau Expérience ne fonctionnera pas, puisqu’il n’y aura aucune expérience à utiliser.
Utilisation
Pour utiliser un panneau Expérimentation, procédez comme suit :
-
Créez un panneau Expérimentation. Pour plus d’informations sur la création d’un panneau, consultez Créer un panneau.
-
Spécifiez l’entrée du panneau.
-
Observez la sortie du panneau.
note important IMPORTANT Si la configuration nécessaire dans les vues de données Customer Journey Analytics n’a pas été effectuée, vous recevez le message suivant avant de pouvoir continuer : Veuillez configurer les dimensions de l’expérience et des variantes dans les vues de données.
Entrée du panneau
Pour utiliser le panneau Expérimentation :
-
Configurez les paramètres d’entrée du panneau :
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 Paramètre Définition Période La période du panneau Expérimentation est automatiquement définie, en fonction du premier événement reçu dans Customer Journey Analytics pour l’expérience sélectionnée. Si nécessaire, vous pouvez limiter ou étendre la période à des délais plus spécifiques. Expérience Ensemble de variations d’une expérience qui ont été présentées aux utilisateurs finaux afin de déterminer laquelle il est préférable de conserver à perpétuité. Une expérience est composée de deux variantes ou plus, dont l’une est considérée comme la variante de contrôle. Ce paramètre est prérempli avec les dimensions qui ont été étiquetées avec le libellé Expérience dans les vues de données et l’équivalent de 3 mois de données d’expérimentation. Variante de contrôle Une, deux ou plusieurs modifications de l’expérience d’un utilisateur final qui sont comparées dans le but d’identifier la meilleure alternative. Une variante doit être sélectionnée comme contrôle, et une seule variante peut être considérée comme la variante de contrôle. Ce paramètre est prérenseigné avec les dimensions qui ont été étiquetées avec le libellé Variante dans les vues de données. Ce paramètre récupère les données de variante associées à cette expérience. Mesures de succès ➊ Mesure ou mesures avec lesquelles un utilisateur compare des variantes. La variante ayant le résultat le plus souhaitable pour la mesure de conversion (la plus élevée ou la plus faible) est déclarée variante la plus performante d’une expérience. Vous pouvez ajouter jusqu’à 5 mesures. Mesure de normalisation ➋ La base (Personnes, Sessions ou Événements) sur laquelle un test s’exécute. Par exemple, un test peut comparer les taux de conversion de plusieurs variantes où le Taux de conversion est calculé comme Page vue Inclure les limites supérieure/inférieure de confiance Activez cette option pour afficher les limites supérieure et inférieure des niveaux de confiance. -
Sélectionnez la Version.
Sortie du panneau
Le panneau Expérimentation renvoie un riche ensemble de données et de visualisations pour vous aider à mieux comprendre les performances de vos expériences. En haut du panneau, des visualisations résumé des changements sont fournies pour vous rappeler les paramètres du panneau que vous avez sélectionnés. À tout moment, vous pouvez modifier le panneau en sélectionnant l’option Modifier le crayon en haut à droite.
Vous obtenez également un résumé textuel qui indique si l’expérience est concluante ou non et résume le résultat. La conclusion est basée sur la signification statistique (voir Méthodologie statistique.) Vous pouvez afficher des nombres de synthèse pour la variante la plus performante avec l’effet élévateur et le degré de confiance les plus élevés.
Pour chaque mesure de succès sélectionnée, une visualisation tableau à structure libre et un taux de conversion ligne s’affichent.
Interprétation des résultats
-
L’expérience est concluante : chaque fois que vous consultez le rapport d’expérience, les données accumulées jusqu’à présent dans l’expérience sont analysées. L’analyse déclare une expérience concluante lorsque le degré de confiance valide à tout moment dépasse un seuil de 95 % pour au moins l’une des variantes. Avec plus de deux bras, une correction de Benjamini-Hochberg est appliquée pour corriger plusieurs tests d’hypothèse.
-
Variante la plus performante : lorsqu’une expérience est déclarée concluante, la variante ayant le taux de conversion le plus élevé est étiquetée comme variante la plus performante. Notez que cette variante doit être la variante de référence ou de contrôle, ou l’une des variantes qui dépasse le seuil de confiance valide de 95 % à tout moment (avec des corrections de Benjamini-Hochberg appliquées).
-
Taux de conversion : le taux de conversion qui s’affiche est un ratio de la valeur de la mesure de succès ➊ à la valeur de la mesure de normalisation ➋. Notez que cette valeur peut être supérieure à 1, si la mesure n’est pas binaire (1 ou 0 pour chaque unité de l’expérience)
-
Effet élévateur : la synthèse du rapport d’expérience affiche l’effet élévateur sur la ligne de base, qui est une mesure de l’amélioration en pourcentage du taux de conversion d’une variante donnée par rapport à la ligne de base. Défini précisément, il s’agit de la différence de performance entre une variante donnée et la ligne de base, divisée par les performances de la ligne de base, exprimée en pourcentage.
-
Confiance : le degré de confiance valide à tout moment qui s’affiche est une mesure probabiliste de l’ampleur des preuves qu’une variante donnée est identique à la variante de contrôle. Un degré de confiance plus élevé indique moins de preuves relatives à l’hypothèse que la variante de contrôle et la variante de non-contrôle ont des performances similaires. Le degré de confiance est une probabilité (exprimée en pourcentage) que vous auriez observé une différence plus faible dans les taux de conversion entre une variante donnée et le contrôle. Alors qu’en réalité, il n’y a aucune différence dans les taux de conversion réels sous-jacents. En termes de p-valeurs, la confiance affichée est 1 - p-valeur.
Méthodologie statistique d’Adobe statistics
Afin de fournir une inférence statistique facile à interpréter et sûre, Adobe a adopté une méthodologie statistique fondée sur des Séquences de confiance valides à tout moment.
Une séquence de confiance est une analogie séquentielle d’un intervalle de confiance. Pour comprendre ce qu’est une séquence de confiance, imaginez que vous répétiez vos expériences cent fois. Et calculez une estimation de la mesure commerciale moyenne (par exemple le taux d’ouverture d’un e-mail) et de la séquence de confiance à 95 % qui lui est associée pour chaque nouvel utilisateur qui entre dans l’expérience.
Une séquence de confiance à 95 % inclut la valeur « true » de la mesure commerciale dans 95 des 100 expériences que vous avez exécutées. (Un intervalle de confiance à 95 % ne pouvait être calculé qu’une seule fois par expérience pour offrir la même garantie de couverture de 95 % ; pas avec chaque nouvel utilisateur). Les séquences de confiance vous permettent donc de surveiller les expériences en continu, sans augmenter les taux d’erreurs faux positifs, c’est-à-dire qu’elles permettent de « Jeter un coup d’œil » sur les résultats.
Interpréter les dimensions non randomisées non-randomized
Customer Journey Analytics permet aux analystes de sélectionner n’importe quelle dimension comme expérience. Mais comment interpréter une analyse où la dimension choisie comme expérience n'est pas une dimension pour laquelle les personnes sont randomisées ?
Prenons l’exemple d’une publicité qu’une personne voit. Il se peut que vous souhaitiez mesurer le changement dans certaines mesures (par exemple, le revenu moyen) si vous décidez d’afficher les personnes ad B au lieu de ad A. L’effet causal de l’affichage de la publicité B, au lieu de la publicité A, est d’une importance capitale pour la décision de commercialisation. Cet effet causal peut être mesuré comme le revenu moyen sur l'ensemble de la population, si vous remplacez le statu quo de l'affichage de l'annonce A par la stratégie alternative d'affichage de l'annonce B.
Les tests A/B sont la référence dans l'industrie pour mesurer objectivement les effets de telles interventions. La principale raison pour laquelle un test A/B donne lieu à une estimation causale est due à la randomisation des personnes pour recevoir l’un des variants possibles.
Maintenant, considérez une dimension qui n’est pas atteinte par la randomisation, par exemple, l’état américain de la personne. Les personnes viennent principalement de deux États, New York et la Californie. Le chiffre d'affaires moyen des ventes d'une marque de vêtements d'hiver peut être différent dans les deux États en raison des différences dans la météo régionale. Dans une telle situation, la météo peut être le véritable facteur causal derrière les ventes de vêtements d'hiver, et non le fait que les états géographiques des personnes sont différents.
Le panneau d’expérimentation de Customer Journey Analytics vous permet d’analyser les données en tant que différence de chiffre d’affaires moyen par état des personnes. Dans un tel cas, la sortie n’a pas d’interprétation causale. Toutefois, une telle analyse peut encore présenter un intérêt. Il fournit une estimation (ainsi que des mesures d'incertitude) de la différence entre les revenus moyens des personnes par les États. Cette valeur est également appelée Test statistique d’hypothèse. Le résultat de cette analyse peut être intéressant, mais pas nécessairement exploitable. Tout simplement parce que vous n’avez pas randomisé et que vous ne pouvez parfois pas randomiser les personnes sur l’une des valeurs possibles de la dimension.
L’illustration suivante met en contraste ces situations :
Lorsque vous voulez mesurer l'impact de l'intervention X sur le résultat Y, il est possible que la véritable cause des deux soit le facteur de confusion C. Si les données ne sont pas obtenues en randomisant les personnes sur X, l'impact est plus difficile à mesurer, et l'analyse rend compte explicitement de C. La randomisation rompt la dépendance de X sur C, ce qui nous permet de mesurer l'effet de X sur Y sans avoir à nous soucier d'autres variables.
Utiliser les mesures calculées dans l’expérimentation use-in-experimentation
Toutes les mesures calculées ne sont pas compatibles avec le panneau Expérimentation .
Les mesures calculées qui incluent l’une des mesures ou constantes suivantes ne sont pas compatibles avec le panneau Expérimentation :
- Mesures de base d’un jeu de données de résumé
- Mesures de base divisées entre elles ou multipliées ensemble (par exemple,
Revenue/Orders) - Constantes ajoutées ou soustraites à une mesure de base (par exemple,
Revenue+50) - L’une des mesures de base suivantes :
- Personnes
Les mesures calculées qui ne sont pas compatibles avec le panneau Expérimentation ont la valeur Partout dans Customer Journey Analytics (à l’exception de l’expérimentation) dans le champ Compatibilité des produits lors de la création de la mesure calculée. Pour plus d’informations sur la création d’une mesure calculée, voir Création de mesures.
Utilisation de mesures calculées dans le panneau Expérimentation
Consultez cet article de blog pour plus d’informations sur l’utilisation de mesures calculées dans le panneau Expérimentation.