Prise en main des expériences de contenu get-started-experiment

Qu’est-ce qu’une expérience de contenu ?

Les expériences de contenu vous permettent d’optimiser le contenu pour les actions de vos campagnes.

Les expériences sont un ensemble d’essais randomisés, ce qui, dans le cadre des tests en ligne, signifie que certains utilisateurs sélectionnés de manière aléatoire sont exposés à une variante donnée d’un message et un autre ensemble d’utilisateurs sélectionnés de manière aléatoire à un autre traitement. Après l’envoi du message, vous pouvez ensuite évaluer les mesures de résultats qui vous intéressent, par exemple les ouvertures d’e-mails ou les clics.

Pourquoi exécuter des expériences ?

Les expériences vous permettent d’isoler les modifications qui entraînent des améliorations de vos mesures. Comme illustré dans l’image ci-dessus : certains utilisateurs sélectionnés de manière aléatoire sont exposés à chaque groupe de traitement, ce qui signifie qu’en moyenne, les groupes partagent les mêmes caractéristiques. Ainsi, toute différence de résultats peut être interprétée comme étant due aux différences dans les traitements reçus, c’est-à-dire que vous pouvez établir un lien de cause à effet entre les modifications que vous avez apportées et les résultats qui vous intéressent.

Cela vous permet de prendre des décisions axées sur les données pour optimiser vos objectifs commerciaux.

Pour des expériences de contenu dans Adobe Journey Optimizer, vous pouvez tester des idées telles que :

Comment fonctionne l’expérience de contenu ? content-experiment-work

Attribution aléatoire

L’expérimentation de contenu dans Adobe Journey Optimizer utilise un hachage pseudo-aléatoire de l’identité du visiteur pour affecter de manière aléatoire les utilisateurs de votre audience cible à l’un des traitements que vous avez définis. Le mécanisme de hachage garantit que, dans les scénarios où le visiteur entre plusieurs fois dans une campagne, il bénéficie du même traitement de manière déterministe.

En détail, l’algorithme MumurHash3 32 bits est utilisé pour hacher la chaîne d’identité de l’utilisateur dans l’un des 10 000 compartiments. Dans une expérience de contenu avec 50 % du trafic affecté à chaque traitement, les personnes qui entrent dans les compartiments 1 à 5 000 recevront le premier traitement, tandis que les utilisateurs qui se trouvent dans les compartiments 5 001 à 10 000 recevront le second traitement. Comme le hachage pseudo-aléatoire est utilisé, les divisions du visiteur que vous observez peuvent ne pas être exactement de 50 % d’une part et de l’autre ; néanmoins, le partage sera statistiquement équivalent à votre pourcentage de partage cible.

Notez que dans le cadre de la configuration de chaque campagne avec une expérience de contenu, vous devez choisir un espace de noms d’identité à partir duquel l’identifiant d’utilisateur sera sélectionné pour l’algorithme de randomisation. Cela est indépendant des adresses d’exécution.

Collecte et analyse de données

Au moment de l’affectation, c’est-à-dire lorsque le message est envoyé dans les canaux sortants, ou lorsque l’utilisateur accède à la campagne dans les canaux entrants, un « enregistrement d’affectation » est consigné dans le jeu de données système approprié. Cette action enregistre le traitement auquel l’utilisateur a été affecté, ainsi que les identifiants d’expérience et de campagne.

Les mesures d’objectif peuvent être regroupées en deux classes principales :

Pour les mesures objectives directes dans lesquelles Adobe Journey Optimizer effectue le suivi de vos messages, les événements de réponse des utilisateurs finaux sont automatiquement balisés avec les identifiants de la campagne et du traitement, ce qui permet une association directe de la mesure de réponse à un traitement. En savoir plus sur le suivi.

Pour les objectifs indirects ou en « bas d’entonnoir » tels que les achats, les événements de réponse des utilisateurs finaux ne sont pas balisés avec des identifiants de campagne et de traitement, c’est-à-dire qu’un événement d’achat se produit après l’exposition à un traitement, il n’y a aucune association directe de cet achat avec une affectation de traitement préalable. Pour ces mesures, Adobe associe le traitement à l’événement de conversion en bas d’entonnoir si :

Adobe Journey Optimizer utilise ensuite des méthodes statistiques avancées « lorsqu’elles sont valides » pour interpréter ces données de rapport brutes, ce qui vous permet d’interpréter vos rapports d’expérience. Pour plus d’informations, consultez cette page.

Conseils pour exécuter des expériences

Lors de l’exécution d’expériences, il est important de suivre certaines des bonnes pratiques. Voici quelques conseils pour exécuter ces expériences :

Interpréter les résultats de vos expériences interpret-results

Cette section décrit les rapports d’expérience et aide à comprendre les différentes quantités statistiques présentées.

Voici quelques instructions pour interpréter les résultats de votre expérience de contenu.

Notez qu’une description complète des résultats doit tenir compte de toutes les preuves disponibles (c’est-à-dire la taille des échantillons, les taux de conversion, les intervalles de confiance, etc.), et pas seulement de la déclaration de résultat concluant ou non. Même lorsqu’un résultat n’est pas encore concluant, il peut encore y avoir des preuves convaincantes indiquant qu’un traitement est différent d’un autre.

Pour comprendre les calculs statistiques, reportez-vous à cette page.

1. Comparer les mesures normalisées normalized-metrics

Lorsque vous comparez les performances de deux traitements, vous devez toujours comparer les mesures normalisées afin de tenir compte des différences du nombre de profils exposés à chaque traitement.

Par exemple, si l’objectif de l’expérience est défini sur Ouvertures uniques, et qu’un traitement donné a été présenté à 10 000 profils avec 200 ouvertures uniques enregistrées, cela représente un taux de conversion de 2 %. Pour les mesures non uniques, par exemple la mesure Ouvertures, la mesure normalisée s’affiche sous la forme d’un Nombre par profil, tandis que pour les mesures continues telles que le Prix total, la mesure normalisée s’affiche sous la forme d’un Total par profil.

2. Se concentrer sur les intervalles de confiance confidence-intervals

Lorsque vous exécutez des expériences sur des échantillons de vos profils, le taux de conversion observé pour un traitement donné représente une estimation du taux de conversion sous-jacent réel.

Par exemple, si le traitement A a un Taux de conversion de 3 %, alors que le traitement B a un Taux de conversion de 2 %, le traitement A est-il plus performant que le traitement B ? Pour y répondre, nous devons d’abord quantifier l’incertitude de ces taux de conversion observés.

Les intervalles de confiance permettent de quantifier le degré d’incertitude dans les taux de conversion estimés, mais des intervalles de confiance plus larges impliquent plus d’incertitude. À mesure que davantage de profils seront ajoutés à l’expérience, les intervalles seront plus petits, représentant une estimation plus précise. L’intervalle de confiance représente une plage de taux de conversion compatibles avec les données observées.

Si les intervalles de confiance pour deux traitements se chevauchent à peine, cela signifie que les deux traitements ont des taux de conversion différents. Cependant, s’il y a beaucoup de chevauchement entre les intervalles de confiance pour deux traitements, il est plus probable que les deux traitements ont le même taux de conversion.

Adobe utilise des intervalles de confiance à 95 % valides à tout moment, ce qui signifie que les résultats peuvent être affichés en toute sécurité à tout moment pendant l’expérience.

3. Comprendre l’effet élévateur understand-lift

Le résumé du rapport d’expérience affiche le rapport d’Effet élévateur sur la ligne de base, qui est une mesure de l’amélioration en pourcentage du taux de conversion d’un traitement donné par rapport à la ligne de base. Plus précisément, il s’agit de la différence de performance entre un traitement donné et la ligne de base, divisée par la performance de la ligne de base, exprimée en pourcentage.

3. Comprendre le degré de confiance understand-confidence

Bien que vous devriez principalement vous concentrer sur la variable Intervalle de confiance pour ce qui est de la performance de chaque traitement, Adobe montre aussi le Degré de confiance, qui est une mesure probabiliste de la quantité de preuves démontrant qu’un traitement donné est le même que le traitement de la ligne de base. Un degré de confiance plus élevé indique que l’hypothèse selon laquelle les traitements de la ligne de base et ceux qui ne sont pas de la ligne de base aient des performances égales est moins probable. Plus précisément, le degré de confiance affiché est une probabilité (exprimée en pourcentage) que nous aurions observé une différence plus faible dans les taux de conversion entre un traitement donné et la ligne de base, si, en réalité, il n’y a aucune différence dans les taux de conversion sous-jacents réels. En termes de p-values, le degré de confiance affiché est 1 - p-value.

Adobe utilise des degrés de confiance « valides à tout moment » et des p-values « valides à tout moment » qui sont conformes aux séquences de confiance décrites ci-dessus.

4. Signification statistique

Lors de l’exécution d’expériences, un résultat est considéré comme statistiquement significatif s’il était très peu probable qu’il ait été observé, compte tenu d’une hypothèse nulle selon laquelle un traitement donné et la ligne de base ont des taux de conversion/performances réels sous-jacents identiques.

Adobe déclare une expérience comme concluante lorsque le degré de confiance est supérieur à 95 %.

Que faire après l’exécution d’une expérience

Après avoir exécuté votre expérience, plusieurs actions de suivi sont possibles :