Interprétation des rapports d’affectation automatique

Interprétez les résultats d’une activité A/B Affectation automatique dans Adobe Target en examinant des indicateurs importants, notamment l’effet élévateur et le degré de confiance.

La plupart des marketeurs ont tendance à déclarer de manière prématurée une expérience gagnante avant les résultats finaux. Désormais, il est plus facile de déterminer le gagnant.

REMARQUE

Pour obtenir des informations générales sur la déclaration d’un gagnant, voir Dix écueils courants des tests A/B et comment les éviter.

Identification de l’expérience gagnante

Lors de l’utilisation de la fonctionnalité Affectation automatique, Target affiche en haut de la page de l’activité un badge indiquant « Pas encore de gagnant » jusqu’à ce que l’activité atteigne le nombre de conversions minimal avec un degré de confiance suffisant.

Badge Pas de gagnant

Lors de la déclaration d’un gagnant définitif, Target affiche la mention « Gagnant : expérience X. »

REMARQUE

Les activités d’affectation automatique sont conçues pour identifier la meilleure expérience parmi toutes les options possibles, et pas uniquement pour effectuer des comparaisons par paires avec une expérience de contrôle.

Garanties statistiques de l’affectation automatique

À la fin d’une activité A/B, l’affectation automatique garantit que le gagnant déterminé a un taux de faux positifs effectif de 5 %. Cela signifie que dans seulement 5 % des cas, le gagnant déterminé ne représente pas réellement la meilleure expérience parmi toutes les expériences de l’activité. En ce qui concerne les tests A/A (avec des expériences identiques), nous ne concluons le test que dans moins de 5 % des cas. Dans la mesure où un test A/A (avec des expériences identiques) est censé être exécuté indéfiniment, le badge Gagnant ne devrait jamais apparaître.

Nous n’utilisons pas un degré de confiance basé sur la valeur p pour l’affectation automatique.

La colonne Confiance dans une activité d’affectation automatique (illustrée ci-dessous) présente la probabilité qu’une expérience soit la gagnante avec une marge d’erreur de 1 % (l’algorithme utilise un effet détectable minimum de 1 % entre le meilleur et le deuxième meilleur taux de conversion). Pour calculer cette probabilité, l’algorithme applique l’inégalité de Bernstein.

Les tests A/B standard calculent le degré de confiance selon les valeurs-p, ce que ne fait pas l’affectation automatique. Les valeurs-p calculent « grossièrement » la probabilité qu’une expérience donnée diffère de l’expérience de contrôle. Elles peuvent seulement servir à déterminer si une expérience diffère de l’expérience de contrôle. Elles ne peuvent pas servir à déterminer si une expérience diffère d’une autre expérience (que l’expérience de contrôle).

IMPORTANT

Target affiche un gagnant après un nombre minimum prédéfini de conversions ; cependant, la décision finale de choisir le gagnant doit toujours être prise sur les résultats du calculateur de taille d’échantillon d’Adobe Target. Target ne prend pas en compte les taux de conversion de base d’un site et d’autres aspects importants qui sont alimentés dans le calculateur pour déterminer la durée de l’activité. Par conséquent, Target peut afficher un gagnant plus tôt que garanti sur la base d’un nombre minimum de conversions. Pour plus d’informations, voir Calculateur de taille d’échantillon.

Comprendre les rapports Effet élévateur et Degré de confiance dans les activités d’affectation automatique

Dans les activités d’affectation automatique, la première expérience (par défaut appelée Expérience A) est toujours définie comme une expérience de "contrôle" dans l’onglet Rapports . Cette expérience n’est pas traitée comme un véritable contrôle statistique dans la modélisation utilisée pour déterminer les performances des expériences, mais elle est traitée comme une référence ou une référence pour certains chiffres du rapport.

La valeur numérique "Effet élévateur" et les limites de 95 % pour chaque expérience sont toujours calculées en référence à l’expérience "Contrôle" définie. L’expérience "de contrôle" définie ne peut pas avoir d’effet élévateur par rapport à elle-même. Par conséquent, une valeur "—" vide est signalée pour cette expérience. Contrairement aux tests A/B, dans les tests d’affectation automatique, si les performances d’une expérience sont pires que celles du contrôle défini, aucune valeur d’effet élévateur négative n’est signalée ; "—" s’affiche à la place.

Les barres Intervalle de confiance affichées représentent l’intervalle de confiance de 95 % autour de l’estimation moyenne du taux de conversion d’une expérience. Elles sont également codées par couleur par rapport à l’expérience "de contrôle" définie. La barre de l’expérience "Contrôle" est toujours en gris. Les parties d’intervalles de confiance en dessous de l’intervalle de confiance de l’expérience de "contrôle" sont de couleur rouge et les parties d’intervalles de confiance au-dessus de l’expérience de "contrôle" sont de couleur verte.

Un gagnant est trouvé lorsque l’intervalle de confiance de 95 % de l’expérience principale ne chevauche aucune autre expérience. L’expérience gagnante est désignée avec un badge d’étoile vert à gauche du nom de l’expérience et dans la bannière "Gagnant". Lorsqu’aucune étoile n’est visible, la bannière indique "Pas encore de gagnant" et un gagnant n’a pas encore été trouvé.

Un nombre "Degré de confiance" est également reporté en regard de l’expérience gagnante ou de l’expérience gagnante actuelle. Ce chiffre est reporté uniquement jusqu’à ce que le degré de confiance de l’expérience principale atteigne au moins 60 %. Si exactement deux expériences sont présentes dans l’expérience d’affectation automatique, ce nombre représente le degré de confiance selon lequel l’expérience est plus performante que l’autre expérience. Si plus de deux expériences sont présentes dans l’expérience d’affectation automatique, ce nombre représente le degré de confiance selon lequel l’expérience est plus performante que l’expérience de "contrôle" définie. Si l’expérience "Contrôle" est gagnante, aucun chiffre "Confiance" n’est signalé.

Questions fréquentes

L’activité a commencé depuis quelques jours. Pourquoi le degré de confiance reste-t-il à 0 % ?

La colonne Confiance peut rester à 0 % pour toutes les activités pour l’une des raisons suivantes :

  • Les tests A/B manuels et l’affectation automatique utilisent différentes statistiques pour afficher les valeurs de confiance.

    Les tests A/B manuels utilisent des valeurs-p en fonction du test en t de Student. Une valeur-p est la probabilité de trouver la différence observée (ou une plus extrême) entre une expérience et le contrôle, étant donné qu’en réalité, il n’y a pas de différence de ce type. Ces valeurs-p ne peuvent être utilisées que pour déterminer si les données observées sont cohérentes avec une expérience donnée et si le contrôle est le même. Elles ne peuvent pas servir à déterminer si une expérience diffère d’une autre expérience (que l’expérience de contrôle).

    L’affectation automatique présente la probabilité qu’une expérience donnée soit l’expérience gagnante par rapport à toutes les expériences de l’activité. Cela signifie que seule une expérience gagnante (dont la probabilité qu’il s’agisse de l’expérience gagnante est la plus élevée) aura une valeur de confiance non nulle. Toutes les autres expériences sont probablement des expériences perdantes, avec un taux de 0 %.

  • L’affectation automatique commence à présenter un taux de confiance seulement quand l’expérience gagnante parvient à un taux de confiance de 60 %. Ces niveaux de confiance apparaissent généralement environ la moitié du temps nécessaire à l’exécution d’un test A/B normal (bien que cela ne soit pas garanti). Pour déterminer la durée d’exécution d’un test A/B, utilisez un calculateur de taille d’échantillon : le taux de conversion du contrôle de la prise en charge dans "Taux de conversion de ligne de base", "5 %" pour "Effet élévateur" et 95 % pour "Degré de confiance". En règle générale, le degré de confiance apparaît quand chaque expérience a accumulé au moins 50 % des échantillons requis par expérience. Ainsi, vous savez à peu près quand le degré de confiance commencera à apparaître.

  • Si le rapport présente globalement un taux de 0 %, cela signifie probablement que l’activité n’a pas encore suffisamment progressé.

Sur cette page