Calculs statistiques dans les tests A/B

Cet article documente les calculs statistiques détaillés utilisés dans les tests A/B manuels dans Adobe Target. Des définitions sont fournies pour les mesures de décision Taux de conversion, Intervalle de confiance du taux de conversion, Effet élévateur, Intervalle de confiance pour l’effet élévateur, Confiance et Bayesian.

Une activité Test A/B (manuel) prend en charge deux méthodologies statistiques, sélectionnées par activité dans Objectifs et paramètres :

test en t de Welch

Performances moyennes

La section suivante explique les calculs utilisés dans l’illustration suivante.

Taux de conversion et recettes par visiteur (RPV)

L’illustration suivante présente Taux de conversion, Intervalle de confiance du taux de conversion et le nombre de Conversions dans un rapport Target. Par exemple, la première ligne indique que pour l’expérience A : le taux de conversion est de 25,81 % avec un intervalle de confiance de ± 7,7 % et 32 conversions ont été enregistrées. Étant donné que 124 visiteurs ont vu l’expérience, cela équivaut à 32/124 = 25,81 %.

{width="25%"}

Le taux de conversion ou moyenne, μ_ν, pour chaque expérience ν dans une expérience est défini(e) comme le rapport de la somme de la mesure par rapport au nombre d’unités affectées à cette mesure, N_ν :

{width="125px"}

Ici,

Intervalle de confiance de la moyenne/Taux de conversion

L’intervalle de confiance du taux de conversion est intuitivement défini comme une plage de taux de conversion possibles cohérente avec les données sous-jacentes.

Lors de l’exécution d’expériences, le taux de conversion d’une expérience donnée est une estimation du taux de conversion « réel ». Pour quantifier l’incertitude de cette estimation, Target utilise un intervalle de confiance. Target signale toujours un intervalle de confiance de 95 %, ce qui signifie qu’à la fin, 95 % des intervalles de confiance calculés incluent le taux de conversion réel de l’expérience.

Un nombre « Confiance » est également signalé en regard de l’expérience actuellement en tête ou gagnante. Ce chiffre est signalé uniquement jusqu’à ce que le degré de confiance de l’expérience principale atteigne au moins 60 %. Si deux expériences sont présentes dans l’activité, ce nombre représente le niveau de confiance selon lequel l’expérience fonctionne mieux que l’autre expérience. Si l’activité comporte plus de deux expériences, ce nombre représente le niveau de confiance selon lequel l’expérience est plus performante que l’expérience « de contrôle » définie. Si l’expérience « Contrôle » gagne, aucun chiffre « Confiance » n’est signalé.

Un intervalle de confiance à 95 % du taux de conversion μ_ν est défini comme la plage de valeurs :

{width="30%"}

Où l’erreur standard pour la moyenne est définie comme

{width="75px"}

Lorsqu’une estimation non biaisée de l’écart type échantillon est utilisée :

{width="200px"}

Lorsque la campagne est une campagne de taux de conversion (c’est-à-dire que la mesure de conversion est binaire), l’erreur standard se réduit à :

{width="150px"}

Effet élévateur

L’illustration suivante présente Effet élévateur et intervalle de confiance de l’effet élévateur dans un rapport Target. Le nombre représente la moyenne de la plage des limites de l’effet élévateur, et la flèche indique si l’effet élévateur est positif ou négatif. La flèche s’affiche en gris jusqu’à ce que le degré de confiance atteigne 95 %. Une fois que le degré de confiance a dépassé le seuil, la flèche est verte ou rouge en fonction d’une courbe d’élévation positive ou négative.

{width="35%"}

L’effet élévateur entre une expérience ν et l’expérience de contrôle ν₀ est le « delta » relatif dans les taux de conversion, défini comme

{width="15%"}

Lorsque les taux de conversion individuels sont tels que définis ci-dessus. Plus simplement,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Si le taux de conversion de l’expérience de contrôle ν₀ est de 0, il n’y a pas d’effet élévateur.

Confidence Interval of Lift

Le graphique à boîtes de la colonne Effet élévateur moyen et intervalle de confiance représente la valeur moyenne et 95 % intervalle de confiance de l’effet élévateur. L’indicateur est gris lorsqu’il y a chevauchement de l’intervalle de confiance d’une expérience donnée de non-contrôle avec l’intervalle de confiance de l’expérience de contrôle. Le graphique à boîtes est vert ou rouge lorsque la plage de l’intervalle de confiance de l’expérience donnée est supérieure ou inférieure à l’intervalle de confiance de l’expérience de contrôle.

L’erreur standard de l’effet élévateur entre une expérience ν et l’expérience de contrôle ν₀ est définie comme suit :

{width="35%"}

Alors l’intervalle de confiance à 95 % de l’effet élévateur est :

{width="40%"}

Ce calcul utilise la méthode « Delta », et est décrit plus en détail dans ce document

Confiance ​

La dernière colonne indique le degré de confiance dans un rapport Target. Le degré de confiance d’une expérience est une probabilité (exprimée en pourcentage) d’obtenir un résultat aussi extrême que celui observé, en admettant que l’hypothèse nulle soit vraie. En termes de p-values, le degré de confiance affiché est 1 - p-value. Intuitivement, un degré de confiance plus élevé signifie qu’il est moins probable que l’expérience de contrôle et de non-contrôle ait des taux de conversion égaux.

En Target, un test t bilatéral test de Welch est effectué entre l’expérience de test et l’expérience de contrôle afin de tester si les moyens d’expérience de test et de contrôle sont identiques. Étant donné que nous ne savons généralement pas si les tailles d’échantillon et les variances de deux groupes sont identiques avant d’exécuter l’expérience, et Target vous permet également d’envoyer des pourcentages inégaux de trafic à chaque expérience, nous ne supposons pas que la variance pour chaque expérience soit égale. Ainsi, le test t de Welch est choisi au lieu du test t de Student.

Pour effectuer le test t de Welch, nous commençons d’abord par calculer la statistique t et les degrés de liberté, puis nous exécutons un test t à deux queues pour générer la valeur p. Enfin, nous calculons le degré de confiance en fonction de la valeur de p.

La statistique t est définie comme étant la différence des moyennes de deux variables aléatoires indépendantes, ν et ν₀, divisée par l’erreur standard de la différence :

{width="100px"}

Où μ_v et μ_v0 sont les moyennes de ν et ν₀ respectivement, et l’erreur standard de la différence entre μ_v et μ_v0 est donnée par :

{width="150px"}

Où σ²_v et σ²_v0 sont les variances de deux expériences ν et ν₀ respectivement, et N_v et N_v0 sont des tailles d’échantillon pour ν et ν₀ respectivement.

Pour le test en t de Welch, le degré de liberté est calculé comme suit :

{width="180px"}

Et le degré de liberté pour ν et ν₀ sont définis comme suit :

{width="100px"}

{width="100px"}

Ensuite, la valeur p peut être calculée à partir de la zone dans les extrémités de la distribution t :

{width="20%"}

Enfin, le degré de confiance signalé dans Target est défini comme suit :

{width="20%"}

statistiques bayésiennes

Au lieu de calculer une valeur de p à partir d’une loi approximative, le rapport d’une activité bayésienne exprime les résultats sous la forme de probabilités, calculées à partir de la loi a posteriori complète de la mesure d’objectif de chaque expérience. Cela permet de surveiller en toute sécurité un rapport bayésien, car il n’y a pas de pénalité statistique pour vérifier les résultats avant qu’une taille d’échantillon fixe ne soit atteinte, et il peut converger plus rapidement sur des échantillons plus petits que le test en t de Welch.

La méthodologie bayésienne permet également aux spécialistes du marketing d’alimenter une hypothèse basée sur leur expérience passée et les résultats de la variante de contrôle.

La méthodologie bayésienne n’est disponible que pour les activités dont la mesure d’objectif principale est Conversion, les activités ayant un objectif principal Chiffre d’affaires ou Engagement utilisent toujours test en t de Welch. Pour plus d’informations sur la sélection d’une méthodologie, voir ​ Objectifs et paramètres ​.

Effet élévateur moyen et intervalle crédible

{width="35%"}

L’effet élévateur moyen et l’intervalle crédible mesurent ensemble l’amélioration des performances et son incertitude dans une activité bayésienne. L’effet élévateur moyen est le pourcentage moyen de changement entre un traitement et le témoin, tandis que l’intervalle de crédibilité définit la plage dans laquelle l’effet élévateur réel se situe à une probabilité spécifiée.

Chance de battre le contrôle

{width="35%"}

Probabilité de battre le contrôle indique la probabilité que la mesure d’objectif d’une expérience surpasse l’expérience Contrôle, par exemple, « 92 % de chances que B bat A ». Il s’agit de la mesure de décision principale d’une activité bayésienne : une expérience de challenger est un candidat pour remplacer Contrôle lorsque sa Chance de battre le contrôle atteint le seuil de décision de l’activité.

Exécution de calculs hors ligne

Le rapport CSV téléchargé comprend uniquement des données brutes. Il ne tient pas compte des mesures calculées (recettes par visiteur, effet élévateur ou degré de confiance, par exemple) utilisées dans les tests A/B.

Pour calculer ces quantités statistiques, téléchargez le fichier Excel Target Calculateur de confiance complet pour saisir la valeur de l’activité.