Calculs statistiques dans les tests A/B

Cet article documente les calculs statistiques détaillés utilisés dans les tests A/Bn manuels dans Adobe Target. Les définitions sont fournies pour Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift et Confidence.

Performances moyennes

La section suivante explique les calculs utilisés dans l’illustration précédente.

Campagnes sur le taux de conversion et les recettes par visiteur (RPV)

L’illustration suivante présente Conversion Rate, Confidence Interval of Conversion Rate et le nombre de Conversions dans un rapport Target. Par exemple, la première ligne indique que pour l’expérience A : le Conversion Rate est de 25,81 % avec un Confidence Interval de ±7,7 % et 32 conversions ont été enregistrées. Étant donné que 124 visiteurs ont vu l’expérience, cela équivaut à 32/124 = 25,81 %.

{width="25%"}

Le taux de conversion ou la moyenne, μ_ν, pour chaque expérience ν dans une expérience est défini comme un ratio de la somme de la mesure par rapport au nombre d’unités affectées à cette mesure, N_ν :

{width="125px"}

Ici,

Confidence Interval of Mean/Conversion Rate

L’intervalle de confiance du taux de conversion est défini intuitivement comme une plage de taux de conversion possibles cohérents avec les données sous-jacentes.

Lors de l’exécution d’expériences, le taux de conversion d’une expérience donnée est une estimation du taux de conversion "vrai". Pour quantifier l’incertitude dans cette estimation, Target utilise un intervalle de confiance. Target signale toujours un intervalle de confiance de 95 %, ce qui signifie qu’à la fin, 95 % des intervalles de confiance calculés incluent le taux de conversion réel de l’expérience.

Un intervalle de confiance de 95 % du taux de conversion μ_ν est défini comme la plage de valeurs :

{width="30%"}

Lorsque l’erreur standard pour la moyenne est définie comme

{width="75px"}

Lorsqu’une estimation impartiale de l’écart-type d’échantillon est utilisée :

{width="200px"}

Lorsque la campagne est une campagne de taux de conversion (c’est-à-dire que la mesure de conversion est binaire), l’erreur standard se réduit à :

{width="150px"}

Effet élévateur

L’illustration suivante présente Lift et Confidence Interval of Lift dans un rapport Target. Le nombre représente la moyenne de la plage des limites de l’effet élévateur, tandis que la flèche indique si l’effet élévateur est positif ou négatif. La flèche s’affiche en gris jusqu’à ce que le degré de confiance dépasse 95 %. Une fois le degré de confiance dépassé, la flèche est verte ou rouge en fonction d’un effet élévateur positif ou négatif.

{width="35%"}

L’effet élévateur entre une expérience ν et l’expérience de contrôle ν₀ est le "delta" relatif des taux de conversion, défini comme

{width="15%"}

Où les taux de conversion individuels sont tels que définis ci-dessus. Plus simplement :

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Si le taux de conversion de l’expérience de contrôle ν₀ est de 0, il n’y a pas d’effet élévateur.

Confidence Interval of Lift

Le graphique en boîte de la colonne Average Lift and Confidence Interval représente la valeur moyenne et 95 % Confidence Interval of Lift. Le graphique en boîte est gris lorsqu’il existe un chevauchement dans l’intervalle de confiance d’une expérience donnée qui n’est pas témoin avec l’intervalle de confiance de l’expérience de contrôle. Le diagramme en boîte est vert ou rouge lorsque la plage de l’intervalle de confiance de l’expérience donnée est supérieure ou inférieure à l’intervalle de confiance de l’expérience de contrôle.

L’erreur standard de l’effet élévateur entre une expérience ν et l’expérience de contrôle ν₀ est définie comme suit :

{width="35%"}

L’intervalle de confiance de 95 % de l’effet élévateur est alors :

{width="40%"}

Ce calcul utilise la méthode "Delta" et est décrit de manière plus détaillée dans ce document

Confidence

La dernière colonne indique le degré de confiance dans un rapport Target. La confiance d’une expérience est une probabilité (indiquée sous la forme d’un pourcentage) d’obtenir un résultat aussi extrême que celui observé, étant donné que l’hypothèse nulle est vraie. En termes de p-valeurs, la confiance affichée est 1 - p-value. Intuitivement, une confiance plus élevée signifie qu’il est moins probable que l’expérience de contrôle et l’expérience de non-contrôle aient des taux de conversion égaux.

Dans Target, un test en t Welch's t-test sur deux tailles est effectué entre l’expérience de test et l’expérience de contrôle pour tester si les moyens de test et de contrôle sont identiques. Puisque nous ne savons généralement pas si les tailles d’échantillon et les écarts de deux groupes sont identiques avant d’exécuter l’expérience, et que Target vous permet également d’avoir des pourcentages de trafic inégaux envoyés à chaque expérience, nous ne supposons pas que la variance de chaque expérience est égale. Ainsi, le test en t de Welch est choisi au lieu du test en t de Student.

Pour effectuer le test en t de Welch, nous commençons par calculer la statistique en t et les degrés de liberté, puis nous exécutons un test en t bidimensionnel pour générer la valeur p. Enfin, nous calculons la confiance en fonction de la valeur p.

La t-statistique est définie comme la différence des moyens de deux variables aléatoires indépendantes, ν et ν₀, divisées par l’erreur standard de la différence :

{width="100px"}

Où μ_v et μ_v0 sont les moyens de ν et ν₀ respectivement, et l’erreur standard de la différence entre μ_v et μ_v0 sont données par :

{width="150px"}

Où static²_v et exemple ²_v0 sont les variations de deux expériences ν et ν₀ respectivement, et N_v et N_8}v0 sont des tailles d’échantillon pour ν et ₀, respectivement.

Pour le test en t de Welch, le degré de liberté est calculé comme suit :

{width="180px"}

Et le degré de liberté de ν et ν₀ est défini comme suit :

{width="100px"}

{width="100px"}

Ensuite, la valeur p peut être calculée à partir de la zone dans les queues de la distribution t :

{width="20%"}

Enfin, le degré de confiance signalé dans Target est défini comme suit :

{width="20%"}

Exécution de calculs hors ligne

Le rapport CSV téléchargé comprend uniquement des données brutes. Il ne tient pas compte des mesures calculées (recettes par visiteur, effet élévateur ou degré de confiance, par exemple) utilisées dans les tests A/B.

Pour calculer ces quantités statistiques, téléchargez le fichier Excel Target Complete Confidence Calculator pour saisir la valeur de l’activité.