Calculs statistiques dans les tests A/B

Cet article documente les calculs statistiques détaillés utilisés dans les tests A/B manuels dans Adobe Target. Des définitions sont fournies pour Conversion Rate, Confidence Interval of Conversion Rate, Lift, Confidence Interval for Lift et Confidence.

Performances moyennes

La section suivante explique les calculs utilisés dans l’illustration précédente.

Taux de conversion et recettes par visiteur (RPV)

L’illustration suivante présente les Conversion Rate, les Confidence Interval of Conversion Rate et le nombre de Conversions dans un rapport Target. Par exemple, la première ligne indique que pour l’expérience A : la Conversion Rate est de 25,81 % avec une Confidence Interval de ± 7,7 % et 32 conversions ont été enregistrées. Étant donné que 124 visiteurs ont vu l’expérience, cela équivaut à 32/124 = 25,81 %.

{width="25%"}

Le taux de conversion ou moyenne, μ_ν, pour chaque expérience ν dans une expérience est défini(e) comme le rapport de la somme de la mesure par rapport au nombre d’unités affectées à cette mesure, N_ν :

{width="125px"}

Ici,

Confidence Interval of Mean/Conversion Rate

L’intervalle de confiance du taux de conversion est intuitivement défini comme une plage de taux de conversion possibles cohérente avec les données sous-jacentes.

Lors de l’exécution d’expériences, le taux de conversion d’une expérience donnée est une estimation du taux de conversion « réel ». Pour quantifier l’incertitude de cette estimation, Target utilise un intervalle de confiance. Target signale toujours un intervalle de confiance de 95 %, ce qui signifie qu’à la fin, 95 % des intervalles de confiance calculés incluent le taux de conversion réel de l’expérience.

Un nombre « Confiance » est également signalé en regard de l’expérience actuellement en tête ou gagnante. Ce chiffre est signalé uniquement jusqu’à ce que la Confidence de l’expérience principale atteigne au moins 60 %. Si deux expériences sont présentes dans l’activité, ce nombre représente le niveau de confiance selon lequel l’expérience fonctionne mieux que l’autre expérience. Si l’activité comporte plus de deux expériences, ce nombre représente le niveau de confiance selon lequel l’expérience est plus performante que l’expérience « de contrôle » définie. Si l’expérience « Contrôle » gagne, aucun chiffre « Confiance » n’est signalé.

Un intervalle de confiance à 95 % du taux de conversion μ_ν est défini comme la plage de valeurs :

{width="30%"}

Où l’erreur standard pour la moyenne est définie comme

{width="75px"}

Lorsqu’une estimation non biaisée de l’écart type échantillon est utilisée :

{width="200px"}

Lorsque la campagne est une campagne de taux de conversion (c’est-à-dire que la mesure de conversion est binaire), l’erreur standard se réduit à :

{width="150px"}

Effet élévateur

L’illustration suivante présente Lift et Confidence Interval of Lift dans un rapport Target. Le nombre représente la moyenne de la plage des limites de l’effet élévateur, et la flèche indique si l’effet élévateur est positif ou négatif. La flèche s’affiche en gris jusqu’à ce que le degré de confiance atteigne 95 %. Une fois que le degré de confiance a dépassé le seuil, la flèche est verte ou rouge en fonction d’une courbe d’élévation positive ou négative.

{width="35%"}

L’effet élévateur entre une expérience ν et l’expérience de contrôle ν₀ est le « delta » relatif dans les taux de conversion, défini comme

{width="15%"}

Lorsque les taux de conversion individuels sont tels que définis ci-dessus. Plus simplement,

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Si le taux de conversion de l’expérience de contrôle ν₀ est de 0, il n’y a pas d’effet élévateur.

Confidence Interval of Lift

Le graphique en boîte de la colonne Average Lift and Confidence Interval représente la valeur moyenne et la Confidence Interval of Lift de 95 %. L’indicateur est gris lorsqu’il y a chevauchement de l’intervalle de confiance d’une expérience donnée de non-contrôle avec l’intervalle de confiance de l’expérience de contrôle. Le graphique à boîtes est vert ou rouge lorsque la plage de l’intervalle de confiance de l’expérience donnée est supérieure ou inférieure à l’intervalle de confiance de l’expérience de contrôle.

L’erreur standard de l’effet élévateur entre une expérience ν et l’expérience de contrôle ν₀ est définie comme suit :

{width="35%"}

Alors l’intervalle de confiance à 95 % de l’effet élévateur est :

{width="40%"}

Ce calcul utilise la méthode « Delta », et est décrit plus en détail dans ce document

Confidence

La dernière colonne indique le degré de confiance dans un rapport Target. Le degré de confiance d’une expérience est une probabilité (exprimée en pourcentage) d’obtenir un résultat aussi extrême que celui observé, en admettant que l’hypothèse nulle soit vraie. En termes de p-values, le degré de confiance affiché est 1 - p-value. Intuitivement, un degré de confiance plus élevé signifie qu’il est moins probable que l’expérience de contrôle et de non-contrôle ait des taux de conversion égaux.

En Target, un test t bilatéral test de Welch est effectué entre l’expérience de test et l’expérience de contrôle afin de tester si les moyens d’expérience de test et de contrôle sont identiques. Étant donné que nous ne savons généralement pas si les tailles d’échantillon et les variances de deux groupes sont identiques avant d’exécuter l’expérience, et Target vous permet également d’envoyer des pourcentages inégaux de trafic à chaque expérience, nous ne supposons pas que la variance pour chaque expérience soit égale. Ainsi, le test t de Welch est choisi au lieu du test t de Student.

Pour effectuer le test t de Welch, nous commençons d'abord par calculer la statistique t et les degrés de liberté, puis nous exécutons un test t à deux queues pour générer la valeur p. Enfin, nous calculons le degré de confiance en fonction de la valeur de p.

La statistique t est définie comme étant la différence des moyennes de deux variables aléatoires indépendantes, ν et ν₀, divisée par l’erreur standard de la différence :

{width="100px"}

Où μ_v et μ_v0 sont les moyennes de ν et ν₀ respectivement, et l’erreur standard de la différence entre μ_v et μ_v0 est donnée par :

{width="150px"}

Où σ²_v et σ²_v0 sont les variances de deux expériences ν et ν₀ respectivement, et N_v et N_v0 sont des tailles d’échantillon pour ν et ν₀ respectivement.

Pour le test en t de Welch, le degré de liberté est calculé comme suit :

{width="180px"}

Et le degré de liberté pour ν et ν₀ sont définis comme suit :

{width="100px"}

{width="100px"}

Ensuite, la valeur p peut être calculée à partir de la zone dans les extrémités de la distribution t :

{width="20%"}

Enfin, le degré de confiance signalé dans Target est défini comme suit :

{width="20%"}

Exécution de calculs hors ligne

Le rapport CSV téléchargé comprend uniquement des données brutes. Il ne tient pas compte des mesures calculées (recettes par visiteur, effet élévateur ou degré de confiance, par exemple) utilisées dans les tests A/B.

Pour calculer ces quantités statistiques, téléchargez le fichier Excel Target Calculateur de confiance complet pour saisir la valeur de l’activité.