Pourquoi l’effet élévateur d’une expérience s’affiche-t-il lorsque les expériences sont identiques ?

Il existe de nombreuses raisons pour lesquelles vous pouvez voir un effet élévateur dans une expérience par rapport à une autre expérience (identique) :

Le test A/A a été surveillé en permanence.

Un problème courant lors de l’exécution de tout type de test, y compris un test A/A, consiste à examiner les résultats en permanence, et à arrêter prématurément un test lorsque vous constatez une signification statistique, puis à déclarer une expérience gagnante. Les analystes font souvent ce qu'on appelle la "recherche de données". La recherche de données implique d’examiner les données de test de manière précoce et fréquente tout en essayant de déterminer l’expérience la plus performante. Le risque est d'arrêter le test de manière prématurée, ce qui pourrait invalider les résultats.

Dans un test A/A, la recherche de données peut souvent amener les analystes à voir l’effet élévateur dans une expérience, alors qu’en fait il ne devrait y avoir aucune différence, car les deux expériences sont identiques. En fait, avec un contrôle continu, les tests A/A sont garantis pour montrer une "signification statistique" (à savoir, un degré de confiance supérieur à un certain seuil, comme 95 %) à un moment donné pendant le test.

Pour éviter cela, et comme pour un test A/B classique, vous devez donc décider à l’avance quelle taille d’échantillon utiliser, en fonction de la taille d’effet minimale (l’effet élévateur minimal en dessous duquel un effet n’est pas important pour votre entreprise), de la puissance et des niveaux de pertinence que vous trouvez acceptables.

Dans un test A/A, l’objectif serait alors de ne pas voir un résultat statistiquement significatif une fois que votre test aura atteint la taille d’échantillon souhaitée.

Adobe Target Sample Size Calculator est un outil important pour vous aider à déterminer la taille d’échantillon à cibler et la durée d’exécution du test.

En outre, consultez les articles suivants pour plus d’informations sur la durée d’exécution d’une activité, ainsi que d’autres conseils et astuces utiles :