Quelle doit être la durée d’exécution d’un test A/B ?
Une activité A/B Test réussie dans Adobe Target nécessite suffisamment de visiteurs (taille de l’échantillon) pour améliorer votre taux de conversion. Comment savez-vous combien de temps exécuter un test A/B ? Cet article contient des informations sur les activités Auto-Allocate et le calculateur de taille d’échantillon Adobe Target pour vous aider à vous assurer que votre activité a suffisamment de visiteurs pour atteindre vos objectifs.
Il est tentant d’arrêter une activité si l’une des offres est plus ou moins performante que les autres dans les premiers jours de l’activité. Toutefois, si le nombre d’observations est faible, il existe une forte probabilité que vous observiez par hasard un effet élévateur positif ou négatif, puisque le taux de conversion est calculé d’après un petit nombre de visiteurs. Les taux de conversion convergent vers leurs valeurs réelles sur le long terme au fur et à mesure que l’activité collecte davantage de points de données.
IMPORTANTAdobe Target fournit des outils pour vous assurer que votre activité dispose d’une taille d’échantillon suffisante pour atteindre vos objectifs de conversion : Affectation automatique.
Affectation automatique
Une activité Affectation automatique est un type de test A/B qui identifie un gagnant parmi plusieurs expériences. Un test Auto-Allocate réaffecte automatiquement du trafic supplémentaire vers le gagnant afin d’augmenter les conversions pendant que le test continue à s’exécuter et à apprendre.
Les tests A/B standard ont un coût. Vous devez générer du trafic pour mesurer les performances de chaque expérience et déterminer l’expérience gagnante grâce à une analyse. L’affectation du trafic reste fixe même après que vous avez admis que certaines expériences sont plus performantes que d’autres. En outre, il est difficile de déterminer la taille de l’échantillon. L’activité doit également s’exécuter en entier avant que vous ne puissiez agir sur un gagnant. Et il y a encore une chance que le gagnant identifié ne soit pas un vrai gagnant.
La solution est Auto-Allocate. Auto-Allocate réduit ce coût et les frais liés à la détermination d’une expérience gagnante. Auto-Allocate surveille les performances de la mesure d’objectif de toutes les expériences et envoie plus de nouveaux participants vers les expériences hautement performantes proportionnellement. Suffisamment de trafic est réservé à l’exploration des autres expériences. Vous pouvez voir les avantages de l’activité sur vos résultats, même si l’activité est toujours en cours d’exécution : l’optimisation se produit en parallèle de l’apprentissage.
Auto-Allocate dirige progressivement les visiteurs vers les expériences gagnantes, plutôt que d’exiger que vous attendiez la fin d’une activité pour déterminer un gagnant. Vous bénéficiez de l’effet élévateur plus rapidement, car les participants à l’activité qui auraient été envoyés vers des expériences moins performantes sont dirigés vers des expériences potentiellement gagnantes.
Lors de l’utilisation de Auto-Allocate, Target affiche en haut de la page de l’activité un badge indiquant "Pas encore de gagnant" jusqu’à ce que l’activité atteigne le nombre minimal de conversions avec un degré de confiance suffisant. Target déclare ensuite l’expérience gagnante en affichant un badge en haut de la page de l’activité.
Pour plus d’informations, voir Présentation de l’affectation automatique.
Adobe Target du calculateur de taille d’échantillon
Si vous choisissez d’utiliser une activité A/B Test manuelle plutôt que Auto-Allocate, le calculateur de taille d’échantillon Target vous aide à déterminer la taille d’échantillon requise pour un test réussi. Un test A/B manuel est un test d’horizon fixe, le calculateur est donc utile. L’utilisation du calculateur pour une activité Auto-Allocate est facultative car Auto-Allocate déclare un gagnant pour vous. Le calculateur vous donne une estimation approximative de la taille d’échantillon nécessaire. Continuez votre lecture pour en apprendre davantage sur l’utilisation du calculateur.
Avant de configurer votre test A/B, accédez au Adobe Target calculateur de taille d’échantillon.
Il est important de déterminer une taille d’échantillon adéquate (nombre de visiteurs) avant d’effectuer un test A/B afin de déterminer le temps d’exécution de l’activité avant d’évaluer les résultats. La simple surveillance de l’activité jusqu’à ce que la signification statistique soit atteinte entraîne une sous-estimation considérable de l’intervalle de confiance, ce qui rend le test non fiable. L’intuition derrière ce résultat est que, dans le cas où un résultat statistiquement significatif est détecté, le test est arrêté et un gagnant est déclaré. Cependant, si le résultat n’est pas statistiquement significatif, le test peut continuer. Cette procédure favorise nettement le résultat positif, ce qui augmente le taux de faux positifs et déforme le niveau de pertinence effectif du test.
Cette procédure peut générer de nombreux faux positifs, ce qui entraîne l’implémentation d’offres qui ne produisent pas l’effet élévateur prévu à la fin. Un faible effet élévateur en lui-même est un résultat insatisfaisant, mais une conséquence encore plus grave est que, au fil du temps, l'incapacité à prédire précisément l'effet élévateur érode la confiance de l'organisation dans le test en tant que pratique.
Cet article décrit les facteurs qui doivent être équilibrés lorsqu’une taille d’échantillon est déterminée et présente un calculateur pour estimer une taille d’échantillon adéquate. Le calcul de la taille d’échantillon à l’aide du calculateur de taille d’échantillon (lien fourni ci-dessus) avant le début d’un test A/B vous permet de toujours exécuter des tests A/B de haute qualité conformes aux normes statistiques.
Il existe cinq paramètres définis par l’utilisateur qui définissent un test A/B. Ces paramètres sont conjugués. De ce fait, lorsque quatre d’entre eux sont définis, le cinquième peut être calculé :
- Signification statistique
- Puissance statistique
- Effet élévateur minimal détectable de manière fiable
- Taux de conversion de ligne de base
- Nombre de visiteurs
IMPORTANTPour un test A/B, la signification statistique, la puissance statistique, l’effet élévateur minimal détectable de manière fiable et le taux de conversion de ligne de base sont définis par l’analyste, puis le nombre requis de visiteurs est calculé à partir de ces chiffres. Cet article décrit ces éléments et fournit des instructions sur la manière de déterminer ces mesures pour un test spécifique.
La figure ci-dessous illustre les quatre résultats possibles d’un test A/B :
Il est souhaitable de n’obtenir aucun faux positif ou faux négatif. Cependant, l’obtention de zéro faux positifs ne peut jamais être garanti par un test statistique. Il est toujours possible que les tendances observées ne soient pas représentatives des taux de conversion sous-jacents. Par exemple, lors d’un test pour voir si les faces ou les piles d’une pièce de monnaie étaient plus susceptibles, même avec une pièce de monnaie équitable, vous pouviez obtenir dix faces sur dix lancers par hasard. La signification et la puissance statistiques aident à quantifier les taux de faux positifs et faux négatifs et permettent de les maintenir à des niveaux raisonnables pour un test donné.
