Interprétation des rapports d’affectation automatique
Interprétez les résultats d’une activité A/B Auto-Allocate dans Adobe Target en examinant des indicateurs importants, notamment l’effet élévateur et le degré de confiance.
La plupart des marketeurs ont tendance à déclarer de manière prématurée une expérience gagnante avant les résultats finaux. Target facilite la détermination du gagnant.
Pour obtenir des informations générales sur la déclaration d’un gagnant, voir Dix écueils courants des tests A/B et comment les éviter.
Identification de l’expérience gagnante section_24007470CF5B4D30A06610CE8DD23CE3
Lors de l’utilisation de la fonction Auto-Allocate, Target affiche en haut de la page de l’activité un badge indiquant "Pas encore de gagnant" jusqu’à ce que l’activité atteigne le nombre minimal de conversions avec un degré de confiance suffisant.
Lorsqu’un gagnant définitif est déclaré, Target affiche "Gagnant : expérience X".
Garanties statistiques de l’affectation automatique section_7AF3B93E90BA4B80BC9FC4783B6A389C
À la fin d’une activité A/B, Auto-Allocate garantit que le gagnant déterminé a un taux de faux positifs effectif de 5 %. Cela signifie que dans seulement 5 % des cas, le gagnant déterminé ne représente pas réellement la meilleure expérience parmi toutes les expériences de l’activité. Pour un test A/A (avec des expériences identiques), Target termine un test moins de 5 % du temps. Dans la mesure où un test A/A (avec des expériences identiques) est censé être exécuté indéfiniment, le badge Gagnant ne devrait jamais apparaître.
Target n’utilise pas de confiance basée sur la valeur p pour Auto-Allocate.
La colonne Confidence d’une activité Auto-Allocate (illustrée ci-dessous) affiche la probabilité qu’une expérience soit gagnante dans une marge d’erreur de 1 %. L’algorithme utilise un effet détectable minimal de 1 % entre les taux de conversion les plus élevés et les taux de conversion les moins élevés. L’algorithme utilise Inégalité de Bernstein pour calculer cette probabilité.
Les tests A/B standard calculent le degré de confiance selon les valeurs-p, Auto-Allocate n’utilise pas de valeurs-p. Les valeurs-p calculent « grossièrement » la probabilité qu’une expérience donnée diffère de l’expérience de contrôle. Elles peuvent seulement servir à déterminer si une expérience diffère de l’expérience de contrôle. Elles ne peuvent pas servir à déterminer si une expérience diffère d’une autre expérience (que l’expérience de contrôle).
Présentation des rapports Effet élévateur et Degré de confiance dans les activités Auto-Allocate lift-confidence
Dans les activités Auto-Allocate, la première expérience (par défaut nommée Expérience A) est toujours définie comme une expérience "de contrôle" sur l’onglet Reports. Cette expérience n’est pas traitée comme un véritable contrôle statistique dans la modélisation utilisée pour déterminer les performances des expériences, mais elle est traitée comme une référence ou une référence pour certains chiffres du rapport.
La valeur numérique "Effet élévateur" et les limites de 95 % pour chaque expérience sont toujours calculées en référence à l’expérience "Contrôle" définie. L’expérience "de contrôle" définie ne peut pas avoir d’effet élévateur par rapport à elle-même. Par conséquent, une valeur "—" vide est signalée pour cette expérience. Contrairement aux tests A/B, dans les tests Auto-Allocate, si une expérience est plus performante que le contrôle défini, une valeur d’effet élévateur négative n’est pas signalée ; à la place, "—" s’affiche.
Les Confidence Interval barres affichées représentent l’intervalle de confiance de 95 % autour de l’estimation moyenne du taux de conversion d’une expérience. Ces barres sont également codées par couleur en fonction de l’expérience de contrôle définie. La barre de l’expérience "Contrôle" est toujours en gris. Les portions d’intervalles de confiance sous l’intervalle de confiance de l’expérience de "contrôle" sont de couleur rouge et les portions d’intervalles de confiance au-dessus de l’expérience de "contrôle" sont de couleur verte.
Un gagnant est trouvé lorsque les 95 % Confidence Interval de l’expérience principale ne chevauchent aucune autre expérience. L’expérience gagnante est désignée avec un badge d’étoile vert à gauche du nom de l’expérience et dans la bannière "Gagnant". Lorsqu’aucune étoile n’est visible, la bannière indique "Pas encore de gagnant" et un gagnant n’a pas encore été trouvé.
Un nombre "Degré de confiance" est également reporté en regard de l’expérience gagnante ou de l’expérience gagnante actuelle. Ce chiffre est reporté uniquement jusqu’à ce que l’ Confidence de l’expérience principale atteigne au moins 60 %. Si deux expériences sont présentes dans l’activité Auto-Allocate, ce nombre représente le degré de confiance selon lequel l’expérience est plus performante que l’autre expérience. Si plus de deux expériences sont présentes dans l’activité Auto-Allocate, ce nombre représente le degré de confiance selon lequel l’expérience est plus performante que l’expérience "de contrôle" définie. Si l’expérience "Contrôle" est gagnante, aucun chiffre "Confiance" n’est signalé.
Questions fréquentes section_C8E068512A93458D8C006760B1C0B6A2
Tenez compte des réponses suivantes aux questions fréquentes :
L’activité a commencé il y a quelques jours. Pourquoi toutes les valeurs de confiance affichent-elles toujours 0 % ?
L’une des raisons suivantes explique pourquoi 0 % s’affiche dans la colonne Confidence du rapport pour toutes les activités :
-
Les tests A/B manuels et Auto-Allocate utilisent des statistiques différentes pour afficher les valeurs Confidence.
Les tests A/B manuels utilisent des valeurs-p basées sur le test-t Welch. Une valeur-p est la probabilité de trouver la différence observée (ou une plus extrême) entre une expérience et le contrôle, étant donné qu’en réalité, il n’y a pas de différence de ce type. Ces valeurs-p ne peuvent être utilisées que pour déterminer si les données observées sont cohérentes avec une expérience donnée et si le contrôle est le même. Elles ne peuvent pas servir à déterminer si une expérience diffère d’une autre expérience (que l’expérience de contrôle).
Auto-Allocate indique la probabilité qu’une expérience donnée soit un véritable gagnant pour toutes les expériences de l’activité. Seule une expérience gagnante (qui est la plus susceptible d’être la gagnante) a une valeur de confiance non nulle. Tous les autres sont plus susceptibles d’être des perdants et d’afficher 0 %.
-
Auto-Allocate commence à afficher le degré de confiance uniquement une fois que l’expérience gagnante a réuni un degré de confiance de 60 %. Ces niveaux de confiance apparaissent généralement environ la moitié du temps nécessaire à l’exécution d’un test A/B normal (bien que cette période ne soit pas garantie). Pour déterminer la durée d’exécution d’un test A/B, utilisez le Adobe Target calculateur de taille d’échantillon : entrez le taux de conversion du contrôle dans "Taux de conversion de ligne de base", "5 %" pour "Effet élévateur" et 95 % pour "Degré de confiance". En règle générale, le degré de confiance apparaît quand chaque expérience a accumulé au moins 50 % des échantillons requis par expérience. Cela vous donne une idée du moment où le degré de confiance commence à apparaître.
-
Si le rapport présente globalement un taux de 0 %, cela signifie probablement que l’activité n’a pas encore suffisamment progressé.
Les badges "Aucun gagnant", "Gagnant" et "étoile" sont-ils disponibles pour les activités Auto-Allocate qui utilisent Analytics as the reporting source (A4T) ?
Les badges "Pas encore de gagnant" et "Gagnant" ne sont actuellement pas disponibles dans le panneau A4T de Analysis Workspace. Ces badges ne sont pas non plus disponibles si le même rapport est affiché dans Target. Un badge "étoile" gagnant affiché dans un rapport Target pour une activité Auto-Allocate utilisant A4T doit être ignoré.
Pour plus d’informations à ce sujet et sur d’autres limitations et notes, voir Affectation automatique dans la Prise en charge d’A4T pour Auto-Allocate et Auto-Target activités.