Calcolare manualmente l’affidabilità per le attività di Allocazione automatica
Descrizione description
Ambiente
Adobe Target
Problemi/Sintomi
L’affidabilità dell’attività di allocazione automatica è diversa nell’interfaccia utente di Target e quando calcolata tramite Excel del calcolatore di affidabilità. Perché?
Risoluzione resolution
L’allocazione automatica utilizza un calcolatore di affidabilità diverso (basato sui limiti di Bernstein) rispetto ai normali test A/B (dove si applica il calcolatore utilizzato, che utilizza un test t, ovvero i valori p derivati dalla distribuzione t).
I calcoli di affidabilità utilizzati da Allocazione automatica sono molto più prudenti di quelli utilizzati dai test t regolari. Viene fatto per controllare i falsi positivi, cioè per impedire che si stabilisca precocemente che un braccio è migliore di un altro quando l'effetto che vediamo è dovuto alla casualità.
Ecco perché l'affidabilità classica basata su test t è >
93%, ma l'affidabilità di Allocazione automatica è molto inferiore. È anche condiviso nei documenti Panoramica dell'allocazione automatica.
È necessario un livello di affidabilità del 60% per le attività di allocazione automatica come indicato qui.