Calcolare manualmente l’affidabilità per le attività di Allocazione automatica

Descrizione description

Ambiente

Adobe Target

Problemi/Sintomi

L’affidabilità dell’attività di allocazione automatica è diversa nell’interfaccia utente di Target e quando calcolata tramite Excel del calcolatore di affidabilità. Perché?

Risoluzione resolution

L’allocazione automatica utilizza un calcolatore di affidabilità diverso (basato sui limiti di Bernstein) rispetto ai normali test A/B (dove si applica il calcolatore utilizzato, che utilizza un test t, ovvero i valori p derivati dalla distribuzione t).

I calcoli di affidabilità utilizzati da Allocazione automatica sono molto più prudenti di quelli utilizzati dai test t regolari. Viene fatto per controllare i falsi positivi, cioè per impedire che si stabilisca precocemente che un braccio è migliore di un altro quando l'effetto che vediamo è dovuto alla casualità.

Ecco perché l'affidabilità classica basata su test t è > 93%, ma l'affidabilità di Allocazione automatica è molto inferiore. È anche condiviso nei documenti Panoramica dell'allocazione automatica.

È necessario un livello di affidabilità del 60% per le attività di allocazione automatica come indicato qui.