Interpretare i rapporti di allocazione automatica

Interpreta i risultati di un'attività Allocazione automatica A/B in Adobe Target esaminando importanti indicatori, tra cui incremento e affidabilità.

Molti addetti al marketing commettono l’errore di dichiarare un’esperienza vincente prima che i risultati indichino chiaramente quale sia l’esperienza migliore. Ora abbiamo reso più facile determinare il vincitore.

NOTA

Per informazioni generali sulla dichiarazione di un vincitore, consulta Dieci insidie frequenti per i test A/B e come evitarle.

Identificare l’esperienza vincente

Quando utilizzi la funzione di Allocazione automatica, Target mostra un badge nella parte superiore della pagina dell'attività che indica “Ancora nessun vincitore” finché l'attività non raggiunge il numero minimo di conversioni con sufficiente affidabilità.

Indicatore Nessun vincitore

Quando viene dichiarata l'esperienza migliore, in Target appare la scritta “Vincitore: esperienza X”.

NOTA

Le attività di Allocazione automatica sono progettate per trovare la migliore esperienza tra tutte le opzioni e non solo per fare confronti in coppia con il controllo.

Garanzie statistiche di Allocazione automatica

Al termine di un'attività A/B, Allocazione automatica garantisce che il vincitore determinato abbia un tasso di falso positivo efficace del 5%. Questo significa che solo per il 5% del tempo, il vincitore determinato non è in realtà la migliore esperienza tra tutte le esperienze nell'attività. Per un test A/A (con esperienze identiche), concludiamo un test inferiore al 5% del tempo. Il comportamento previsto per un test A/A (con esperienze identiche) è l'esecuzione indefinita e quindi il badge del vincitore non dovrebbe mai apparire.

Non utilizziamo l’affidabilità basata sul valore p per l'Allocazione automatica.

La colonna Affidabilità in un'attività di Allocazione automatica (illustrata di seguito) visualizza la probabilità che un'esperienza sia il vincitore entro l'1% di margine di errore (cioè l'algoritmo utilizza un effetto minimo rilevabile dell'1% tra il tasso di conversione migliore e il secondo migliore). L'algoritmo utilizza la disuguaglianza di Bernstein per calcolare questa probabilità.

I test A/B normali calcolano l’affidabilità in base ai valori p. L'Allocazione automatica non utilizza i valori p. I valori p calcolano “liberamente” la probabilità che una determinata esperienza sia diversa dal controllo. Questi valori p possono essere utilizzati solo per determinare se un’esperienza è diversa dal controllo. Questi valori non possono essere utilizzati per determinare se un'esperienza è diversa da un'altra esperienza (non controllo).

IMPORTANTE

Target mostra un vincitore dopo un numero minimo predefinito di conversioni; tuttavia, la decisione finale di scegliere il vincitore dovrebbe sempre essere basata sui risultati del calcolatore delle dimensioni del campione Adobe Target a1/>. Target non considera i tassi di conversione di base di un sito e altri aspetti importanti inseriti nel calcolatore per determinare la durata dell’attività. Di conseguenza, Target potrebbe visualizzare un vincitore prima del previsto sulla base di un numero minimo di conversioni. Per ulteriori informazioni, consulta Calcolatore dimensioni campione.

Comprendere i rapporti Incremento e Affidabilità nelle attività di Allocazione automatica

Nelle attività di allocazione automatica, la prima esperienza (per impostazione predefinita denominata Esperienza A) viene sempre definita come esperienza di controllo nella scheda Rapporti . Questa esperienza non viene trattata come un vero controllo statistico nella modellazione utilizzata per determinare le prestazioni delle esperienze, ma viene trattata come un riferimento o una linea di base per alcune figure nel rapporto.

Il valore numerico "Incremento" e i limiti del 95% per ogni esperienza vengono sempre calcolati con riferimento all’esperienza "Controllo" definita. L’esperienza definita "Controllo" non può avere un incremento relativo a se stessa, pertanto per questa esperienza viene riportato un valore "—" vuoto. A differenza dei test A/B, nei test di allocazione automatica, se un’esperienza funziona in modo peggiore del controllo definito, non viene riportato un valore di incremento negativo; viene invece visualizzato "—".

Le barre dell’intervallo di affidabilità visualizzate rappresentano l’intervallo di affidabilità del 95% intorno alla stima media del tasso di conversione di un’esperienza. Questi vengono anche codificati in base al colore dell’esperienza definita di "controllo". La barra dell’esperienza "Controllo" è sempre di colore grigio. Le parti degli intervalli di affidabilità al di sotto dell’intervallo di affidabilità dell’esperienza "Controllo" sono colorate di rosso e le parti degli intervalli di affidabilità al di sopra dell’esperienza "Controllo" sono colorate di verde.

Un vincitore si trova quando l’intervallo di affidabilità del 95% dell’esperienza principale non si sovrappone ad altre esperienze. L’esperienza vincente viene designata con un badge a stella verde a sinistra del nome dell’esperienza e nel banner "Vincitore". Quando nessuna stella è visibile, lo striscione dice "Ancora nessun vincitore" e un vincitore non è ancora stato trovato.

Accanto all’esperienza attuale o vincente viene riportato anche un numero di "Affidabilità". Questa cifra viene riportata solo fino a quando l’esperienza principale non raggiunge almeno il 60% di affidabilità. Se esattamente due esperienze sono presenti nell’esperimento di allocazione automatica, questo numero rappresenta il livello di affidabilità che l’esperienza sta ottenendo meglio rispetto all’altra esperienza. Se nell’esperimento di allocazione automatica sono presenti più di due esperienze, questo numero rappresenta il livello di affidabilità che l’esperienza sta ottenendo meglio dell’esperienza definita di controllo. Se l’esperienza "Controllo" è vincente, non viene segnalata alcuna figura di "Affidabilità".

Domande frequenti

L’attività è in corso da un paio di giorni. Perché tutti i valori di affidabilità mostrano ancora 0%?

Nella colonna Affidabilità del rapporto per tutte le attività viene visualizzato 0% per i seguenti motivi:

  • I test A/B manuali e l'allocazione automatica utilizzano statistiche diverse per visualizzare i valori di affidabilità.

    I test A/B manuali utilizzano valori p basati sul test t di Student. Un valore p rappresenta la probabilità di trovare la differenza osservata (o una differenza maggiore) tra un’esperienza e il controllo, dato che in realtà non esiste una differenza simile. Questi valori p possono essere utilizzati solo per determinare se i dati osservati sono coerenti quando un’esperienza specifica e il controllo sono uguali. Questi valori non possono essere utilizzati per determinare se un'esperienza è diversa da un'altra esperienza (non controllo).

    L'allocazione automatica mostra la probabilità che una determinata esperienza sia un vero vincitore in tutte le esperienze dell'attività. Questo significa che solo un'esperienza vincente (che è più probabile che sia il vincitore), avrà un valore di affidabilità diverso da zero. Tutte le altre hanno più probabilità di essere perdenti e presentano il valore 0%.

  • L'allocazione automatica inizia a mostrare un valore di affidabilità solo dopo che l'esperienza vincente avrà raccolto il 60% di affidabilità. Questi livelli di affidabilità generalmente appaiono in circa la metà del tempo necessario per completare un normale test A/B (anche se questo non è garantito). Per determinare per quanto tempo deve essere eseguito un normale test A/B, utilizza un calcolatore delle dimensioni del campione: il tasso di conversione del controllo plug in "Tasso di conversione di base", "5%" per "Incremento" e 95% per "Affidabilità". In genere, i valori di affidabilità iniziano a comparire dopo che ogni esperienza ha accumulato almeno il 50% dei campioni richiesti per esperienza. Questo ti dà un'idea di quando potrai iniziare a vedere valori di affidabilità.

  • Se il rapporto presenta 0% per tutte le esperienze, è probabile che sia ancora troppo presto nel corso dell’attività.

In questa pagina