Interpreta Allocazione automatica report
Interpretare i risultati di un’attività A/B di Allocazione automatica in Adobe Target esaminando indicatori importanti, inclusi incremento e affidabilità.
Molti addetti al marketing commettono l’errore di dichiarare un’esperienza vincente prima che i risultati indichino chiaramente quale sia l’esperienza migliore. Target facilita la determinazione del vincitore.
Per informazioni generali sulla dichiarazione di un vincitore, consulta Dieci insidie frequenti per i test A/B e come evitarle.
Identificare l’esperienza vincente section_24007470CF5B4D30A06610CE8DD23CE3
Quando si utilizza la funzione Allocazione automatica, Target visualizza un badge nella parte superiore della pagina dell’attività che indica “Ancora nessun vincitore” finché l’attività non raggiunge il numero minimo di conversioni con sufficiente affidabilità.
Quando viene dichiarata l’esperienza migliore, Target visualizza il badge “Vincitore: esperienza X”.
Garanzie statistiche di Allocazione automatica section_7AF3B93E90BA4B80BC9FC4783B6A389C
Al termine di un’attività A/B, Allocazione automatica garantisce che il vincitore determinato abbia un tasso di falso positivo effettivo del 5%. Questo significa che solo per il 5% del tempo, il vincitore determinato non è in realtà la migliore esperienza tra tutte le esperienze nell’attività. Per un test A/A (con esperienze identiche), Target conclude un test per meno del 5% del tempo. Il comportamento previsto per un test A/A (con esperienze identiche) è l’esecuzione indefinita e quindi il badge del vincitore non dovrebbe mai apparire.
Target non utilizza l’affidabilità basata sul valore p per Allocazione automatica.
La colonna Affidabilità in un’attività Allocazione automatica mostra la probabilità che un’esperienza sia il vincitore entro l’1% di margine di errore. L’algoritmo utilizza un effetto rilevabile minimo dell’1% tra i tassi di conversione migliori e quelli del secondo migliore. L’algoritmo utilizza la disuguaglianza di Bernstein per calcolare questa probabilità.
I test A/B normali calcolano l’affidabilità in base ai valori p. Allocazione automatica non utilizza valori p. I valori p calcolano “liberamente” la probabilità che una determinata esperienza sia diversa dal controllo. Questi valori p possono essere utilizzati solo per determinare se un’esperienza è diversa dal controllo. Questi valori non possono essere utilizzati per determinare se un’esperienza è diversa da un’altra esperienza (non controllo).
Comprendere i rapporti di incremento e affidabilità nelle attività di allocazione automatica lift-confidence
Nelle attività Allocazione automatica, la prima esperienza (per impostazione predefinita denominata Esperienza A) è sempre definita come esperienza di controllo nella scheda Rapporti. Questa esperienza non viene trattata come un vero e proprio controllo statistico nella modellazione utilizzata per determinare le prestazioni delle esperienze, ma viene trattata come un riferimento o una base per alcune figure nel rapporto.
Il valore numerico di “Incremento” e i limiti del 95% per ogni esperienza vengono sempre calcolati in riferimento all’esperienza di “Controllo” definita. L’esperienza “Controllo” definita non può avere un incremento relativo a se stessa, pertanto per questa esperienza viene segnalato un valore vuoto “—”. A differenza dei test A/B, nei test Allocazione automatica, se un’esperienza ha prestazioni peggiori del controllo definito, non viene segnalato un valore Lift negativo, ma viene visualizzato “—”.
Le barre Intervallo di affidabilità visualizzate rappresentano l’intervallo di affidabilità del 95% intorno alla stima media del tasso di conversione di un’esperienza. Queste barre sono inoltre codificate in base al colore in relazione all’esperienza “Controllo” definita. La barra dell’esperienza “Controllo” è sempre di colore grigio. Le parti degli intervalli di affidabilità al di sotto dell’intervallo di affidabilità dell’esperienza “Controllo” sono di colore rosso, mentre le parti degli intervalli di affidabilità al di sopra dell’esperienza “Controllo” sono di colore verde.
Un vincitore si trova quando l’intervallo di affidabilità al 95% di un’esperienza principale non si sovrappone ad altre esperienze. L’esperienza vincente è indicata da un contrassegno a stella verde a sinistra del nome dell’esperienza e nel banner “Vincitore”. Quando non è visibile alcuna stella, sullo striscione si legge “Ancora nessun vincitore” e non è stato ancora trovato un vincitore.
Viene inoltre riportato un numero di “affidabilità” accanto all’esperienza attualmente leader o vincente. Questa cifra viene segnalata solo finché l’affidabilità dell’esperienza principale non raggiunge almeno il 60%. Se nell’attività Allocazione automatica sono presenti due esperienze, questo numero rappresenta il livello di affidabilità con cui l’esperienza sta ottenendo risultati migliori rispetto all’altra. Se nell’attività Allocazione automatica sono presenti più di due esperienze, questo numero rappresenta il livello di affidabilità con cui le prestazioni dell’esperienza sono migliori rispetto all’esperienza “Controllo” definita. Se l’esperienza “Controllo” sta vincendo, non viene segnalato alcun valore “Affidabilità”.
Domande frequenti section_C8E068512A93458D8C006760B1C0B6A2
Considera le seguenti risposte alle domande frequenti:
Sono passati alcuni giorni dall’inizio dell’attività. Perché tutti i valori di affidabilità mostrano ancora lo 0%?
Nella colonna Affidabilità del rapporto per tutte le attività viene visualizzato 0% per i seguenti motivi:
-
I test A/B manuali e Allocazione automatica utilizzano statistiche diverse per visualizzare i valori di Affidabilità.
I test A/B manuali utilizzano valori p basati sul test t di Welch. Un valore p rappresenta la probabilità di trovare la differenza osservata (o una differenza maggiore) tra un’esperienza e il controllo, dato che in realtà non esiste una differenza simile. Questi valori p possono essere utilizzati solo per determinare se i dati osservati sono coerenti quando un’esperienza specifica e il controllo sono uguali. Questi valori non possono essere utilizzati per determinare se un’esperienza è diversa da un’altra esperienza (non controllo).
Allocazione automatica mostra la probabilità che una determinata esperienza sia un vero vincitore in tutte le esperienze dell’attività. Solo un’esperienza vincente (che è più probabile che sia il vincitore) ha un valore di affidabilità diverso da zero. Tutti gli altri elementi hanno maggiori probabilità di essere perdenti e visualizzano lo 0%.
-
L’allocazione automatica inizia a mostrare un valore di affidabilità solo dopo che l’esperienza vincente avrà raccolto il 60% di affidabilità. Questi livelli di affidabilità vengono generalmente visualizzati in circa la metà del tempo necessario per il completamento di un normale test A/B (anche se questo intervallo di tempo non è garantito). Per determinare la durata di un normale test A/B, utilizzare il Adobe Target Calcolatore dimensioni campione: inserire il tasso di conversione del controllo in “Tasso di conversione di base”, “5%” per “Incremento” e 95% per “Affidabilità”. In genere, i valori di affidabilità iniziano a comparire dopo che ogni esperienza ha accumulato almeno il 50% dei campioni richiesti per esperienza. Questo ti dà un’idea di quando inizia a comparire la fiducia.
-
Se il rapporto presenta 0% per tutte le esperienze, è probabile che sia ancora troppo presto nel corso dell’attività.
Sono disponibili i badge “No Winner”, “Winner” e “star” per le attività Allocazione automatica che utilizzano Analytics come origine per la generazione di rapporti (A4T)?
I badge “Ancora nessun vincitore” e “Vincitore” non sono attualmente disponibili nel pannello A4T in Analysis Workspace. Questi badge non sono disponibili neanche se lo stesso report viene visualizzato in Target. Un badge vincitore “star” visualizzato in un report Target per un’attività Allocazione automatica tramite A4T deve essere ignorato.
Per ulteriori informazioni su questa e altre limitazioni e note, consulta Allocazione automatica in Supporto A4T per Attività di allocazione automatica e Attività di targeting automatico.