Interpretare i rapporti di allocazione automatica
Interpretare i risultati di un'attività A/B Auto-Allocate in Adobe Target esaminando indicatori importanti, inclusi incremento e affidabilità.
Molti addetti al marketing commettono l’errore di dichiarare un’esperienza vincente prima che i risultati indichino chiaramente quale sia l’esperienza migliore. Target facilita la determinazione del vincitore.
Per informazioni generali sulla dichiarazione di un vincitore, consulta Dieci insidie frequenti per i test A/B e come evitarle.
Identificare l’esperienza vincente section_24007470CF5B4D30A06610CE8DD23CE3
Quando si utilizza la funzione Auto-Allocate, Target visualizza un badge nella parte superiore della pagina dell'attività che indica "Ancora nessun vincitore" finché l'attività non raggiunge il numero minimo di conversioni con sufficiente affidabilità.
Quando viene dichiarata l'esperienza migliore, Target visualizza la scritta "Vincitore: esperienza X".
Garanzie statistiche di Allocazione automatica section_7AF3B93E90BA4B80BC9FC4783B6A389C
Al termine di un'attività A/B, Auto-Allocate garantisce che il vincitore determinato abbia un tasso di falso positivo effettivo del 5%. Questo significa che solo per il 5% del tempo, il vincitore determinato non è in realtà la migliore esperienza tra tutte le esperienze nell'attività. Per un test A/A (con esperienze identiche), Target conclude un test per meno del 5% del tempo. Il comportamento previsto per un test A/A (con esperienze identiche) è l'esecuzione indefinita e quindi il badge del vincitore non dovrebbe mai apparire.
Target non utilizza l'affidabilità basata sul valore p per Auto-Allocate.
La colonna Confidence in un'attività Auto-Allocate (illustrata di seguito) visualizza la probabilità che un'esperienza sia il vincitore entro l'1% di margine di errore. L’algoritmo utilizza un effetto rilevabile minimo dell’1% tra i tassi di conversione migliori e quelli del secondo migliore. L'algoritmo utilizza la disuguaglianza di Bernstein per calcolare questa probabilità.
I test A/B normali calcolano l’affidabilità in base ai valori p. Auto-Allocate non utilizza valori p. I valori p calcolano “liberamente” la probabilità che una determinata esperienza sia diversa dal controllo. Questi valori p possono essere utilizzati solo per determinare se un’esperienza è diversa dal controllo. Questi valori non possono essere utilizzati per determinare se un'esperienza è diversa da un'altra esperienza (non controllo).
Comprendere il reporting di incremento e affidabilità nelle attività Auto-Allocate lift-confidence
Nelle attività di Auto-Allocate, la prima esperienza (per impostazione predefinita denominata Esperienza A) è sempre definita come esperienza di "controllo" nella scheda Reports. Questa esperienza non viene trattata come un vero e proprio controllo statistico nella modellazione utilizzata per determinare le prestazioni delle esperienze, ma viene trattata come un riferimento o una base per alcune figure nel rapporto.
Il valore numerico di "Incremento" e i limiti del 95% per ogni esperienza vengono sempre calcolati in riferimento all’esperienza di "Controllo" definita. L'esperienza "Controllo" definita non può avere un incremento relativo a se stessa, pertanto per questa esperienza viene segnalato un valore vuoto "—". A differenza dei test A/B, nei test Auto-Allocate, se un'esperienza funziona peggio del controllo definito, non viene segnalato un valore Lift negativo; viene invece visualizzato "—".
Le Confidence Interval barre visualizzate rappresentano l'intervallo di affidabilità del 95% intorno alla stima media del tasso di conversione di un'esperienza. Queste barre sono inoltre codificate in base al colore in relazione all’esperienza "Controllo" definita. La barra dell’esperienza "Controllo" è sempre di colore grigio. Le parti degli intervalli di affidabilità al di sotto dell’intervallo di affidabilità dell’esperienza "Controllo" sono di colore rosso, mentre le parti degli intervalli di affidabilità al di sopra dell’esperienza "Controllo" sono di colore verde.
Un vincitore si trova quando l'esperienza principale con Confidence Interval al 95% non si sovrappone ad altre esperienze. L’esperienza vincente è indicata da un contrassegno a stella verde a sinistra del nome dell’esperienza e nel banner "Vincitore". Quando non è visibile alcuna stella, sullo striscione si legge "Ancora nessun vincitore" e non è stato ancora trovato un vincitore.
Viene inoltre riportato un numero di "affidabilità" accanto all’esperienza attualmente leader o vincente. Questa cifra viene segnalata solo fino a quando Confidence dell'esperienza principale non raggiunge almeno il 60%. Se nell'attività Auto-Allocate sono presenti due esperienze, questo numero rappresenta il livello di affidabilità con cui l'esperienza sta ottenendo risultati migliori rispetto all'altra esperienza. Se nell'attività Auto-Allocate sono presenti più di due esperienze, questo numero rappresenta il livello di affidabilità con cui le prestazioni dell'esperienza sono migliori rispetto all'esperienza di "controllo" definita. Se l’esperienza "Controllo" sta vincendo, non viene segnalato alcun valore "Affidabilità".
Domande frequenti section_C8E068512A93458D8C006760B1C0B6A2
Considera le seguenti risposte alle domande frequenti:
Sono passati alcuni giorni dall’inizio dell’attività. Perché tutti i valori di affidabilità mostrano ancora lo 0%?
Uno dei motivi seguenti descrive il motivo per cui lo 0% viene visualizzato nella colonna Confidence del report per tutte le attività:
-
I test A/B manuali e Auto-Allocate utilizzano statistiche diverse per visualizzare i valori Confidence.
I test A/B manuali utilizzano valori p basati sul test t di Welch. Un valore p rappresenta la probabilità di trovare la differenza osservata (o una differenza maggiore) tra un’esperienza e il controllo, dato che in realtà non esiste una differenza simile. Questi valori p possono essere utilizzati solo per determinare se i dati osservati sono coerenti quando un’esperienza specifica e il controllo sono uguali. Questi valori non possono essere utilizzati per determinare se un'esperienza è diversa da un'altra esperienza (non controllo).
Auto-Allocate mostra la probabilità che una determinata esperienza sia un vero vincitore in tutte le esperienze dell'attività. Solo un’esperienza vincente (che è più probabile che sia il vincitore) ha un valore di affidabilità diverso da zero. Tutti gli altri elementi hanno maggiori probabilità di essere perdenti e visualizzano lo 0%.
-
Auto-Allocate inizia a mostrare un valore di affidabilità solo dopo che l'esperienza vincente avrà raccolto il 60% di affidabilità. Questi livelli di affidabilità vengono generalmente visualizzati in circa la metà del tempo necessario per il completamento di un normale test A/B (anche se questo intervallo di tempo non è garantito). Per determinare la durata di un normale test A/B, utilizzare il Adobe Target Calcolatore dimensioni campione: inserire il tasso di conversione del controllo in "Tasso di conversione di base", "5%" per "Incremento" e 95% per "Affidabilità". In genere, i valori di affidabilità iniziano a comparire dopo che ogni esperienza ha accumulato almeno il 50% dei campioni richiesti per esperienza. Questo ti dà un’idea di quando inizia a comparire la fiducia.
-
Se il rapporto presenta 0% per tutte le esperienze, è probabile che sia ancora troppo presto nel corso dell’attività.
Sono disponibili i badge "No Winner", "Winner" e "star" per le attività Auto-Allocate che utilizzano Analytics as the reporting source (A4T)?
I badge "Ancora nessun vincitore" e "Vincitore" non sono attualmente disponibili nel pannello A4T in Analysis Workspace. Questi badge non sono disponibili neanche se lo stesso report viene visualizzato in Target. Un badge vincitore "star" visualizzato in un report Target per un'attività Auto-Allocate tramite A4T deve essere ignorato.
Per ulteriori informazioni su questa e altre limitazioni e note, vedere Allocazione automatica nel supporto di A4T per Auto-Allocate e Auto-Target attività.