Rapporten Auto-Allocate interpreteren
- Onderwerpen:
- Auto-Allocate
Interpreteer de resultaten van een Auto-Allocate A/B-activiteit in Adobe Target door belangrijke indicatoren, zoals lift en vertrouwen, te onderzoeken.
Veel marketeers maken de fout om voortijdig een winnende ervaring te declareren voordat de resultaten de duidelijke winnaar aangeven. Met Target kunt u gemakkelijker bepalen wie de winnaar is.
Voor algemene informatie over het verklaren van een winnaar, zie gemeenschappelijke A/B testende valkuilen en hoe te om hen te vermijden.
De winnende ervaring identificeren
Wanneer u de functie Auto-Allocate gebruikt, geeft Target boven aan de pagina van de activiteit een symbool weer dat 'Geen winnaar nog' aangeeft, totdat de activiteit het minimale aantal conversies met voldoende vertrouwen bereikt.
Wanneer een duidelijke winnaar wordt verklaard, Target toont de "Winner: Ervaring X"badge.
NOTEStatistische garanties van Auto-Allocate
Aan het einde van een A/B-activiteit garandeert Auto-Allocate dat de bepaalde winnaar een effectief fout-positief percentage van 5% heeft. Dit betekent dat slechts 5% van de tijd de gekozen winnaar niet de beste ervaring is van alle ervaringen in de activiteit. Voor een test A/A(met identieke ervaringen), Target concludeert een test minder dan 5% van de tijd. Het verwachte gedrag voor een A/A test (met identieke ervaringen) is dat het voor onbepaalde tijd loopt en zodat zou de winnaar badge nooit moeten verschijnen.
Target gebruikt geen op p-waarde gebaseerde betrouwbaarheid voor Auto-Allocate .
De kolom Confidence in een Auto-Allocate -activiteit geeft de kans weer dat een ervaring de winnaar is binnen de foutmarge van 1%. Het algoritme gebruikt een minimum waarneembaar effect van 1% tussen de beste en de op één na beste omzettingspercentages. Het algoritme gebruikt ongelijkheid van Bernsteinom deze waarschijnlijkheid gegevens te verwerken.
Normale A/B-tests berekenen het vertrouwen op basis van p-waarden. Auto-Allocate gebruikt geen p-waarden. P-waarden berekenen de waarschijnlijkheid dat een bepaalde ervaring verschilt van het besturingselement. Deze p-waarden kunnen slechts worden gebruikt om te bepalen of een ervaring van de controle zou kunnen verschillend zijn. Deze waarden kunnen niet worden gebruikt om te bepalen als een ervaring van een andere ervaring (niet controle) verschillend is.
IMPORTANTDe rapportage van optillen en vertrouwen in Auto-Allocate -activiteiten begrijpen
Bij Auto-Allocate -activiteiten wordt de eerste ervaring (standaard Ervaring A genoemd) altijd gedefinieerd als een 'Controle'-ervaring op het tabblad Reports . Deze ervaring wordt niet behandeld als een echte statistische controle in de modellering die wordt gebruikt om de prestaties van ervaringen te bepalen, maar wordt behandeld als een referentie of basislijn voor sommige cijfers in het rapport.
De numerieke waarde "Lift" en de 95%-grenzen voor elke ervaring worden altijd berekend op basis van de gedefinieerde ervaring "Control". De gedefinieerde ervaring met "Besturing" kan geen lift hebben ten opzichte van zichzelf, zodat een lege waarde "—" wordt gerapporteerd voor deze ervaring. In tegenstelling tot bij A/B tests, wordt bij Auto-Allocate tests, als een ervaring slechter dan de bepaalde controle uitvoert, een negatieve waarde van de Lift niet gemeld; in plaats daarvan wordt "—" getoond.
De weergegeven Confidence Interval balken geven het 95%-betrouwbaarheidsinterval weer rond de gemiddelde schatting van de conversiesnelheid van een ervaring. Deze balken hebben ook een kleurcodering voor de gedefinieerde ervaring "Besturing". De balk "Besturingservaring" is altijd grijs. De betrouwbaarheidsintervallen onder het betrouwbaarheidsinterval van de ervaring "Besturing" zijn rood van kleur en de betrouwbaarheidsintervallen boven de ervaring "Besturing" zijn groen van kleur.
Er wordt een winnaar gevonden wanneer de 95% Confidence Interval van de toonaangevende ervaring niet overlapt met andere ervaringen. De winnende ervaring wordt aangeduid met een groene sterrenbadge links van de ervaringsnaam en in de banner "Winner". Als er geen ster zichtbaar is, wordt op de banner ''Geen winnaar nog'' weergegeven en is er nog geen winnaar gevonden.
Er wordt ook een "Vertrouwensnummer" gerapporteerd naast de huidige leidende of winnende ervaring. Dit cijfer wordt alleen gerapporteerd als de Confidence -ervaring van de regelaar ten minste 60% bereikt. Als de Auto-Allocate -activiteit twee ervaringen bevat, geeft dit getal het betrouwbaarheidsniveau aan dat de ervaring beter presteert dan de andere. Als de Auto-Allocate -activiteit meer dan twee ervaringen bevat, geeft dit getal het betrouwbaarheidsniveau aan dat de ervaring beter presteert dan de gedefinieerde 'Ctrl'-ervaring. Als de "Controle"ervaring het winnen is, wordt geen "Vertrouwen"cijfer gemeld.
Veelgestelde vragen
Bekijk de volgende antwoorden op veelgestelde vragen:
Het is een paar dagen in de activiteit geweest. Waarom zijn alle betrouwbaarheidswaarden nog steeds 0%?
Om een van de volgende redenen wordt beschreven waarom 0% wordt weergegeven in de kolom Confidence van het rapport voor alle activiteiten:
-
Handmatige A/B-tests en Auto-Allocate gebruiken verschillende statistieken om Confidence -waarden weer te geven.
De handmatige A/B tests gebruiken p-waarden die op worden gebaseerd t-test van het Welch. Een P-waarde is de waarschijnlijkheid om het waargenomen (of een meer extreme) verschil tussen een ervaring en de controle te vinden, aangezien er in werkelijkheid geen dergelijk verschil is. Deze P-waarden kunnen alleen worden gebruikt om te bepalen of waargenomen gegevens consistent zijn met een bepaalde ervaring en dat de controle hetzelfde is. Deze waarden kunnen niet worden gebruikt om te bepalen als een ervaring van een andere ervaring (niet controle) verschillend is.
Auto-Allocate toont de waarschijnlijkheid dat een bepaalde ervaring een ware winnaar is over alle ervaringen in de activiteit. Alleen een winnende ervaring (die waarschijnlijk de winnaar zal zijn) heeft een betrouwbaarheidswaarde die niet gelijk is aan nul. Alle andere zijn hoogstwaarschijnlijk verliezers en tonen 0%.
-
Auto-Allocate begint pas vertrouwen te tonen nadat de winnende ervaring een betrouwbaarheid van 60% heeft verzameld. Deze betrouwbaarheidsniveaus worden doorgaans weergegeven in ongeveer de helft van de tijd die een normale A/B-test nodig heeft om te voltooien (hoewel dit tijdsbestek niet is gegarandeerd). Om te bepalen hoe lang een normale A/B test zou lopen, gebruik de Adobe Target calculator van de Grootte van de Steekproef: de conversie-tarief van de stop controle in "de omzettingssnelheid van de Basislijn,"5%"voor "Lift,"en 95% voor "Vertrouwen." Doorgaans begint de betrouwbaarheid te worden aangetoond nadat elke ervaring ten minste 50% van de vereiste monsters per ervaring heeft genomen. Dit geeft je een idee van wanneer vertrouwen begint te verschijnen.
-
Als het verslag over de hele linie 0% toont, is het waarschijnlijk te vroeg in de activiteit.
Zijn de badges "No Winner", "Winner" en "star" beschikbaar voor Auto-Allocate -activiteiten die Analytics as the reporting source (A4T) gebruiken?
De badges "Geen winnaar nog" en "Winner" zijn momenteel niet beschikbaar in het deelvenster A4T in Analysis Workspace . Deze badges zijn ook niet beschikbaar als hetzelfde rapport wordt weergegeven in Target . Een winnares-"star"-badge in een Target -rapport voor een Auto-Allocate -activiteit met A4T moet worden genegeerd.
Voor meer informatie over dit en andere beperkingen en nota's, zie auto-Wijsin steun A4T voor Auto-Allocate en Auto-Target activiteiten toe.