Rapporten automatisch toewijzen interpreteren
De resultaten van een Auto-Allocate A/B-activiteit Adobe Target door belangrijke indicatoren te bestuderen , waaronder lift en vertrouwen .
Veel marketeers maken de fout om voortijdig een winnende ervaring te declareren voordat de resultaten de duidelijke winnaar aangeven. Target maakt het voor u gemakkelijker om de winnaar te bepalen.
Zie voor algemene informatie over het opgeven van een winnaar Tien gemeenschappelijke A/B-testvalkuilen en hoe deze te vermijden.
De winnende ervaring identificeren section_24007470CF5B4D30A06610CE8DD23CE3
Wanneer u de opdracht Auto-Allocate functie, Target toont een badge bij de bovenkant van de pagina van de activiteit erop wijst die "Geen Winner nog"tot de activiteit het minimumaantal omzettingen met voldoende vertrouwen bereikt.
Wanneer een duidelijke winnaar wordt uitgeroepen, Target toont "Winner: Experience X."
Statistische garanties voor automatische toewijzing section_7AF3B93E90BA4B80BC9FC4783B6A389C
Aan het einde van een A/B-activiteit Auto-Allocate garandeert dat de vastgestelde winnaar een effectief vals-positief percentage van 5% heeft. Dit betekent dat slechts 5% van de tijd de gekozen winnaar niet de beste ervaring is van alle ervaringen in de activiteit. Voor een A/A-test (met identieke ervaringen), Target een test afsluit die minder dan 5 % van de tijd bedraagt. Het verwachte gedrag voor een A/A test (met identieke ervaringen) is dat het voor onbepaalde tijd loopt en zodat zou de winnaar badge nooit moeten verschijnen.
Target gebruikt geen op p-waarde gebaseerd vertrouwen voor Auto-Allocate.
De Confidence kolom in een Auto-Allocate activiteit (zie hieronder) toont de waarschijnlijkheid dat een ervaring de winnaar is binnen 1% foutenmarge. Het algoritme gebruikt een minimum waarneembaar effect van 1% tussen de beste en de op één na beste omzettingspercentages. Het algoritme gebruikt Bernstein Inequality om deze waarschijnlijkheid te berekenen.
Normale A/B-tests berekenen het vertrouwen op basis van p-waarden. Auto-Allocate gebruikt geen p-waarden. P-waarden berekenen de waarschijnlijkheid dat een bepaalde ervaring verschilt van het besturingselement. Deze p-waarden kunnen slechts worden gebruikt om te bepalen of een ervaring van de controle zou kunnen verschillend zijn. Deze waarden kunnen niet worden gebruikt om te bepalen als een ervaring van een andere ervaring (niet controle) verschillend is.
Begrijp Lift en Vertrouwenrapportage in Auto-Allocate activiteiten lift-confidence
In Auto-Allocate activiteiten, wordt de eerste ervaring (door gebrek genoemd Ervaring A) altijd gedefinieerd als "Controle"ervaring op Reports tab. Deze ervaring wordt niet behandeld als een echte statistische controle in de modellering die wordt gebruikt om de prestaties van ervaringen te bepalen, maar wordt behandeld als een referentie of basislijn voor sommige cijfers in het rapport.
De numerieke waarde "Lift" en de 95%-grenzen voor elke ervaring worden altijd berekend op basis van de gedefinieerde ervaring "Control". De gedefinieerde ervaring met "Besturing" kan geen lift hebben ten opzichte van zichzelf, zodat een lege waarde "—" wordt gerapporteerd voor deze ervaring. In tegenstelling tot A/B tests, in Auto-Allocate tests, als een ervaring slechter presteert dan de bepaalde controle, wordt een negatieve waarde van de Lift niet gemeld; in plaats daarvan wordt "—" getoond.
De weergegeven Confidence Interval staven geven het 95 %-betrouwbaarheidsinterval weer rond de gemiddelde schatting van de omrekeningskoers van een ervaring. Deze balken hebben ook een kleurcodering voor de gedefinieerde ervaring "Besturing". De balk "Besturingservaring" is altijd grijs. De betrouwbaarheidsintervallen onder het betrouwbaarheidsinterval van de ervaring "Besturing" zijn rood van kleur en de betrouwbaarheidsintervallen boven de ervaring "Besturing" zijn groen van kleur.
Een winnaar wordt gevonden wanneer 95% van de toonaangevende ervaring Confidence Interval overlapt niet met andere ervaringen. De winnende ervaring wordt aangeduid met een groene sterrenbadge links van de ervaringsnaam en in de banner "Winner". Als er geen ster zichtbaar is, wordt op de banner ''Geen winnaar nog'' weergegeven en is er nog geen winnaar gevonden.
Er wordt ook een "Vertrouwensnummer" gerapporteerd naast de huidige leidende of winnende ervaring. Dit cijfer wordt alleen gerapporteerd tot de ervaring van de eerste Confidence ten minste 60% bereikt. Als er twee ervaringen zijn in de Auto-Allocate dit aantal is het betrouwbaarheidsniveau dat de ervaring beter presteert dan de andere ervaring. Als er meer dan twee ervaringen aanwezig zijn in de Auto-Allocate Deze waarde geeft het betrouwbaarheidsniveau weer dat de ervaring beter presteert dan de gedefinieerde ervaring bij "Besturing". Als de "Controle"ervaring het winnen is, wordt geen "Vertrouwen"cijfer gemeld.
Veelgestelde vragen section_C8E068512A93458D8C006760B1C0B6A2
Bekijk de volgende antwoorden op veelgestelde vragen:
Het is een paar dagen in de activiteit geweest. Waarom zijn alle betrouwbaarheidswaarden nog steeds 0%?
Om een van de volgende redenen wordt beschreven waarom 0% wordt weergegeven in het rapport Confidence kolom voor alle activiteiten:
-
Handmatige A/B-tests en Auto-Allocate verschillende statistieken gebruiken om weer te geven Confidence waarden.
Handmatige A/B-tests gebruiken p-waarden op basis van T-test van Welch. Een P-waarde is de waarschijnlijkheid om het waargenomen (of een meer extreme) verschil tussen een ervaring en de controle te vinden, aangezien er in werkelijkheid geen dergelijk verschil is. Deze P-waarden kunnen alleen worden gebruikt om te bepalen of waargenomen gegevens consistent zijn met een bepaalde ervaring en dat de controle hetzelfde is. Deze waarden kunnen niet worden gebruikt om te bepalen als een ervaring van een andere ervaring (niet controle) verschillend is.
Auto-Allocate toont de waarschijnlijkheid dat een bepaalde ervaring een echte winnaar zal zijn over alle ervaringen in de activiteit. Alleen een winnende ervaring (die waarschijnlijk de winnaar zal zijn) heeft een betrouwbaarheidswaarde die niet gelijk is aan nul. Alle andere zijn hoogstwaarschijnlijk verliezers en tonen 0%.
-
Auto-Allocate pas nadat de winnende ervaring 60 % vertrouwen heeft gewekt , begint men vertrouwen te tonen . Deze betrouwbaarheidsniveaus worden doorgaans weergegeven in ongeveer de helft van de tijd die een normale A/B-test nodig heeft om te voltooien (hoewel dit tijdsbestek niet is gegarandeerd). Om te bepalen hoe lang een normale A/B test zou lopen, gebruik Adobe Target Voorbeeldgroottecalculator: conversiesnelheid van de plug-in "Baseline conversion rate", "5%" voor "Lift" en 95% voor "Trust". Doorgaans begint de betrouwbaarheid te worden aangetoond nadat elke ervaring ten minste 50% van de vereiste monsters per ervaring heeft genomen. Dit geeft je een idee van wanneer vertrouwen begint te verschijnen.
-
Als het verslag over de hele linie 0% toont, is het waarschijnlijk te vroeg in de activiteit.
Zijn de "Geen Winner," "Winner,"en "ster"badges beschikbaar voor Auto-Allocate activiteiten die Analytics as the reporting source (A4T)?
De badges "Geen Winner nog" en "Winner" zijn momenteel niet beschikbaar in de A4T deelvenster in Analysis Workspace. Deze badges zijn ook niet beschikbaar als hetzelfde rapport wordt weergegeven in Target. Een winnares-"ster"-badge weergegeven in een Target verslag Auto-Allocate activiteit die A4T gebruikt zou moeten worden genegeerd.
Zie voor meer informatie over deze en andere beperkingen en opmerkingen Automatisch toewijzen in A4T-ondersteuning voor Auto-Allocate en Auto-Target activiteiten.