Beräkna självförtroende för Automatisk allokering av aktiviteter manuellt

Beskrivning description

Miljö

Adobe Target

Problem/symtom

Förtroendet för den automatiska allokeringsaktiviteten skiljer sig åt i målanvändargränssnittet och när den beräknas med exkl. för konfidensberäkning. Varför är det så?

Upplösning resolution

Automatisk allokering använder en annan konfidensräknare (baserad på Bernsteins gränser) jämfört med vanliga A/B-tester (där den räknare som du använde används, det vill säga p-värden som härleds från t-fördelningen).

De konfidensberäkningar som används av Automatisk allokering är mycket mer försiktiga än de som används i vanliga t-tester. Det görs för att kontrollera falskt positiva, dvs. förhindra oss från att tidigt fastställa att en arm är bättre än en annan när effekten vi ser beror på slumpmässighet.

Därför är klassisk t-test-baserad säkerhet > 93 %, men autoallokeringsförtroendet är mycket lägre. Den delas också i Översikt över automatisk fördelningdokument.

En konfidensnivå på 60 % krävs för automatisk allokering av aktiviteter som nämns här.