Campaign Standard: A/B Testa leveranser som väntar medan vinnaren väljs

I den här artikeln beskrivs varför A/B-tester avslutas innan alla varianter levereras till mottagarna.

Beskrivning description

A/B Test-leveranserna i ett arbetsflöde konfigurerades för att skicka fem leveranser och välja en vinnare baserat på valda villkor. Sändningsloggarna visade dock statusen Väntande, medan användargränssnittet visar att en vinnare ("A") valdes och att den återstående publiken fick sina e-postmeddelanden. Denna diskrepans gav upphov till oro för huruvida alla avsedda mottagare fick sina meddelanden på rätt sätt.

Upplösning resolution

Orsaken till detta var att arbetsflödet har slutförts eller stoppats innan leveransen avslutats helt.

Meddelandena skickades och bearbetningen av svaren har startats, men eftersom leveransaktivitetens varaktighet bestäms av arbetsflödet stoppades bearbetningen mitt för alla inkluderade leveranser.

Det är viktigt att den här typen av arbetsflöde med A/B-testleveranser fortsätter att fungera tills mätvärdena är tillräckliga.

Detta beror på typen av A/B-provleveranser eftersom de har flera faser i flödet.

Till dess att alla meddelanden har bearbetats ska antingen bekräftad mottagen, öppen, studsad, klickad osv. leveransen inte stoppas.

Om kunden måste använda ett arbetsflöde för leveranser av A/B-tester, låt samma arbetsflöden köras oavbrutet, dvs. till exempel för en vecka.

Det skulle också vara bra att stagnera själva leveranserna och inte timhastigheten för meddelanden när A/B-testning är klar eller skapa ett separat arbetsflöde för varje leverans.