Campaign Standard: A/B Testleveringen die nog in behandeling zijn terwijl de winnaar is geselecteerd

In dit artikel wordt beschreven waarom een A/B-test wordt afgesloten voordat alle varianten aan de ontvangers worden geleverd.

Beschrijving description

De testleveringen van A/B in een werkstroom zijn zodanig opgezet dat vijf leveringen worden verzonden en dat een winnaar wordt gekozen op basis van geselecteerde criteria. In de verzendende logboeken wordt echter de status 'In behandeling' weergegeven, terwijl in de gebruikersinterface wordt getoond dat een winnaar ('A') is gekozen en dat het resterende publiek e-mails heeft ontvangen. Deze discrepantie gaf aanleiding tot bezorgdheid over de vraag of alle beoogde ontvangers hun berichten correct hebben ontvangen.

Resolutie resolution

De hoofdoorzaak hier had te maken met het feit dat de workflow is voltooid of gestopt voordat de levering volledig is voltooid.

De berichten werden verzonden en de verwerking van reacties is begonnen, maar aangezien de duur van de leveringsactiviteit door het werkschema wordt bepaald de verwerking halverwege voor alle inbegrepen leveringen stopte.

Het is belangrijk om dit type werkstroom met A/B testende leveringen te laten blijven werken tot de metriek bevredigend is.

Dit is te wijten aan de aard van de testleveringen van A/B, aangezien deze verschillende fasen in de stroom hebben.

Totdat alle berichten zijn verwerkt, moet de levering zelf niet worden gestopt. De berichten worden wel ontvangen, geopend, teruggestuurd, aangeklikt, enz.

Als de klant een werkschema voor A/B testleveringen moet gebruiken, laat de zelfde werkschema's voor onbepaalde tijd lopen, namelijk. bijvoorbeeld voor een week.

Het zou ook goed zijn om de leveringen zelf te spreiden en niet het uurtarief van berichten wanneer A/B het testen wordt gedaan of een afzonderlijke werkschema voor elk van die leveringen tot stand te brengen.