Aanbevolen procedures voor Journey Optimizer Experimentation Accelerator content-experiment-best-practices
Wat is een A/B-test?
A/B het testen is het proces om twee of meer versies van iets te vergelijken om te bepalen wat beter tegen een bepaald doel presteert.
Deelnemers worden willekeurig toegewezen aan één versie, een zogenaamde variant, en hun gedrag wordt bijgehouden. De resultaten laten zien of de ene versie de andere statistisch overtreft.
Belangrijke terminologie
Aanbevolen werkwijzen voor het uitvoeren van experimenten
-
Begin met een duidelijke hypothese
Een sterke hypothese omvat wat je verandert, wat je verwacht te gebeuren, en waarom.
Voorbeeld: wij geloven dat het veranderen van X Y wegens Z zal verhogen. -
bepaalt een zinvol metrisch succes
Kies metrisch die zich op uw bredere doelstellingen richt. Vermijd ‘ijdelheid’ metriek die er goed uitziet, maar die geen echte impact weerspiegelt.
-
Test één verandering in tijd (wanneer mogelijk)
Door variabelen te isoleren, kunt u de resultaten beter interpreteren. Als u meerdere wijzigingen tegelijk test, weet u wellicht niet wat het effect heeft veroorzaakt.
-
laat de test lang genoeg lopen
Voortijdige conclusies kunnen misleidend zijn. Wacht op een statistisch significante steekproefgrootte alvorens te handelen.
-
ben zich bewust van externe factoren
Seizoensgebondenheid, feestdagen en andere wijzigingen in uw omgeving kunnen de resultaten scheeftrekken. Documenteer alles wat het gedrag tijdens de test kan beïnvloeden.
-
de segmentatie van het Gebruik bewust
Als u de resultaten opsplitst per publiekssegment, worden verborgen patronen zichtbaar, maar worden kleine voorbeeldgrootten niet te veel geïnterpreteerd.
-
Document en deel lessen
Houd een duidelijk overzicht van wat werd getest, waarom, en wat u leerde. Dit bouwt institutionele kennis op en voorkomt herhalende fouten.
Algemene meetwaarden
Wat maakt een goed experiment?
Een goed experiment levert niet alleen een win-winsituatie op, maar levert ook een duidelijk, actief leren op.
Hier is wat om te zoeken:
&controleren; Statistisch Vertrouwen: Het verschil tussen de varianten is waarschijnlijk niet het gevolg van toeval.
&controleren; Uitlijning met Doelen: De primaire maatstaf weerspiegelt betekenisvolle vooruitgang in de richting van een bedrijfsdoelstelling.
&controleren; Secundaire Gevolgen: Geen significante negatieve bijwerkingen op gerelateerde metriek.
&controleren; Schaalbaarheid: Het resultaat kan toekomstige besluiten beïnvloeden of tot andere gebieden worden uitgebreid.
&controleren; Duidelijkheid: De oorzaak van de uitkomst is redelijk geïsoleerd en begrepen.
Experimentatie gaat niet alleen over het vinden van de “beste” versie, het gaat over het opbouwen van kennis door middel van testen en iteratie. Als het goed gaat, onthullen de experimenten inzichten die slimmere beslissingen, betere gebruikerservaring en betere resultaten stimuleren.
Voorbeeld:
-
Bedrijf: Hotelketen
-
Hypothese: Als we op de homepage een meer urgente taal gebruiken, zal dat leiden tot meer boekingen.
- Controle: Oorspronkelijke versie
- Variant: Nieuwe versie met urgentie toegevoegd
- Primair Metrisch: Boekingsfrequentie
- Secundaire Metriek: Stuitsnelheid, tijd op locatie
-
Resultaat: De variant gaf een ophaalsnelheid van 14%, zonder negatieve verandering in andere meetwaarden.
-
Actie: Overweeg de variant uit te voeren en vervolgexperimenten uit te voeren om vergelijkbare benaderingen op andere gebieden te testen.