Aanbevolen procedures voor Journey Optimizer Experimentation Accelerator content-experiment-best-practices
Wat is een A/B-test?
A/B het testen is het proces om twee of meer versies van iets te vergelijken om te bepalen wat beter tegen een bepaald doel presteert.
Deelnemers worden willekeurig toegewezen aan één versie, een zogenaamde variant, en hun gedrag wordt bijgehouden. De resultaten laten zien of de ene versie de andere statistisch overtreft.
Belangrijke terminologie
Aanbevolen werkwijzen voor het uitvoeren van experimenten
-
Begin met een duidelijke hypothese
Een sterke hypothese omvat wat je verandert, wat je verwacht te gebeuren, en waarom.
Voorbeeld: wij geloven dat het veranderen van X Y wegens Z zal verhogen. -
bepaalt een zinvol metrisch succes
Kies metrisch die zich op uw bredere doelstellingen richt. Vermijd 'ijdelheid' metriek die er goed uitziet, maar die geen echte impact weerspiegelt.
-
Test één verandering in tijd (wanneer mogelijk)
Door variabelen te isoleren, kunt u de resultaten beter interpreteren. Als u meerdere wijzigingen tegelijk test, weet u wellicht niet wat het effect heeft veroorzaakt.
-
laat de test lang genoeg lopen
Voortijdige conclusies kunnen misleidend zijn. Wacht op een statistisch significante steekproefgrootte alvorens te handelen.
-
ben zich bewust van externe factoren
Seizoensgebondenheid, feestdagen en andere wijzigingen in uw omgeving kunnen de resultaten scheeftrekken. Documenteer alles wat het gedrag tijdens de test kan beïnvloeden.
-
de segmentatie van het Gebruik bewust
Als u de resultaten opsplitst per publiekssegment, worden verborgen patronen zichtbaar, maar worden kleine voorbeeldgrootten niet te veel geïnterpreteerd.
-
Document en deel lessen
Houd een duidelijk overzicht van wat werd getest, waarom, en wat u leerde. Dit bouwt institutionele kennis op en voorkomt herhalende fouten.
Algemene meetwaarden
Wat maakt een goed experiment?
Een goed experiment levert niet alleen een win-winsituatie op, maar levert ook een duidelijk, actief leren op.
Hier is wat om te zoeken:
&controle; Statistisch Vertrouwen: Het verschil tussen varianten is waarschijnlijk niet toe te schrijven aan toeval.
&controle; richt zich op Doelstellingen: primaire metrisch wijst op betekenisvolle vooruitgang naar een bedrijfsdoelstelling.
&controle; Secundaire Gevolgen: Geen significante negatieve nevengevolgen op verwante metriek.
&controle; Schaalbaarheid: Het resultaat kan toekomstige besluiten informeren of aan andere gebieden worden algemeen gemaakt.
&controle; Duidelijkheid: De oorzaak van het resultaat is redelijk geïsoleerd en begrepen.
Experimentatie gaat niet alleen over het vinden van de "beste" versie, het gaat over het opbouwen van kennis door middel van testen en iteratie. Als het goed gaat, onthullen de experimenten inzichten die slimmere beslissingen, betere gebruikerservaring en betere resultaten stimuleren.
Voorbeeld:
-
Bedrijf: De ketting van het hotel
-
Samenvatting: Als wij urgentere taal op de homepage gebruiken, zal het tot meer reserveringen leiden.
- Controle: Oorspronkelijke versie
- Variant: Nieuwe toegevoegde versie met urgentie
- Primair Metrisch: Het tarief van het boek
- Secundaire Metriek: Stuiteren tarief, tijd op plaats
-
Resultaat: De variant produceerde een 14% lift in boekingstarief, zonder negatieve verandering in andere metriek.
-
Actie: Overweeg het rollen van de variant en de lopende follow-up experimenten om gelijkaardige benaderingen op andere gebieden te testen.