Journey Optimizer Experimentation Accelerator最佳实践 content-experiment-best-practices
什么是A/B测试？
A/B测试是比较两个或更多版本的东西以确定哪个版本比定义的目标表现更好的过程。
参与者会被随机分配给一个称为变体的版本，并会跟踪他们的行为。 结果将显示一个版本在统计上是否优于其他版本。
关键术语
运行试验的最佳实践
-
从明确的假设开始
一个强有力的假设包括您正在更改的内容、您预期发生的情况以及原因。
示例： 我们相信更改X将由于Z而增加Y。 -
定义有意义的成功量度
选择与您更宽泛的目标一致的量度。 避免使用看起来良好但未反映实际影响的“虚名”量度。
-
一次测试一个更改（如果可能）
隔离变量使得更易于准确地解释结果。 如果一次测试多个更改，您可能不知道导致该效果的原因。
-
让测试运行足够长
过早的结论可能会产生误导。 等待统计上显着的样本量后再采取行动。
-
了解外部因素
季节性、假期以及您环境中的其他更改可能会扭曲结果。 记录任何可能影响测试期间行为的内容。
-
认真使用分段
按受众区段划分结果可揭示隐藏的模式，但避免过度解释小样本大小。
-
文档并共享学习内容
清楚地记录测试的内容、原因以及您学到的内容。 这有助于建立机构知识，防止重复错误。
常用量度
怎样做一个好的实验？
一个好的实验不只产生一个胜利，它产生一个明确、可操作的学习。
以下是要查找的内容：
&；check； 统计置信度：变量之间的差异不太可能是偶然造成的。
&；check； 与目标的对齐方式：主要量度反映了向业务目标迈进的有意义的进展。
&；check； 次要影响：对相关量度没有显着的负面影响。
&；check； 可扩展性：结果可以为将来的决策提供信息或推广到其他领域。
&；check； Clarity：结果的原因被合理地隔离和理解。
试验不仅仅是寻找“最佳”版本，它还包括通过测试和迭代来构建知识。 如果一切顺利，实验将揭示推动更明智决策、更佳用户体验和改进结果的洞察力。
示例：
-
公司：连锁酒店
-
假设验证：如果在主页上使用更紧急的语言，将导致更多预订。
- 控件：原始版本
- 变体：已添加具有紧急性的新版本
- 主要指标：预订率
- 辅助量度：跳出率、网站逗留时间
-
结果：变体使预订率提升了14%，且其他量度没有负变化。
-
操作：考虑推出该变体并运行后续实验以在其他领域测试类似的方法。