内容试验入门 get-started-experiment

什么是内容试验？

通过内容试验，您可以优化营销活动操作的内容。

试验是指于在线测试的背景下进行一组随机试验，这意味着一些随机选择的用户会接触到某个消息的给定变体，而另一组随机选择的用户则会接触到另一个变体。发送消息后，您可以对感兴趣的结果进行量度，例如电子邮件打开数或点击数。

为什么要运行试验？

通过试验，您可以确定造成量度有所提升的更改。如上图所示：一些随机选择的用户会接触到每个试验组，这意味着平均来看这些组将具有相同的特征。 因此，结果的任何差异都可以解释为是接收到的试验组不同所致，即，您能够在所做的更改与感兴趣的结果之间建立因果关系。

这使您能够在优化业务目标时做出由数据驱动的决策。

对于 Adobe Journey Optimizer 中的内容试验，您可以测试以下内容：

内容试验的工作原理是什么？ content-experiment-work

随机分配

在 Adobe Journey Optimizer 中进行内容试验时，会使用访客身份的伪随机哈希将目标受众中的用户随机分配至您定义的试验组。哈希机制可确保在访客多次进入同一营销活动时可以接收到相同的试验组。

更具体地说，MumurHash3 32 位算法用于将用户标识字符串哈希运算为 10,000 个存储段中的一个。在内容试验中，分配给每个试验组的流量各为 50% 意味着在存储段 1-5,000 中的用户将收到第一个试验组，而存储段 5,001-10,000 中的用户将收到第二个试验组。由于使用了伪随机哈希处理，因此您可能会发现访客并不是完全均等拆分；但是，拆分在统计上将等同于您的目标拆分百分比。

请注意，在通过内容试验配置每个营销活动时，您必须选择标识命名空间，从中将选择用户 ID 进行随机化演算。这独立于执行地址。

数据收集和分析

在分配时（即，在出站渠道中发送消息时，或用户在入站渠道中进入营销活动时），“分配记录”将被记录到相应的系统数据集。这将记录用户被分配到的试验组，以及试验和营销活动标识符。

目标量度可分为两个主要类别：

对于 Adobe Journey Optimizer 跟踪消息的直接目标量度，最终用户的响应事件会自动使用营销活动和试验组标识符进行标记，从而允许将响应量度与试验组直接关联。 了解有关跟踪的更多信息。

对于间接或“漏斗底部”目标（如购买），最终用户的响应事件不会使用营销活动和试验组标识符进行标记，即，在接触试验组后发生购买事件，该购买与先前的试验组分配没有直接关联。 对于这些量度，在以下情况下，Adobe 会将试验组与漏斗底部转化事件相关联：

然后，Adobe Journey Optimizer 会使用先进的“任意时间有效”统计方法来解释此原始报表数据，从而允许您解释试验报表。 有关详细信息，请参见此页面。

运行试验的提示

运行试验时，请务必遵循某些最佳实践。 以下是运行这些试验时的一些提示：

解释试验结果 interpret-results

本节介绍试验报告以及如何了解所呈现的各种统计量。

以下是解释内容试验结果的一些指南。

请注意，对结果的完整描述应考虑所有可用证据（即样本量、转化率、置信区间等），而不仅仅是能否得出结论。即使结果尚不具有结论性，仍然可能有令人信服的证据表明一个试验组与另一个试验组之间存在差异。

要了解统计计算，请参阅此页面。

1. 比较标准化量度 normalized-metrics

在比较两个试验组的效果时，您应始终比较标准化的量度，将每个试验组所涉及用户档案数量的任何差异考虑在内。

例如，如果将试验目标设置为​ 唯一打开数，并且向 10,000 个用户档案显示了给定的试验组，其中记录了 200 个唯一打开数，这表示​ 转化率 ​为 2%。对于非唯一量度（例如“打开数”量度），标准化量度显示为​ 基于每个用户档案的计数，而对于价格总计等连续量度，则标准化量度将显示为​ 基于每个用户档案的总计。

2. 关注置信区间 confidence-intervals

在用户档案的样本上进行试验时，观察到的给定试验组的转化率代表真实基础转化率的估计值。

例如，如果试验组 A 的​ 转化率 ​为 3%，而试验组 B 观察到的​ 转化率 ​为 2%，那么试验组 A 的表现比试验组 B 的更好吗？要回答这个问题，我们必须首先量化这些观察到的转化率中的不确定性。

置信区间有助于量化估计转化率中的不确定性水平，但较宽的置信区间意味着不确定性更大。随着试验中添加的用户档案越多，这些区间会变得越小，这代表估计更加精确。置信区间表示与观察数据兼容的转化率范围。

如果两个试验组的置信区间几乎不重叠，则意味着两个试验组的转化率不同。但是，如果两个试验组的置信区间之间存在大量重叠，那么两个试验组的转化率很可能相同。

Adobe 使用 95% 的“任意时间有效置信区间”或“置信序列”，这意味着在试验期间可以随时安全地查看结果。

3. 了解提升量 understand-lift

试验报告摘要显示​ 超过基线的提升量，这是衡量给定试验组转换率相对于基线的百分比增量的指标。精确地来说，它是给定试验组与基线之间的表现差异除以基线的表现所得出的百分比。

3. 了解置信度 understand-confidence

虽然您应该重点关注每个试验组表现的​ 置信区间，但 Adobe 还会显示置信度，置信度是一个用来度量有多少证据表明给定的试验组与基线试验组相同的概率指标。置信度越高，表明基线试验组和非基线试验组表现相同的假设越不成立。更准确地说，所显示的置信度是一种概率（以百分比表示），即如果实际中真实的基本转换率没有差异，我们会观察到给定试验组和基线之间的转换率差异较小。对于 p 值，显示的置信度为 1 - p 值。

Adobe 使用与上述置信序列一致的“任意时间有效”置信度和“任意时间有效”p 值。

4. 统计意义

运行试验时，如果假设给定的试验组和基线具有相同的真实基础转化率/表现，则极不可能观察到结果，该结果会被视为具有统计意义。

当置信度高于 95% 时，Adobe 认为试验具有结论性。

运行试验后要做什么

运行试验后，可以执行以下几个后续操作：