解释自动分配报表

解释的结果 自动分配 中的A/B活动 Adobe Target 包括提升度和置信度在内的重要指标。

许多营销人员会在结果指示明确的入选者之前，过早地错误宣布入选体验。现在，我们可使您更轻松地确定入选者。

注意

有关声明入选者的一般信息，请参见 A/B测试常见的十个隐患以及如何避免它们.

确定入选的体验

使用自动分配功能时，Target 会在活动页面的顶部显示一个标记，在活动达到最低转化次数，且具有足够的置信度之前，该标记会一直指示“还没有入选者”。

“没有入选者”标记

在宣布明确的入选者后，Target 会显示“入选者: 体验 X。”

入选者图像

注意

自动分配活动旨在从所有体验选项中找出最佳体验，而不仅仅是与控制体验进行两两比较。

自动分配的统计保证

在 A/B 活动结束时，自动分配会保证确定的入选者具有 5% 的有效误报率。这意味着确定的入选者实际不是所有活动体验中的最佳体验的概率仅为 5%。对于 A/A 测试（包含相同的体验），我们可以断定测试的误报率低于 5%。对于 A/A 测试（具有相同的体验），预期行为是无限期地运行，因此应该永远不会出现入选者标记。

自动分配不使用基于 p 值的置信度。

自动分配活动的“置信度”列（如下图所示）显示了在 1% 的误差范围（即，算法使用的最高转化率与第二高转化率之间的最低可检测效果为 1%）内某个体验成为入选者的概率。请注意，算法使用 Bernstein 不等式来计算此概率。

常规 A/B 测试将基于 p 值计算置信度。自动分配则不使用 p 值。p 值可“大致”计算出某个特定体验与控制体验存在差异的概率。这些 p 值只能用于确定体验是否与控制体验存在差异。这些值不能用于确定体验是否与其他体验（非控制体验）存在差异。

重要

Target会在预定义的最小转化次数之后显示入选者；但是，入选者的最终决定应始终取决于的结果 Adobe Target 样本量计算器。 Target 不考虑站点的基本转化率以及用于确定活动持续时间的计算器中的其他重要方面。 因此，Target可能会根据最低转化次数显示比要求的更早的入选者。 有关更多信息，请参阅 样本量计算器.

了解自动分配活动中的提升和置信度报表

在自动分配活动中，第一个体验（默认情况下命名为体验A）始终在报表选项卡上定义为“控制”体验。 在用于确定体验性能的建模中，此体验不被视为真正的统计控制，而是被视为报告中某些数字的参考或基准。

每次体验的“提升”数值和95%界限都是根据定义的“控制”体验来计算的。 定义的“控制”体验不能具有相对于自身的提升，因此报告了该体验的空白“ — ”值。 与A/B测试不同，在自动分配测试中，如果体验的效果比定义的控制差，则不会报告提升度值为负，而是显示“ — ”。

显示的置信区间栏表示在体验转化率的平均估计值附近的95%置信区间。 这些体验还按照定义的“控制”体验进行了颜色编码。 “控制”体验的栏始终为灰色。 置信区间在“控制”体验的置信区间下方的部分被标记为红色，置信区间在“控制”体验上方的部分被标记为绿色。

当领先体验的95%置信区间与任何其他体验不重叠时，就会发现入选者。 入选体验会在体验名称左侧和“入选”横幅中指定绿色星形标记。 当没有可见星星时，横幅会显示“还没有入选者”，并且尚未找到入选者。

当前领先的或入选的体验旁边也会报告“置信度”数字。 此数字仅报告到主要体验的信赖度达到至少60%为止。 如果自动分配试验中恰好存在两个体验，则此数字表示该体验的执行效果优于其他体验的置信水平。 如果自动分配试验中存在两个以上的体验，则此数字表示该体验的执行效果优于定义的“控制”体验的置信水平。 如果“控制”体验获胜，则不会报告“置信度”数字。

常见问题解答

请仔细研究以下常见问题的答案：

活动已经进行几天了。为何所有的置信度值仍显示为 0%？

所有活动在报表的“置信度”列显示 0% 的原因如下：

  • 手动 A/B 测试和自动分配使用不同的统计数据来显示置信度值。

    手动A/B测试使用基于的p值 韦尔奇t检验. P 值是指在体验与控制体验之间找到观察到的差异（或更极端的差异）的概率（但实际上根本不存在这样的差异）。这些 P 值只能用于确定在给定体验与控制体验相同的情况下，观察到的数据是否一致。这些值不能用于确定体验是否与其他体验（非控制体验）存在差异。

    自动分配显示的是某个特定体验是所有活动体验中的入选者的真实性概率。这意味着只有入选体验（最有可能入选的体验）的置信度值将为非零数值。所有其他体验很有可能落选，因此将显示 0% 的置信度值。

  • 仅当入选体验达到 60% 的置信度后，自动分配才会开始显示置信度。这些置信度级别通常出现在正常A/B测试完成所需时间的大约一半的时间中（但这并不得到保证）。 要确定常规A/B测试运行的时长，请使用 Adobe Target 样本量计算器：将控制体验的转化率插入“基准转化率”，“5%”插入“提升度”，95%插入“置信度”。 通常情况下，在每个体验达到其所需样本量的至少 50% 之后，置信度便会开始显示。这可使您了解置信度将从何时开始显示。

  • 如果报表中所有置信度值均显示为 0%，则有可能是进入活动的时间过早。

对于使用 Analytics 作为报表源 (A4T) 的自动分配活动，是否有“无入选项目”、“入选项目”和“星标”徽章可用？

“还没有入选者”和“入选者”徽章当前在中不可用 A4T 面板位于 Analysis Workspace. 在以下位置查看同一报表时，这些徽章也将不可用： Target. 中显示的入选者“星”徽章 Target 报告 自动分配 使用A4T的活动应被忽略。

有关此限制以及其他限制和注释的更多信息，请参阅 自动分配 在 的A4T支持 自动分配 和 自动定位 活动.

在此页面上