解释自动分配报表

通过检查重要指标(包括提升度和置信度)来解释自动分配Adobe Target中A/B活动的结果。

许多营销人员会在结果指示明确的入选者之前,过早地错误宣布入选体验。现在,我们可使您更轻松地确定入选者。

注意

有关宣布入选者的一般信息,请参阅十种常见的A/B测试陷阱以及避免方法

确定入选体验

使用自动分配功能时,Target 会在活动页面的顶部显示一个标记,在活动达到最低转化次数,且具有足够的置信度之前,该标记会一直指示“还没有入选者”。

“没有入选者”标记

在宣布明确的入选者后,Target 会显示“入选者: 体验 X。”

注意

自动分配活动旨在从所有体验选项中找出最佳体验,而不仅仅是与控制体验进行两两比较。

自动分配的统计保证

在 A/B 活动结束时,自动分配会保证确定的入选者具有 5% 的有效误报率。这意味着确定的入选者实际不是所有活动体验中的最佳体验的概率仅为 5%。对于 A/A 测试(包含相同的体验),我们可以断定测试的误报率低于 5%。对于 A/A 测试(具有相同的体验),预期行为是无限期地运行,因此应该永远不会出现入选者标记。

自动分配不使用基于 p 值的置信度。

自动分配活动的“置信度”列(如下图所示)显示了在 1% 的误差范围(即,算法使用的最高转化率与第二高转化率之间的最低可检测效果为 1%)内某个体验成为入选者的概率。请注意,算法使用 Bernstein 不等式来计算此概率。

常规 A/B 测试将基于 p 值计算置信度。自动分配则不使用 p 值。p 值可“大致”计算出某个特定体验与控制体验存在差异的概率。这些 p 值只能用于确定体验是否与控制体验存在差异。这些值不能用于确定体验是否与其他体验(非控制体验)存在差异。

重要

Target在预定义的最低转化次数后显示入选者;但是,挑选入选者的最终决定应始终取决于Adobe Target 样本量计算器的结果。 Target不考虑网站的基本转化率以及输入计算器以确定活动持续时间的其他重要方面。 因此,Target可能会在最低转化次数的基础上提前显示入选者。 有关更多信息,请参阅样本量计算器

了解自动分配活动中的提升度和置信度报表

在自动分配活动中,第一个体验(默认情况下命名为体验A)始终在“报表”选项卡上被定义为“控制”体验。 在用于确定体验性能的建模中,此体验不会被视为真正的统计控制,但会将其视为报表中某些数字的参考或基线。

每次体验的“提升度”数值和95%范围始终会参考定义的“控制”体验来计算。 定义的“控制”体验不能具有相对于其自身的提升度,因此会为此体验报告空白的“ — ”值。 与A/B测试不同,在自动分配测试中,如果体验的性能低于定义的控制,则不会报告负提升值;而是显示“ — ”。

显示的置信区间栏表示围绕体验转化率平均估计值的95%置信区间。 这些体验还针对定义的“控制”体验进行了颜色编码。 “控制”体验的栏始终以灰色显示。 “控制”体验置信区间下方的置信区间部分以红色显示,“控制”体验上方的置信区间部分以绿色显示。

如果主要体验的95%置信区间与任何其他体验不重叠,则会找到入选者。 入选体验在体验名称的左侧和“入选者”横幅中会使用绿色星形标记进行指定。 当没有星形显示时,横幅会显示“还没有入选者”,并且尚未找到入选者。

在当前领先或入选体验旁边,也会报告“置信度”数字。 只有在领先体验的置信度达到至少60%时,才会报告此数字。 如果自动分配实验中恰好存在两个体验,则此数字表示该体验优于其他体验的置信水平。 如果自动分配实验中存在两个以上的体验,则此数字表示该体验比定义的“控制”体验表现更好的置信水平。 如果“控制”体验入选,则不会报告“置信度”数字。

常见问题解答

活动已经进行几天了。为何所有的置信度值仍显示为 0%?

所有活动在报表的“置信度”列显示 0% 的原因如下:

  • 手动 A/B 测试和自动分配使用不同的统计数据来显示置信度值。

    手动 A/B 测试使用的是基于 Student t 检验的 p 值。P 值是指在体验与控制体验之间找到观察到的差异(或更极端的差异)的概率(但实际上根本不存在这样的差异)。这些 P 值只能用于确定在给定体验与控制体验相同的情况下,观察到的数据是否一致。这些值不能用于确定体验是否与其他体验(非控制体验)存在差异。

    自动分配显示的是某个特定体验是所有活动体验中的入选者的真实性概率。这意味着只有入选体验(最有可能入选的体验)的置信度值将为非零数值。所有其他体验很有可能落选,因此将显示 0% 的置信度值。

  • 仅当入选体验达到 60% 的置信度后,自动分配才会开始显示置信度。这些置信水平通常会在常规A/B测试完成所需时间的一半左右(尽管这并不是保证的)时出现。 要确定常规A/B测试运行的时长,请使用样本量计算器:将控制体验的转化率插入“基线转化率”,将“5%”插入“提升度”,将95%插入“置信度”。 通常情况下,在每个体验达到其所需样本量的至少 50% 之后,置信度便会开始显示。这可使您了解置信度将从何时开始显示。

  • 如果报表中所有置信度值均显示为 0%,则有可能是进入活动的时间过早。

在此页面上