解释自动分配报告

通过检查重要指标(包括提升度和置信度),解释Adobe Target中自动分配 A/B活动的结果。

许多营销人员会在结果指示明确的入选者之前,过早地错误宣布入选体验。 Target使您更容易确定入选者。

有关声明入选者的一般信息,请参阅A/B测试常见的十个隐患以及如何避免它们。

确定入选的体验 section_24007470CF5B4D30A06610CE8DD23CE3

使用自动分配功能时,Target会在活动页面的顶部显示一个标记,在活动达到最低转化次数,且具有足够的置信度之前,该标记会一直指示“还没有入选者”。

“没有入选者”标记

在宣布明确的入选者后,Target会显示“入选者:体验​X”徽章。

入选者徽章

NOTE
自动分配活动旨在从所有选项中找出最佳体验,而不只是与控制体验进行成对比较。

自动分配的统计保证 section_7AF3B93E90BA4B80BC9FC4783B6A389C

在A/B活动结束时,自动分配可确保确定的入选者的有效误报率为5%。 这意味着确定的入选者实际不是所有活动体验中的最佳体验的概率仅为 5%。 对于A/A测试 (具有相同的体验),Target结束测试的时间不到5%。 对于 A/A 测试(具有相同的体验),预期行为是无限期地运行,因此应该永远不会出现入选者标记。

Target没有对自动分配使用基于p值的置信度。

自动分配活动中的置信度列显示体验成为入选者的概率,误差为1%。 该算法在最佳和次最佳转化率之间使用1%的最小可检测效果。 算法使用Bernstein不等式来计算此概率。

常规 A/B 测试将基于 p 值计算置信度。 自动分配不使用p值。 p 值可“大致”计算出某个特定体验与控制体验存在差异的概率。 这些 p 值只能用于确定体验是否与控制体验存在差异。 这些值不能用于确定体验是否与其他体验(非控制体验)存在差异。

IMPORTANT
Target在预定义的最小转化次数后显示入选者;但是,最终决定挑选入选者应始终基于Adobe Target样本量计算器的结果。 Target不考虑站点的基本转化率以及输入计算器以确定活动持续时间的其它重要方面。 因此,根据最低转化次数,Target可能显示比保修更早的入选者。 有关详细信息,请参阅样本量计算器。

了解自动分配活动中的提升和置信度报表 lift-confidence

在自动分配活动中,第一个体验(默认情况下名为体验A)始终在报表选项卡上定义为“控制”体验。 在用于确定体验性能的建模中,此体验不会被视为真正的统计控制,而是会被视为报表中某些数字的参考或基准。

每次体验的“提升度”数值和95%界限都是根据定义的“控制”体验来计算的。 定义的“控制”体验无法具有相对于自身的提升,因此将报告此体验的空白“ — ”值。 与A/B测试不同,在自动分配测试中,如果体验的执行效果比定义的控制差,则不会报告提升度为负值,而是显示“ — ”。

显示的置信区间条表示体验转化率平均估计值的95%置信区间。 这些栏也按照定义的“控制”体验进行了颜色编码。 “控制”体验的栏始终为灰色。 置信区间在“控制”体验的置信区间之下的部分显示为红色,而置信区间在“控制”体验之上的部分显示为绿色。

当领先体验的95% 置信区间与任何其他体验不重叠时,将找到入选者。 入选体验会在体验名称左侧和“入选者”横幅中指定绿色星形标记。 如果没有可见星标,横幅会显示“还没有入选者”,并且尚未找到入选者。

当前领先或入选的体验旁边也会报告“置信度”数字。 此数字仅报告到领先体验的置信度达到至少60%为止。 如果自动分配活动中存在两个体验,则此数字表示该体验的执行效果优于其他体验的置信水平。 如果自动分配活动中存在两个以上的体验,则此数字表示该体验比定义的“控制”体验表现更好的置信水平。 如果“控制”体验获胜,则不会报告“置信度”数字。

常见问题解答 section_C8E068512A93458D8C006760B1C0B6A2

请仔细研究下列常见问题解答:

这个活动已经进行了几天。 为何所有置信度值仍显示0%?

所有活动在报表的“置信度”列显示 0% 的原因如下:

  • 手动A/B测试和自动分配使用不同的统计信息来显示置信度值。

    手动A/B测试使用基于Welch的t测试的p值。 P 值是指在体验与控制体验之间找到观察到的差异(或更极端的差异)的概率(但实际上根本不存在这样的差异)。 这些 P 值只能用于确定在给定体验与控制体验相同的情况下,观察到的数据是否一致。 这些值不能用于确定体验是否与其他体验(非控制体验)存在差异。

    自动分配显示给定体验成为活动中所有体验的真正入选者的概率。 只有获胜的体验(最有可能成为获胜者)具有非零置信值。 其他所有人最有可能是输家,显示为0%。

  • 自动分配仅在入选体验获得60%的置信度后才开始显示置信度。 这些置信度级别通常出现在正常A/B测试完成所需时间的大约一半的时间中(但不保证会超过此时间范围)。 要确定常规A/B测试运行的时长,请使用Adobe Target 样本量计算器:将控制体验的转化率插入“基准转化率”,将“5%”插入“提升度”,并将95%插入“置信度”。 通常情况下,在每个体验达到其所需样本量的至少 50% 之后,置信度便会开始显示。 这可以让您了解何时开始出现信心。

  • 如果报表中所有置信度值均显示为 0%,则有可能是进入活动的时间过早。

对于使用Analytics作为报表源 (A4T)的自动分配活动,是否有“无入选项目”、“入选项目”和“星标”徽章可用?

“尚未有入选者”和“入选者”徽章当前在Analysis Workspace的A4T面板中不可用。 如果在Target中查看了同一报告,则这些徽章也将不可用。 使用A4T的自动分配活动的Target报表中显示的入选者“星级”徽章应当被忽略。

有关此以及其他限制和注释的更多信息,请参阅自动分配和自动定位活动​的 A4T支持自动分配。

recommendation-more-help
target-help-main