试验性面板

注意

此功能当前正在进行小范围测试

通过​试验​面板,分析师可以比较不同的用户体验、营销或消息传递方面的变化,以确定哪一种最能推动特定结果。您可以从任何试验平台来源评估任何 A/B 试验的提升和置信度:在线、离线、Adobe 解决方案、Adobe Journey Optimizer 甚至 BYO(自带)数据。

重要

如今,通过分析源连接器引入 Adobe Experience Platform 的 Adobe Analytics for Target (A4T) 数据​无法​在试验面板中分析。我们期待能够在 2023 年解决这一问题。

访问控制

试验面板可供所有 Customer Journey Analytics (CJA) 用户使用。不需要管理员权限或其他权限。但是,设置流程中(下面的步骤 1 和 2)需要只有管理员才能执行的操作。

步骤 1:创建与试验数据集的连接

推荐的数据架构将试验数据放在一个对象数组中,该数组在两个单独的维度中包含试验数据和变体数据。 如果将试验数据放在单个维度中,其中在一个字符串中分隔试验数据和变体数据,则可在数据视图中使用子字符串设置将这些数据一分为二以用于面板中。

在 Adobe Experience Platform 吸收您的试验数据后,在 CJA 中创建与一个或多个试验数据集的连接。

步骤 2:在数据视图中添加上下文标签

在 CJA 数据视图设置中,管理员可以向维度或量度添加上下文标签,并且 CJA 服务(如试验面板)可以使用这些标签。试验面板使用两个预定义标签:

  • 试验试验
  • 试验变体

在包含试验数据的数据视图中,选择两个维度,一个包含试验数据,另一个包含变量数据。然后用​试验​和​变量​标签标注这些维度。

上下文标签

如果没有这些标签,则由于没有试验可使用,因此“试验”面板不工作。

步骤 3:配置试验面板

  1. 在 CJA 工作区中,将试验面板拖动到项目中。

试验面板

重要

如果尚未完成 CJA 数据视图中的必要设置,则在可继续操作之前将收到此消息:“请配置数据视图中的试验维度和变体维度”。

  1. 配置面板输入设置。

    设置 定义
    试验 向最终用户展示的某项体验的一组变化,以确定哪一种体验最适合永久保存。试验由两个或多个变量组成,其中一个变量视为控制变量。该设置预先填充了数据视图中已标记为​试验​标签的维度,以及过去 3 个月的试验数据。
    控制变量 最终用户体验中的两种或多种变化中的一种,并会为了确定更好的替代方案而对其进行比较。必须选择一个变量作为控制变量,并且只能将一个变量视为控制变量。 该设置预先填充了数据视图中已标记为​变量​标签的维度。此设置将会调出与此试验相关的变量数据。
    成功量度 用户正在与变量进行比较的一个或多个量度。可产生最理想的转化量度结果(最高或最低)的变量会成为某项试验中具有“最佳性能的变量”。最多可添加 5 个量度。
    标准化量度 运行测试的基础(人,会话或事件)。例如,测试可以比较几种变化的转换率,其中​转化率​会计为每个会话的​转化率​或每个人的​转化率
    日期范围 根据 CJA 中接收到的对选定实验的第一次点击,自动设置日期范围。如果需要,可以将日期范围限制或扩展到更具体的时间范围。
  2. 单击​生成

第 4 步:查看面板输出

试验面板会返回一组丰富的数据和可视化图表,帮助您更好地了解试验的执行情况。在该面板顶部,提供了一个摘要行,用于提醒您选择的面板设置。在任何时候,您都可以通过单击右上角的编辑铅笔来编辑面板。

您还可以获得一份文本摘要,其中会指出试验是否具有结论性,并会总结结果。结论性基于统计显著性。(见下文“统计方法”)您可以看到具有最高提升和置信度的最佳性能变量的摘要数字。

对于每个选择的成功量度都将显示一个自由格式表和一个转化率趋势图。

试验输出

线图给出了控制与控制变量性能:

折线图输出

注意

此面板当前不支持分析 A/A 测试。

第 5 步:诠释结果

  1. 试验具有结论性:每次查看试验报告时,Adobe 都分析到目前为止已在试验中积累的数据,并将在​至少一个​变体的任意时间有效置信度超过 95% 这一阈值时宣称某个试验具有“结论性”(当有两臂以上时,将应用邦费罗尼校正以针对多重假设检验进行校正)。

  2. 最佳性能变量:当一项试验被宣布为具有结论性时,具有最高转化率的变量会被标记为“最佳性能变量”。请注意,该变量必须是对照变量或基准变量,或者是超过 95% 随时有效置信阈值的变量之一(应用 Bonferonni 校正)。

  3. 转换率:显示的转换率是成功量度值与标准化量度值的比率。注意,如果量度不是二进制的(实验中的每个单位为 1 或 0),这有时可能大于 1

  4. 提升:试验报告摘要显示超过基线的部分,这是对给定变量转换率超过基线的改进百分比的衡量。精确地来说,它是给定变量与基线之间的性能差异除以基线的性能,并以百分比表示。

  5. 置信度:所示的随时有效置信度是一种概率度量,可表明有多少证据能够表明给定变量与控制变量相同。置信度越高,表明支持控制变量和非控制变量具有相同性能的假设的证据越少。更准确地说,所显示的置信度是一种概率(以百分比表示),即如果实际中真实的基本转换率没有差异,我们会观察到给定变量和对照之间的转换率差异较小。就 p 值而言,显示的置信度为1-p-值。

注意

全面描述结果应考虑所有可获得的证据(如试验设计、样本量、转化率、置信度等),而不仅声明是否具有结论性。即使结果尚未具有“结论性”,仍可能有令人信服的证据(例如,置信区间几乎不重叠)表明一个变体与另一个变体不同。理想情况下,所有统计证据都应影响决策,并在一个连续的范围上诠释决策。

Adobe 的统计方法

为了提供易于解释且安全的统计推断,Adobe 采用了基于随时有效置信序列(Anytime Valid Confidence Sequences)的统计方法。

置信序列是置信区间的“顺序”模拟。为了理解置信序列的含义,请设想对​每个进入试验的新用户​重复 100 次实验的情况,并计算平均业务量度(例如电子邮件的打开率)的估计值及其相关的 95% 置信序列。

95% 置信度序列将包括您运行的 100 次实验中的 95 次实验中业务量度的“真”值。(每个试验只能计算一次 95% 置信区间,以提供相同的 95% 覆盖率保证;而不是计算每个新用户)。因此,通过使用置信序列,您可以连续监控试验,而不会增加假阳性错误率,即这些序列允许“窥视”结果。

计算量度中的新函数

新增了两个高级功能: 提升度 和 置信度. 有关更多信息,请参阅 引用 — 高级函数.

在此页面上