试验性面板

通过​ 试验 ​面板,分析师可以比较不同的用户体验、营销或消息传递方面的变化,以确定哪一种最能推动特定结果。您可以从任何试验平台评估任何 A/B 试验的提升度和置信度:在线、离线、来自 Target 或 Adobe Journey Optimizer 等 Adobe 解决方案、甚至是 BYO(自带)数据。

详细了解Adobe Customer Journey Analytics与Adobe Target之间的集成

访问控制 access

试验面板可供所有Customer Journey Analytics用户使用。 不需要管理员权限或其他权限。但是,设置流程中(下面的步骤 1 和 2)需要只有管理员才能执行的操作。

计算指标中新增了函数 functions

添加了两个新的高级函数:提升和置信度。有关详细信息,请参阅参考 - 高级函数

步骤 1:创建与试验数据集的连接 connection

推荐的数据架构将试验数据放在一个对象数组中,该数组在两个单独的维度中包含试验数据和变体数据。 两个维度都必须位于​ 单个 ​对象数组中。 如果您的试验数据位于单个维度中(试验数据和变体数据位于分隔字符串中),则可以在数据视图中使用子字符串设置将该维度一分为二以用于面板中。

在Adobe Experience Platform中引入试验数据后,在Customer Journey Analytics中创建与一个或多个试验数据集的连接。

步骤 2:在数据视图中添加上下文标签 context-labels

在Customer Journey Analytics数据视图设置中,管理员可以将上下文标签添加到维度或量度,并且Customer Journey Analytics服务(如试验面板)可以使用这些标签。 试验面板使用两个预定义标签:

  • 试验试验
  • 试验变体

在包含试验数据的数据视图中,选择两个维度,一个包含试验数据,另一个包含变量数据。然后用​ 试验 ​和​ 变量 ​标签标注这些维度。

试验变体和试验变体的 上下文标签选项。

如果没有这些标签,则由于没有试验可使用,因此“试验”面板不工作。

步骤 3:配置试验面板 configure

  1. 在Customer Journey AnalyticsWorkspace中,将试验面板拖动到项目中。

Experiention面板拖入了一个项目。

IMPORTANT
如果尚未完成Customer Journey Analytics数据视图中的必要设置,则在可继续操作之前会收到此消息:“请配置数据视图中的试验维度和变体维度”。
  1. 配置面板输入设置。

    table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2
    设置 定义
    试验 向最终用户展示的一组体验变体,用于确定哪一种变体最好永久保留。 试验由两个或多个变量组成,其中一个变量视为控制变量。该设置预先填充了数据视图中已标记为​ 试验 ​标签的维度,以及过去 3 个月的试验数据。
    控制变量 最终用户体验中的两种或多种变化中的一种,并会为了确定更好的替代方案而对其进行比较。必须选择一个变量作为控制变量,并且只能将一个变量视为控制变量。 该设置预先填充了数据视图中已标记为​ 变量 ​标签的维度。此设置将会调出与此试验相关的变量数据。
    成功量度 用户正在与变量进行比较的一个或多个量度。可产生最理想的转化量度结果(最高或最低)的变量会成为某项试验中具有“最佳性能的变量”。最多可添加 5 个量度。
    标准化量度 运行测试的基础(人员、会话或事件)。 例如,测试可以比较几种变化的转换率,其中​ 转化率 ​会计为每个会话的​ 转化率 ​或每个人的​ 转化率
    日期范围 日期范围会根据为选定试验在Customer Journey Analytics中收到的第一个事件自动设置。 如果需要,可以将日期范围限制或扩展到更具体的时间范围。
  2. 单击​ 生成

第 4 步:查看面板输出 view

试验面板会返回一组丰富的数据和可视化图表,帮助您更好地了解试验的执行情况。在该面板顶部,提供了一个摘要行,用于提醒您选择的面板设置。在任何时候,您都可以通过单击右上角的编辑铅笔来编辑面板。

您还可以获得一份文本摘要,其中会指出试验是否具有结论性,并会总结结果。结论性基于统计显著性。(见下文“统计方法”)您可以看到具有最高提升和置信度的最佳性能变量的摘要数字。

对于您选择的每个成功量度,将显示一个自由格式表和一个转化率趋势。

试验输出显示一个自由格式表和一个转化率趋势。

线图给出了控制与控制变量性能:

显示控制与控制变量性能的折线图输出。

NOTE
此面板当前不支持分析 A/A 测试。

第 5 步:诠释结果 interpret

  1. 试验有结论:每次查看试验报告时,都会分析到目前为止在试验中积累的数据。 并且,当任意时间有效置信度超过​ 至少一个 ​变量的阈值95%时,将试验声明为“结论性”(当有两臂以上时,应用Benjamini-Hochberg校正,以校正多假设检验)。

  2. 最佳性能变量:当一项试验被宣布为具有结论性时,具有最高转化率的变量会被标记为“最佳性能变量”。请注意,此变量必须是控制变量或基线变量,或者是超过95%随时有效置信阈值的变量之一(应用Benjamini-Hochberg校正)。

  3. 转化率:显示的转化率是成功量度值与标准化量度值的比率。 请注意,如果量度不是二进制的(试验中的每个单位为1或0),该值有时可能大于1

  4. 提升:试验报告摘要显示超过基线的部分,这是对给定变量转换率超过基线的改进百分比的衡量。 精确地来说,它是给定变量与基线之间的性能差异除以基线的性能,并以百分比表示。

  5. 置信度:显示的随时有效置信度是一种概率度量,可表明有多少证据能够表明给定变量与控制变量相同。 置信度越高,表明支持控制变量和非控制变量具有相同性能的假设的证据越少。更准确地说,所显示的置信度是一种概率(以百分比表示),即如果实际中真实的基本转化率没有差异,您会观察到给定变量和对照之间的转化率差异较小。 就 p 值而言,显示的置信度为1-p-值。

NOTE
对结果的完整描述应考虑所有可用证据(例如试验设计、样本量、转化率、置信度等),而不仅仅是宣布是否具有结论性。 即使结果尚未具有结论性,仍可以有令人信服的证据表明一个变量与另一个变量不同(例如,置信区间几乎不重叠)。 理想情况下,所有统计证据,在连续范围内解释,都应为决策提供依据。

Adobe 的统计方法 statistics

为了提供易于解释且安全的统计推断,Adobe 采用了基于随时有效置信序列(Anytime Valid Confidence Sequences)的统计方法。

置信序列是置信区间的​ 连续 ​模拟。 为了理解置信序列的含义,请设想对每个进入试验的新用户​ 重复100次实验的情况,并计算平均业务量度(例如电子邮件的打开率)的估计值及其相关的95%置信序列。

95%置信度序列包括您运行的100次实验中的95次实验中业务量度的“真”值。 (每个试验只能计算一次95%置信区间,以提供相同的95%覆盖率保证;而不是针对每个新用户)。 因此,通过使用置信序列,您可以连续监控试验,而不会增加误报错误率,即这些序列允许“窥视”结果。

解释非随机维度 non-randomized

Customer Journey Analytics允许分析人员选择任何维度作为“试验”。 但是,当选择的实验维度不是随机人员的维度时,您如何解释该分析?

例如,以用户看到的广告为例。 如果您决定向人员显示“广告B”而不是“广告A”,则您可能有兴趣衡量某些量度的变化(例如,平均收入)。 显示广告B代替广告A的因果关系对于做出营销决策至关重要。 这种因果关系可以通过测量整个群体的平均收入来衡量,如果您使用显示广告B的替代策略来替换显示广告A的现状。

A/B测试是行业内客观衡量此类干预效果的黄金标准。 A/B测试产生因果估计的关键原因是,接收可能变体之一的人员随机化。

现在,考虑一个不是通过随机化实现的维度,例如,人的美国状态。 假设人员主要来自两个州:纽约和加利福尼亚。 由于地区天气差异,冬衣品牌在两个州的平均销售收入可能有所不同。 在这种情况下,天气可能是冬季服装销售背后的真正因果因素,而不是人的地理状态不同这一事实。

通过Customer Journey Analytics中的“试验”面板,可按人员的各个状态的平均收入差异分析数据。 在这种情况下,产出没有因果解释。 然而,这种分析可能仍然有意义。 它提供了按各州划分的平均收入差异的估计(以及不确定性的衡量标准)。 此值也称为“统计假设检验”。 此分析的输出可能很有趣,但不一定可操作,因为您没有,有时也无法将人员随机化为维度的可能值之一。

下图比较了这两种情况:

显示观察数据和随机试验的图表。

如果想衡量干预措施X对结果Y的影响,那么两者真正的原因可能是混淆因素C。如果数据不是通过X上的随机化实现的,影响更难测量,并且分析明确说明了C。随机化打破了X对C的依赖,让我们不必担心其他变量就可以测量X对Y的影响。

在试验面板中使用计算量度

请参阅这篇博客帖子,了解有关在“试验”面板🔗中使用派生量度的的信息。

recommendation-more-help
080e5213-7aa2-40d6-9dba-18945e892f79