自动分配 概述

上次更新: 2023-09-20

An 自动分配 中的活动 Adobe Target 可在两个或更多体验中标识一个入选者,并在测试继续运行和学习期间,自动为入选者重新分配更多流量以提高转化。

同时 创建A/B活动 使用三步引导式工作流,选择 自动分配到最佳体验 上的选项 定位 页面(步骤2)。

挑战

标准 A/B 测试具有一定的固有成本。您必须花费流量来衡量每个体验的性能,并通过分析找出入选体验。即使在您认识到某些体验的性能优于其他体验之后,流量分配仍保持不变。此外,要算出样本量也很复杂,并且活动必须运行其整个过程,然后才能对入选者执行操作。而且,确定的赢家仍然有可能不是真正的赢家。

解决方案: 自动分配

An 自动分配 活动可降低确定入选体验的成本和开销。 自动分配会监控所有体验的目标量度性能,并按比例将更多新参加者发送到高性能体验。同时,也会保留足够的流量来探索其他体验。即使活动仍在运行,您也可以看到该测试对结果带来的好处:优化与学习并行进行。

自动分配会逐渐将访客移到入选体验,而无需您等到活动结束才确定入选者。您可以更快地从提升度中受益,因为原本将被发送到不太成功的体验的活动参加者现在会看到潜在的入选体验。

中的正常A/B测试 Target 只显示挑战者与控制者的成对比较。 例如,如果某个活动具有体验:A、B、C和D,其中A是控制体验,则属于正常情况 Target A/B测试会比较A与B、A与C以及A与D。

在此类测试中,大多数产品包括 Target,使用 韦尔奇t检验 生成基于p值的置信度。 然后,使用该置信度值来确定挑战体验与控制体验之间是否存在足够的差异。但是, Target 不会自动执行查找“最佳”体验所需的隐式比较(B与C、B与D、C与D)。 因此,营销人员必须手动分析结果来确定“最佳”体验。

自动分配可执行各体验之间的隐式比较并得出“真实”入选者。测试中没有“控制”体验的概念。

自动分配 智能地为新访客分配体验,直到最佳体验的置信区间与任何其他体验的置信区间不重叠。 通常这个过程会产生误报,但 自动分配 使用的置信区间基于 Bernstein不等式 可弥补重复评估所产生的影响。 此时,就会有真正的赢家。 时间 自动分配 停止时,只要对到达页面的访客不存在实质性时间依赖性,则至少有95%的可能性会 自动分配 返回其真实响应不比入选体验的真实响应差1%(相对)的体验。

使用时间 自动分配 对比 A/B测试 或 Automated Personalization 活动

  • 如果您希望从一开始就优化活动并尽快确定入选体验,则使用​自动分配。通过更频繁地提供高性能体验,可以提高整体活动性能。
  • 使用标准 A/B测试 ,适用于要在优化网站之前表征所有体验的性能的情况。 A/B测试可帮助您对所有体验进行排名,而 自动分配 寻找表现最好的人,但并不保证表现较差的人会有所区别。
  • 使用 Automated Personalization 适用于希望优化算法具有最高复杂性的情况,例如根据个人用户档案属性构建预测的机器学习模型。 自动分配 查看体验的总体行为(与标准A/B测试类似),并且不区分访客。

的主要优势 自动分配

  • 保持 A/B 测试的严格性
  • 与手动 A/B 测试相比,能够更快地找到统计上显著的成功活动
  • 与手动 A/B 测试相比,能够实现更高的平均营销活动提升

术语

讨论时,以下术语将会很有用 自动分配:

多臂老虎机:多臂老虎机优化方法可在探索性学习与对该学习的利用之间实现平衡。

算法的工作原理

背后的总体逻辑 自动分配 包含累积数据的测量性能(如转化率)和置信区间。 与标准A/B测试不同,标准A/B测试在体验之间平均分配流量, 自动分配 更改体验之间的流量分配。

  • 80% 的访客会使用下面所述的智能逻辑进行分配。
  • 20%的访客被随机分配到所有体验,以适应不断变化的访客行为。

多臂老虎机方法会留出一些体验以供探索,同时又会利用性能良好的体验。更多的新访客会被分配到性能较好的体验,同时又保持能够对不断变化的情况做出反应。这些模型每小时至少更新一次,以确保模型可对最新数据做出反应。

随着越来越多的访客进入活动,有些体验开始变得较为成功,并且更多的流量也会被发送到成功的体验。系统会继续随机提供 20% 的流量以探索所有体验。如果某个性能较差的体验性能开始提升,则会增加为该体验分配的流量。或者,如果高性能活动的成功率下降,则会减少为该体验分配的流量。例如,如果某个事件使访客在您的媒体网站上查找不同的信息,或者您的零售网站上的周末销售产生了不同的结果。

下图显示了算法在具有四种体验(单击展开图)的测试过程中可能表现出的性能:

自动分配图像

该图显示了在确定明确的入选者之前,分配给每个体验的流量在活动生命周期的几个轮次中是如何变化的。

轮次 描述
预热轮 预热轮 (0):在预热轮期间,每个体验均会分配同等的流量,直到活动中的每个体验都至少具有 1,000 位访客和 50 次转化为止。
  • 体验 A=25%
  • 体验 B=25%
  • 体验 C=25%
  • 体验 D=25%
每个体验获得1,000位访客和50次转化后, Target 启动自动流量分配。 在这些轮次中会进行所有分配,且每轮会选取两个体验。
只有两个体验进入下一轮:D和C。
前进意味着这两种体验平均分配了80%的流量。另外两个体验会继续参与,但只有在新访客进入活动时,才会提供这两个体验,以用于随机分配20%的流量。
所有分配每小时更新一次(如上面 x 轴的轮次所示)。每轮结束后,会比较累计数据。
第 1 轮 第 1 轮:在本轮中,80% 的流量会分配给体验 C 和 D(各 40%)。20% 的流量会随机分配给体验 A、B、C 和 D(各 5%)。在本轮中,体验 A 展现良好性能。
  • 算法挑选出体验D进入下一轮,因为它具有最高的转化率(由每个活动的垂直比例尺表示)。
  • 算法还挑选出体验 A 进入下一轮,因为在其余三个体验中,它具有最高的 Bernstein 95% 置信区间上限。
体验 D 和 A 进入下一轮。
第 2 轮 第 2 轮:在本轮中,80% 的流量会分配给体验 A 和 D(各 40%)。20% 的流量会随机分配,也就意味着 A、B、C 和 D 各获得 5% 的流量。在本轮中,体验 B 展现良好性能。
  • 算法挑选出体验D进入下一轮,因为它具有最高的转化率(由每个活动的垂直比例尺表示)。
  • 算法还挑选出体验 B 进入下一轮,因为在其余三个体验中,它具有最高的 Bernstein 95% 置信区间上限。
体验 D 和 B 进入下一轮。
第 3 轮 第 3 轮:在本轮中,80% 的流量会分配给体验 B 和 D(各 40%)。20% 的流量会随机分配,也就意味着 A、B、C 和 D 各获得 5% 的流量。在本轮中,体验 D 继续展现良好性能,体验 C 的性能也不错。
  • 算法挑选出体验D进入下一轮,因为它具有最高的转化率(由每个活动的垂直比例尺表示)。
  • 算法还挑选出体验 C 进入下一轮,因为在其余三个体验中,它具有最高的 Bernstein 95% 置信区间上限。
体验 D 和 C 进入下一轮。
第 4 轮 第 4 轮:在本轮中,80% 的流量会分配给体验 C 和 D(各 40%)。20% 的流量会随机分配,也就意味着 A、B、C 和 D 各获得 5% 的流量。在本轮中,体验 C 展现良好性能。
  • 算法挑选出体验C进入下一轮,因为它具有最高的转化率(由每个活动的垂直比例尺表示)。
  • 算法还挑选出体验 D 进入下一轮,因为在其余三个体验中,它具有最高的 Bernstein 95% 置信区间上限。
体验 C 和 D 进入下一轮。
第 n 轮 第 n 轮:随着活动继续运行,高性能体验开始显现,并且此过程会一直持续到确定入选体验为止。如果具有最高转化率的体验的置信区间与任何其他体验的置信区间不重叠,则会将其标记为入选者。 A 徽章显示在入选活动的页面上 和 活动 列表。
  • 算法挑选出体验 C 作为明确的入选者.
此时,算法会将 80% 的流量分配给体验 C,而将 20% 的流量继续随机分配给所有体验(A、B、C 和 D)。体验 C 总共获得 85% 的流量。如果入选者的置信区间再次开始重叠(这种情况不太可能出现),算法会重新执行上述第 4 轮的行为。

重要信息:如果您在该过程中提早手动选择入选者,则将容易选择错误的体验。因此,最好的做法是一直等到算法确定入选体验为止。

注意

如果某个活动只有两个体验,则两个体验获得的流量相等,直到 Target 找到具有75%置信度的入选体验。 到那时,三分之二的流量会分配给入选者,三分之一分配给失败者。 之后,当体验达到95%的置信度时,90%的流量会分配给入选者,10%的流量会分配给失败者。 Target 始终将一些流量发送到“丢失”体验以避免最终误报(即保持一些探索)。

之后 自动分配 活动被激活,从Tar执行以下操作不允许获取用户界面:

  • 将“流量分配”模式切换为“手动”
  • 更改目标量度类型
  • 更改“”中的选项高级设置”面板

了解自动分配的工作方式

有关更多信息,请参阅 自动分配比手动测试产生测试结果更快和收入更高.

注意事项

在使用时,请考虑以下信息 自动分配:

此 自动分配 该功能仅对一个高级量度设置起作用: 增量计数并保持用户处于活动状态

不支持以下高级量度设置: 增量计数, 发布用户, 允许再次进入和递增计数、和 释放用户并阻止再次进入.

频繁回访的旧访客可能会夸大体验转化率。

如果查看体验 A 的访客经常回访并进行多次转化,则体验 A 的转化率 (CR) 会被人为地提高。将此结果与体验B进行比较,体验B中的访客发生转化,但不经常回访。 因此,体验A的CR看起来比体验B的CR更好,因此新访客更有可能分配到A而不是B。如果选择对每个参加者计数一次,则A的CR与B的CR可能相同。

如果旧访客是随机分配的,他们对转化率的影响更可能趋于均匀化。要减轻这种影响,可考虑将目标量度的计数方法更改为每位参加者仅计数一次。

区分性能较高的体验,而不区分性能较低的体验。

自动分配善于区分性能较高的体验(并找到入选者)。可能有些时候,您并没有充分区分性能较差的体验。

如果要在所有体验之间产生统计上的显着差异,您可能需要考虑使用手动流量分配模式。

时间相关(或上下文不同)的转化率可能会导致分配数量存在偏差。

在标准A/B测试中可以忽略的某些因素,因为它们同等影响所有体验,在 自动分配 活动。 算法易受观察到的转化率的影响。

下面列举了一些对体验性能产生不均等影响的因素:

  • 具有不同情境(时间、位置、性别等)相关性的体验。

    例如:

    • “狂热星期五”导致周五具有更高的转化率.
    • “Jump-start your Monday”周一的转化率更高。
    • “Gear up for a East-coast winter”(为东海岸的冬季做好准备)在东海岸或受冬季影响的地点提供了更高的转化率。

    使用具有不同上下文相关性的体验可能会使结果出现偏差 自动分配 测试,而不是在A/B测试中,因为A/B测试会分析较长时间的结果。

  • 可能由于信息的紧迫性而导致转化发生不同延迟的体验。

    例如,“七折促销今天截止”表示访客今天要进行转化,但“首次购买五折优惠”并不会产生这种紧迫感。

常见问题解答

在使用时,可查阅以下常见问题和答案 自动分配 活动:

是 目标分析 (A4T)支持 自动分配 活动?

是. 有关更多信息,请参阅自动分配和自动定位活动支持 A4T

是否会自动将旧访客重新分配给高性能体验?

否. 只会自动分配新访客。为了保护A/B测试的有效性,旧访客将继续看到其原始体验。

算法如何处理误报?

如果您一直等到入选标记显示,则算法可保证 95% 的置信度或 5% 的误报率。

时间 自动分配 是否开始分配流量?

活动中的所有体验都至少具有 1,000 位访客和 50 次转化后,算法才开始工作。

算法的利用程度如何?

80%的流量是通过以下方式提供的: 自动分配 20%的流量是随机提供的。 确定入选者后,80%的流量会流向该入选者,而所有体验仍会在该20%的流量中获取一些流量,包括入选体验。

是否会显示落选体验?

是. 多臂老虎机方法可确保至少保留 20% 的流量用于在所有体验中探索不断变化的模式或转化率。

如果活动的转化延迟时间较长,会出现什么情况?

只要所有要优化的体验都面临类似的延迟,其行为就与转化周期较快的活动相同。 但是,在流量分配过程开始之前,达到50次转化阈值需要更长的时间。

如何 自动分配 不同于 Automated Personalization?

自动个性化使用每位访客的配置文件属性来确定最佳体验。这样做不仅可以优化活动,还可以为该用户提供个性化活动。

自动分配另一方面,是一种A/B测试,可生成汇总入选体验(最受欢迎的体验,但不一定是每个访客最有效的体验)。

旧访客是否会夸大成功量度的转化率?

目前,逻辑倾向于快速转化或访问更频繁的访客,因为此类访客会暂时夸大其所属体验的整体转化率。 算法会不断自行调整,因此每次生成快照时转化率的提高程度都会被放大。如果网站获得大量回访访客,则这些访客的转化可能会导致其所属体验的整体转化率虚增。 旧访客很有可能会随机分配,在这种情况下,总体影响(增加的提升)会趋于均匀化。要减轻这种影响,可考虑将成功量度的计数方法更改为每位参加者仅计数一次。

使用时能否使用样本量计算器? 自动分配 来估算活动确定入选者所需的时间?

您可以使用现有的 Adobe Target 样本量计算器 以估计测试运行的时长。 (与传统A/B测试一样,如果您测试多个选件或多个转化量度/假设验证,请应用Bonferroni校正。) 该计算器专为传统的定界A/B测试而设计,仅提供估计值。 将计算器用于 自动分配 活动是可选的,因为 自动分配 为您宣布入选者。 您不需要挑选固定的时间点来查看测试结果。 提供的值在统计上始终有效。

内部 Adobe 实验发现以下内容:

  • 当恰好测试两个体验时, 自动分配 当体验之间的性能差异较大时,找到入选者的速度会比固定时间范围测试(即样本量计算器建议的时间范围)更快。 但是, 自动分配 当体验之间的性能差异较小时,可能需要额外的时间来识别入选者。 在这些情况下,固定时程测试通常会在没有统计上显着结果的情况下结束。
  • 当测试两个以上的体验时, 自动分配 当单个体验远远超过所有其他体验时,找到入选者的速度会比固定水平线测试(即样本量计算器建议的时间范围)更快。 当两个或多个体验都“入选”其他体验但彼此紧密匹配时, 自动分配 可能需要额外的时间来确定哪一种更优秀。 在这些情况下,固定范围测试通常会得出结论认为“入选”体验优于表现较差的体验,但未确定哪个体验更优秀。

我是否应该从删除性能不佳的体验 自动分配 活动来加速确定入选者的过程?

确实没有必要删除性能不佳的体验。 自动分配 自动更频繁地提供高性能的体验,较少地提供性能不佳的体验。 在活动中保留性能不佳的体验不会显着影响确定入选者的速度。

20% 的访客将被随机分配给所有体验。提供给性能不佳体验的流量很少(20%除以体验数量)。

能否在中途更改目标指标? 自动分配 活动?

Adobe 不建议您在活动中途更改目标指标。 虽然可在活动期间使用 Target UI 更改目标指标,但总是应开始新的活动。Adobe 无法保证在活动运行后更改其中的目标指标会发生什么情况。

此建议适用于使用 Target 或 Analytics (A4T) 作为报表源的自动分配、自动定位和自动个性化活动。

能否在自动分配活动期间更改报表源?

Adobe 不建议您在活动中途更改报表源。 尽管可以更改报表源(从 Target 到A4T或者相反的方式) Target UI,您应该始终启动新活动。 Adobe 无法保证在活动运行后更改其中的报表源时会发生什么情况。

此建议适用于使用 Target 或 Analytics (A4T) 作为报表源的自动分配、自动定位和自动个性化活动。

我可以使用 重置报表数据 选项 自动分配 活动?

使用 重置报表数据 选项 自动分配 不建议使用活动。 虽然它删除可见的报表数据,但此选项并不从 自动分配 模型。 不要使用 重置报表数据 选项 自动分配 活动,创建新活动并停用原始活动。 (本指引亦适用于 自动定位 和 Automated Personalization 活动。)

如何 自动分配 是否构建有关环境的模型?

自动分配 仅根据默认环境中记录的流量和转化行为构建模型。 默认情况下, 生产 是默认环境,但可以在中更改默认环境 Target (管理>环境)。

如果点击发生在其他(非默认)环境中,则根据默认环境中观察到的转化行为来分配流量。 该点击的结果(转化或非转化)会记录用于报告目的,但不会在 自动分配 模型。

选择其他环境时,报表会显示该环境的流量和转化率。 报表的默认选定环境是选定的帐户范围的默认环境。 无法为每个活动设置默认环境。

可以 自动分配 活动是否在测试过程中调整回看窗口以考虑随时间变化的趋势?

例如,活动是否可以考虑12月份来决定如何分配流量,而不是查看9月份的访客数据(测试开始的时间)?

不, 自动分配 考虑整个活动的表现。

如果获胜体验与访客在获得活动资格时看到的不同,那么 自动分配 是否向回访访客显示获胜体验?

自动分配 使用置顶决策的原因与以下原因相同 A/B测试 活动具有粘性。 流量分配仅适用于新访客。

培训视频

以下视频包含有关本文中所讨论概念的详细信息。

活动工作流 - 定位 (2:14) 教程徽章

以下视频包含有关设置流量分配的信息。

  • 为活动分配受众
  • 增加或减少流量
  • 选择流量分配方法
  • 在不同的体验之间分配流量

创建A/B测试(8:36) 教程徽章

以下视频演示了如何使用 Target 三步引导式工作流创建 A/B 测试。自动分配 对的讨论开始于4:45。

  • 在中创建A/B活动 Adobe Target
  • 使用手动拆分或自动流量分配来分配流量

在此页面上