自动分配 概述

An 自动分配 中的活动 Adobe Target 在两个或更多体验中标识一个入选者，并在测试继续运行和学习期间，自动为入选者重新分配更多流量以提高转化。

在使用三步引导式工作流创建A/B活动时，您可以选择 自动分配到最佳体验 选项。

挑战

标准 A/B 测试具有一定的固有成本。您必须花费流量来衡量每个体验的性能，并通过分析找出入选体验。即使在您认识到某些体验的性能优于其他体验之后，流量分配仍保持不变。此外，要算出样本量也很复杂，并且活动必须运行其整个过程，然后才能对入选者执行操作。而且，确定的赢家仍有可能不是真正的赢家。

解决方案： 自动分配

自动分配可降低确定入选体验的成本和开销。自动分配会监控所有体验的目标量度性能，并按比例将更多新参加者发送到高性能体验。同时，也会保留足够的流量来探索其他体验。即使活动仍在运行，您也可以看到该测试对结果带来的好处：优化与学习并行进行。

自动分配会逐渐将访客移到入选体验，而无需您等到活动结束才确定入选者。您可以更快地从提升度中受益，因为原本将被发送到不太成功的体验的活动参加者现在会看到潜在的入选体验。

中的正常A/B测试 Target 只显示挑战者与控制者的成对比较。 例如，如果某个活动具有体验：A、B、C和D，其中A是控制体验，则属于正常体验 Target A/B测试会比较A与B、A与C以及A与D。

在此类测试中，大多数产品(包括 Target，使用 韦尔奇t检验 生成基于p值的置信度。 然后，使用该置信度值来确定挑战体验与控制体验之间是否存在足够的差异。但是， Target 不会自动执行查找“最佳”体验所需的隐式比较（B与C、B与D、C与D）。 因此，营销人员必须手动分析结果来确定“最佳”体验。

自动分配可执行各体验之间的隐式比较并得出“真实”入选者。测试中没有“控制”体验的概念。

自动分配 智能地为新访客分配体验，直到最佳体验的置信区间与任何其他体验的置信区间不重叠。 通常这个过程会产生误报，但是 自动分配 使用置信区间，其基础是 Bernstein不等式 以补偿反复的评估。 此时，出现了一个真正的赢家。 时间 自动分配 停止次数，只要对到达页面的访客没有明显的时间依赖性，则至少有95%的概率会出现 自动分配 返回其真实响应不比入选体验的真实响应差1%（相对）的体验。

何时使用 自动分配 与A/B或 Automated Personalization

• 如果您希望从一开始就优化活动并尽快确定入选体验，则使用​自动分配。通过更频繁地提供高性能体验，可以提高整体活动性能。
• 如果您希望在优化网站之前鉴定所有体验的性能，则使用标准 A/B 测试。A/B测试可帮助您对所有体验进行排名，而 自动分配 寻找表现最好的人，但并不保证表现较差的人会有所区别。
• 使用 Automated Personalization 适用于希望优化算法具有最高复杂性的情况，例如根据个人用户档案属性构建预测的机器学习模型。 自动分配 查看体验的总体行为（与标准A/B测试类似），并且不区分访客。

主要优势

• 保持 A/B 测试的严格性
• 与手动 A/B 测试相比，能够更快地找到统计上显著的成功活动
• 与手动 A/B 测试相比，能够实现更高的平均营销活动提升

术语

讨论以下术语时，将会很有用 自动分配：

多臂老虎机：多臂老虎机优化方法可在探索性学习与对该学习的利用之间实现平衡。

算法的工作原理

背后的整体逻辑 自动分配 包含累积数据的测量性能（如转化率）和置信区间。 与标准A/B测试不同，标准A/B测试的流量在体验之间均匀分配， 自动分配 更改体验之间的流量分配。

• 80% 的访客会使用下面所述的智能逻辑进行分配。
• 20% 的访客会在所有体验中随机分配，以适应不断变化的访客行为。

多臂老虎机方法会留出一些体验以供探索，同时又会利用性能良好的体验。更多的新访客会被分配到性能较好的体验，同时又保持能够对不断变化的情况做出反应。这些模型每小时至少更新一次，以确保模型可对最新数据做出反应。

随着越来越多的访客进入活动，有些体验开始变得较为成功，并且更多的流量也会被发送到成功的体验。系统会继续随机提供 20% 的流量以探索所有体验。如果某个性能较差的体验性能开始提升，则会增加为该体验分配的流量。或者，如果高性能活动的成功率下降，则会减少为该体验分配的流量。例如，如果某个事件使访客在您的媒体网站上查找不同的信息，或者您的零售网站上的周末销售产生了不同的结果。

下图显示了算法如何在包含四个体验的测试中执行运算：

该图显示了在确定明确的入选者之前，分配给每个体验的流量在活动生命周期的几个轮次中是如何变化的。

轮次	描述
	预热轮 (0)：在预热轮期间，每个体验均会分配同等的流量，直到活动中的每个体验都至少具有 1,000 位访客和 50 次转化为止。 体验 A=25% 体验 B=25% 体验 C=25% 体验 D=25% 在每个体验获得 1,000 位访客和 50 次转化后，Target 会开始自动分配流量。在这些轮次中会进行所有分配，且每轮会选取两个体验。 只有两个体验进入下一轮：D和C。 前进意味着这两种体验平均分配了80%的流量。另外两个体验会继续参与，但仅在新访客进入活动时作为20%随机流量分配的一部分提供。 所有分配每小时更新一次（如上面 x 轴的轮次所示）。每轮结束后，会比较累计数据。
	第 1 轮：在本轮中，80% 的流量会分配给体验 C 和 D（各 40%）。20% 的流量会随机分配给体验 A、B、C 和 D（各 5%）。在本轮中，体验 A 展现良好性能。 算法挑选出体验 D 进入下一轮，因为它具有最高的转化率（在每个活动的垂直比例尺上由 表示）。 算法还挑选出体验 A 进入下一轮，因为在其余三个体验中，它具有最高的 Bernstein 95% 置信区间上限。 体验 D 和 A 进入下一轮。
	第 2 轮：在本轮中，80% 的流量会分配给体验 A 和 D（各 40%）。20% 的流量会随机分配，也就意味着 A、B、C 和 D 各获得 5% 的流量。在本轮中，体验 B 展现良好性能。 算法挑选出体验 D 进入下一轮，因为它具有最高的转化率（在每个活动的垂直比例尺上由 表示）。 算法还挑选出体验 B 进入下一轮，因为在其余三个体验中，它具有最高的 Bernstein 95% 置信区间上限。 体验 D 和 B 进入下一轮。
	第 3 轮：在本轮中，80% 的流量会分配给体验 B 和 D（各 40%）。20% 的流量会随机分配，也就意味着 A、B、C 和 D 各获得 5% 的流量。在本轮中，体验 D 继续展现良好性能，体验 C 的性能也不错。 算法挑选出体验 D 进入下一轮，因为它具有最高的转化率（在每个活动的垂直比例尺上由 表示）。 算法还挑选出体验 C 进入下一轮，因为在其余三个体验中，它具有最高的 Bernstein 95% 置信区间上限。 体验 D 和 C 进入下一轮。
	第 4 轮：在本轮中，80% 的流量会分配给体验 C 和 D（各 40%）。20% 的流量会随机分配，也就意味着 A、B、C 和 D 各获得 5% 的流量。在本轮中，体验 C 展现良好性能。 算法挑选出体验 C 进入下一轮，因为它具有最高的转化率（在每个活动的垂直比例尺上由 表示）。 算法还挑选出体验 D 进入下一轮，因为在其余三个体验中，它具有最高的 Bernstein 95% 置信区间上限。 体验 C 和 D 进入下一轮。
	第 n 轮：随着活动继续运行，高性能体验开始显现，并且此过程会一直持续到确定入选体验为止。如果转化率最高的体验的置信区间与任何其他体验的置信区间不重叠，则会将其标记为入选者。 A 徽章显示在入选活动的页面上 和 活动 列表。 算法挑选出体验 C 作为明确的入选者 此时，算法会将 80% 的流量分配给体验 C，而将 20% 的流量继续随机分配给所有体验（A、B、C 和 D）。体验 C 总共获得 85% 的流量。如果入选者的置信区间再次开始重叠（这种情况不太可能出现），算法会重新执行上述第 4 轮的行为。 重要信息：如果您在该过程中提早手动选择入选者，则将容易选择错误的体验。因此，最好的做法是一直等到算法确定入选体验为止。

之后 自动分配 活动被激活，不允许从UI中进行以下操作：

• 将“流量分配”模式切换为“手动”
• 更改目标量度类型
• 更改“高级设置”面板中的选项

了解自动分配的工作方式

有关更多信息，请参阅 自动分配比手动测试产生测试结果更快和收入更高

注意事项

此 自动分配 该功能仅对一个高级量度设置起作用： 增量计数并保持用户处于活动状态

不支持以下高级量度设置： 增量计数， 发布用户， 允许再次进入和增量计数、和 释放用户并阻止再次进入.

频繁回访的访客可能会夸大体验转化率。

如果查看体验 A 的访客经常回访并进行多次转化，则体验 A 的转化率 (CR) 会被人为地提高。将此结果与体验B进行比较，体验B中的访客发生转化，但不常回访。 因此，体验A的CR看起来比体验B的CR要好，因此新访客更有可能分配到A而不是B。如果选择对每个参加者计数一次，则A的CR与B的CR可能相同。

如果旧访客是随机分配的，他们对转化率的影响更可能趋于均匀化。要减轻这种影响，可考虑将目标量度的计数方法更改为每位参加者仅计数一次。

区分性能较高的体验，而不区分性能较低的体验。

自动分配善于区分性能较高的体验（并找到入选者）。可能有些时候，您并没有充分区分性能较差的体验。

如果要在所有体验之间产生统计上的显着差异，可能需要考虑使用手动流量分配模式。

时间相关（或上下文不同）的转化率可能会导致分配数量存在偏差。

在标准A/B测试中可以忽略的某些因素，因为它们同等影响所有体验，在测试中无法忽略 自动分配 测试。 算法易受观察到的转化率的影响。下面列举了一些对体验性能产生不均等影响的因素：

• 具有不同情境（时间、位置、性别等）相关性的体验。

  例如：

  • “狂热星期五”导致周五具有更高的转化率
  • “美好一周从星期一开始”导致周一具有更高的转化率
  • “为东海岸的冬季做好准备”在东海岸或受冬季影响的地点提供了更高的转化率

使用具有不同上下文相关性的体验可能会使结果出现偏差 自动分配 与A/B测试相比，测试次数更多，因为A/B测试会分析较长时期的结果。

• 可能由于信息的紧迫性而导致转化发生不同延迟的体验。

  例如，“七折促销今天截止”表示访客今天要进行转化，但“首次购买五折优惠”并不会产生这种紧迫感。

常见问题解答

在使用时查询以下常见问题和答案 自动分配 活动：

Do 目标分析 (A4T)支持 自动分配 活动？

是. 有关更多信息，请参阅自动分配和自动定位活动支持 A4T。

是否会自动将旧访客重新分配给高性能体验？

否. 只会自动分配新访客。回访访客可继续查看其原始体验，以保护A/B测试的有效性。

算法如何处理误报？

如果您一直等到入选标记显示，则算法可保证 95% 的置信度或 5% 的误报率。

时间 自动分配 是否开始分配流量？

活动中的所有体验都至少具有 1,000 位访客和 50 次转化后，算法才开始工作。

算法的利用程度如何？

80%的流量通过以下方式提供： 自动分配 和20%的流量是随机提供的。 在确定入选者后，80% 的流量全都会分配给该体验，而 20% 的流量将继续分配给所有体验（包括入选体验）。

是否会显示落选体验？

是. 多臂老虎机方法可确保至少保留 20% 的流量用于在所有体验中探索不断变化的模式或转化率。

如果活动的转化延迟时间较长，会出现什么情况？

只要所有要优化的体验都面临类似的延迟，其行为就与转化周期较快的活动相同。 但是，在流量分配过程开始之前，需要更长的时间才能达到50次转化阈值。

如何 自动分配 不同于 Automated Personalization？

自动个性化使用每位访客的配置文件属性来确定最佳体验。这样做不仅可以优化活动，还可以为该用户提供个性化活动。

自动分配另一方面，是一种A/B测试，可生成汇总入选体验（最受欢迎的体验，但不一定是每个访客最有效的体验）。

旧访客是否会夸大成功量度的转化率？

目前，逻辑倾向于快速转化或访问更频繁的访客，因为此类访客会暂时夸大其所属体验的整体转化率。 算法会不断自行调整，因此每次生成快照时转化率的提高程度都会被放大。如果网站获得大量回访访客，则其转化可能会导致其所属体验的整体转化率虚增。 旧访客很有可能会随机分配，在这种情况下，总体影响（增加的提升）会趋于均匀化。要减轻这种影响，可考虑将成功量度的计数方法更改为每位参加者仅计数一次。

使用时能否使用样本量计算器？ 自动分配 来估算活动确定入选者所需的时间？

您可以使用现有的 Adobe Target 样本量计算器 以估计测试运行的时长。 （与传统A/B测试一样，如果您要测试两个以上的选件或多个转化量度/假设验证，请应用Bonferroni校正。） 该计算器专为传统的定界A/B测试而设计，仅提供估计值。 将计算器用于 自动分配 活动是可选的，因为 自动分配 为您宣布入选者。 您不需要挑选固定的时间点来查看测试结果。 提供的值在统计上始终有效。

在我们的实验中，我们发现以下内容：

• 当测试两个体验时， 自动分配 当体验之间的性能差异很大时，找到入选体验的速度会比固定时间线测试（即样本量计算器建议的时间范围）更快。 但是， 自动分配 当体验之间的性能差异很小时，可能需要额外的时间来识别入选者。 在这些情况下，固定期限测试通常会在没有统计上显着结果的情况下结束。
• 测试两个以上的体验时， 自动分配 当单个体验的表现远远强于所有其他体验时，找到入选体验的速度会比固定展望期测试（即样本量计算器建议的时间范围）更快。 当两个或多个体验都在与其他体验“取胜”，但彼此紧密匹配时， 自动分配 可能需要额外的时间来确定哪一个更优秀。 在这些情况下，固定时程测试通常以结论“入选”体验优于表现较差的体验结束，但无法确定哪个体验更优秀。

我是否应该从删除性能不佳的体验 自动分配 活动来加速确定入选者的过程？

确实没有理由删除性能不佳的体验。 自动分配 自动提供高性能的体验的频率较高，而提供性能不佳的体验的频率较低。 在活动中保留性能不佳的体验不会显着影响确定入选者的速度。

20% 的访客将被随机分配给所有体验。提供给性能不佳的体验的流量很少（20%除以体验数量）。

能否在中途更改目标指标？ 自动分配 活动？

Adobe 不建议您在活动中途更改目标指标。 虽然可在活动期间使用 Target UI 更改目标指标，但总是应开始新的活动。Adobe 并不保证在活动运行后更改其中的目标量度会发生什么情况。

此建议适用于使用 Target 或 Analytics (A4T) 作为报表源的自动分配、自动定位和自动个性化活动。

能否在自动分配活动期间更改报表源？

Adobe 不建议您在活动中途更改报表源。 尽管可以更改报表源(从 Target A4T（反之亦然） Target UI中，您应始终启动新活动。 Adobe 并不保证在运行活动后更改活动中的报表源时会发生什么情况。

此建议适用于使用 Target 或 Analytics (A4T) 作为报表源的自动分配、自动定位和自动个性化活动。

我能否使用 重置报表数据 选项 自动分配 活动？

使用 重置报表数据 选项 自动分配 未建议活动。 虽然它删除可见的报表数据，但此选项并不从 自动分配 型号。 不要使用 重置报表数据 选项 自动分配 活动，创建新活动并停用原始活动。 (本指引亦适用于 自动定位 和 Automated Personalization 活动。)

如何 自动分配 是否构建环境相关模型？

自动分配 仅根据默认环境中记录的流量和转化行为构建模型。 默认情况下， 生产 是默认环境，但默认环境可在以下位置更改： Target 管理>环境.

如果点击发生在另一个（非默认）环境中，则根据默认环境中观察到的转化行为来分配流量。 该点击的结果（转换或非转换）会记录下来供报告之用，但不会考虑在 自动分配 型号。

选择其他环境时，报表会显示该环境的流量和转化率。 报表的默认选定环境是选定的帐户范围的默认环境。 无法根据每个活动设置默认环境。

自动分配 活动能否在测试过程中调整回看窗口，以考虑随时间变化的趋势？

例如，活动是否可以考虑12月份来决定如何分配流量，而不是查看9月份的访客数据（测试开始的时间）？

不， 自动分配 考虑整个活动的绩效。

如果获胜体验与访客在获得活动资格时看到的不同，那么 自动分配 是否向回访访客显示获胜体验？

自动分配 使用粘性决策的原因与以下相同： A/B测试 活动具有粘性。 流量分配仅适用于新访客。

培训视频

以下视频包含有关本文中所讨论概念的详细信息。

活动工作流 - 定位 (2:14)

以下视频包含有关设置流量分配的信息。

• 为活动分配受众
• 增加或减少流量
• 选择流量分配方法
• 在不同的体验之间分配流量

创建A/B测试(8:36)

以下视频演示了如何使用 Target 三步引导式工作流创建 A/B 测试。自动分配 讨论开始于4:45。

• 在中创建A/B活动 Adobe Target
• 使用手动拆分或自动流量分配来分配流量

Business.Adobe.com 资源

Multi Armed Bandit Testing Ab Multivariate Testing Enterprise Governance Product Recommendations Mobile Optimization Website Optimization