使用路径试验 experimentation

在此页面上:​了解如何使用优化活动设置路径实验,以使用A/B或多臂赌博机实验测试不同的历程路径,按成功量度确定表现最佳的处理并缩放入选者。

通过试验可以基于随机拆分测试不同的路径,以根据预定义的成功量度确定哪个路径的表现最佳。

要在历程中设置路径试验,请执行以下步骤。

假设您要比较三个路径:

  • 一条路径,一封电子邮件;
  • Wait​节点为两天且包含电子邮件的第二个路径;
  • 第三个路径,其中包含电子邮件,然后是短信消息。
  1. 从​ 业务流程 ​部分中,将​ 优化 ​活动拖放到历程画布中。

  2. 添加可选标签,这对于在报告和测试模式日志中标识活动很有用。

  3. 从​ 方法 ​下拉列表中选择​试验。

    路径试验配置面板 {width="65%"}

  4. 单击​创建试验。

  5. 选择要为试验设置的​成功量度。 在本节中了解关于可用量度和如何配置列表的详细信息。

    试验的主要和附加指标选择 {width="80%"}

  6. 为您的路径试验选择​试验类型:

    • A/B试验 — 在测试开始时定义处理之间的流量分配。 根据您选择的主要指标评估性能;报表显示观察到的两次处理之间的提升。

    • 多臂老虎机 — 自动处理处理之间的流量分摊。 主要指标的表现每7天检讨一次,其权重亦作出相应调整。 报表会继续显示提升,就像A/B测试一样。

    路径试验中的试验类型下拉列表 {width="80%"}

    ➡️ 了解有关A/B和多臂老虎机实验之间差异的更多信息

  7. 您可以选择向投放添加​ 维持 ​组。 该组不会从此试验输入任何路径。

    note
    NOTE
    打开切换栏将自动获取您群体的10%。 您可以根据需要调整此百分比。
  8. 您可以为每个​ 待遇 ​分配精确百分比,或者只需打开​ 平均分配 ​切换栏。

    具有百分比分布的待遇分配滑块 {width="80%"}

  9. 启用自动缩放试验以自动转出试验的入选变量。 了解有关如何扩展入选者的更多信息

  10. 单击​创建。

  11. 为从试验生成的每个分支定义所需的元素,例如:

    • 将电子邮件活动拖放到第一个分支(处理A)上。

    • 将为期两天的等待活动拖放到第一个分支上,然后是电子邮件活动(处理B)。

    • 将电子邮件活动拖放到第三个分支上,后跟短信活动(处理C)。

    具有三个处理路径的路径试验示例 {width="100%"}

  12. 或者,在超时或错误的情况下使用​ 添加替代路径 ​来定义回退操作。 了解详情

  13. 发布您的历程。

历程开始后,将随机分配用户以沿着不同路径依次访问。 Journey Optimizer跟踪哪个路径效果最佳并提供可操作分析。

使用历程路径试验报告跟踪您的旅程是否成功。 了解详情

历程重新进入时的路径分配 path-assignment

同一历程版本中的多个入口中的配置文件会持续分配路径。 例如,如果用户档案在第1天进入旅程,并被分配给路径A,然后在第2天再次进入旅程,则它将被再次分配给路径A。这确保用户获得一致的体验,并且在统计上有效的报告和分析中是必需的。

但是,这些分配仅在给定历程版本中持续存在。 发布新历程版本后,随机性会发生更改,并且用户档案最终可能会分配到其他路径。

如果旅程中有多个路径试验活动,则每个活动会应用独立的随机分配。

试验用例 uc-experiment

以下示例显示如何将​ Optimize ​活动与​ Experiment ​方法结合使用,以确定哪条路径总体效果最佳。

渠道有效性

测试通过电子邮件发送第一条消息还是通过短信发送第一条消息是否会提高转化率。

➡️使用转化率作为成功量度(例如:购买、注册)。

比较电子邮件与短信的渠道效果试验

消息发送频率

运行试验以检查在一周内发送一封电子邮件还是发送三封电子邮件是否会导致更多购买。

➡️使用购买或取消订阅率作为成功量度。

消息频率试验测试了一封电子邮件与三封电子邮件

通信之间的等待时间

比较24小时等待与跟进前72小时的等待,以确定哪个时间可最大化参与。

➡️使用点进率或收入作为成功量度。

比较24小时延迟与72小时延迟的等待时间试验

缩放入选者 scale-winner

AVAILABILITY
对于路径实验,缩放入选者功能仅在单一历程(事件触发和受众资格)中可用。
它不适用于读取受众历程。

通过扩展入选者的范围,您可以自动或手动将试验的入选范围扩展到全体受众。 此功能确保确定入选者后,您无需持续监控试验即可扩大其影响范围和增强其有效性。

您可以在两种模式之间进行选择:

  • 自动缩放:在创建试验时,通过选择缩放入选处理的时间和条件来配置自动缩放设置,如果没有入选者,则配置回退选项。

  • 手动缩放:手动查看实验结果并启动入选处理的推出,同时保持对时间和决策的完全控制。

自动缩放 autoscaling

自动缩放允许您根据实验结果,为何时推出入选处理或回退设置预定义的规则。

请注意,一旦发生自动缩放,手动缩放将不再可用。

要在实验中启用自动缩放,请执行以下操作:

  1. 设置历程并根据需要配置试验。 了解详情

  2. 在设置试验时启用自动缩放选项。

    路径试验中的 自动缩放选项

  3. 选择应何时缩放入选者:

    • 一旦找到赢家。
    • 试验在选定的时间内处于活动状态。

    自动缩放时间必须安排在试验的结束日期之前。 如果将其设置为结束日期之后的时间,则会显示验证警告,并且不会发布历程。

    路径试验中的自动缩放时间选择

  4. 如果按时间范围未找到入选者,请选择回退行为:

    • 继续试验,直到按计划结束。
    • 在指定时间后缩放替代治疗。

满足所有参数后,您的入选或替代处理方式将发送给受众。

手动缩放 manual-scaling

通过手动缩放,您能够查看实验结果,并决定何时按照自己的计划推出入选处理。

请注意,如果您在计划的自动缩放时间之前手动缩放入选者,则会取消自动缩放。

手动缩放试验的入选者:

  1. 设置历程并根据需要配置试验。 了解详情

  2. 让试验一直运行,直到确定入选者或实现统计学意义为止。

  3. 打开您的历程,然后选择包含路径试验的​ 优化 ​活动。

    查看​ 路径试验 ​视图中的结果以确定表现最佳的处理。

    路径试验中的手动缩放入选者

  4. 单击​ 缩放处理 ​以将入选处理推送到其他受众。

  5. 从下拉菜单中选择要缩放的处理,然后单击​缩放。

    路径试验中的缩放处理选择 {width="80%"}

请注意,缩放处理可能需要长达一小时的时间。 手动缩放过程完成后,您将收到通知。

AI Knowledge Reference

This section contains structured knowledge intended to support interpretation, retrieval, and question answering related to this topic.

For complete understanding, this information should be combined with the documentation on this page. Neither source is intended to stand alone; the page describes the feature, while this section provides additional context that helps disambiguate terminology, intent, applicability, and constraints.

  • TL;DR: This page explains how to configure and run path experimentation in Adobe Journey Optimizer journeys using A/B or Multi-armed bandit methods, and how to scale the winning treatment automatically or manually.

Intents:

  • Set up an A/B or Multi-armed bandit path experiment in a journey
  • Define success metrics to evaluate experiment performance
  • Allocate traffic between treatment paths evenly or by custom percentage
  • Add a holdout group to exclude a portion of the audience from all treatments
  • Enable auto-scaling to automatically roll out the winning treatment
  • Manually scale the winning treatment after reviewing experiment results

Glossary:

  • Optimize activity: A journey canvas activity used to split profiles into different paths for experimentation or targeting (product-specific)
  • Treatment: A single path variant in a path experiment (e.g., Treatment A, Treatment B) (product-specific)
  • Success metric: The KPI used to evaluate which treatment performs best in an experiment (product-specific)
  • Multi-armed bandit: An experiment type where traffic split is adjusted automatically every 7 days based on primary metric performance (product-specific)
  • Scale the Winner: A feature that rolls out the winning treatment to the full remaining audience, either automatically or manually (product-specific)
  • Holdout group: A segment of the audience excluded from all experiment treatments, used as a control group (product-specific)

Guardrails:

  • Scale the Winner is only available for unitary journeys (event-triggered and Audience Qualification); it is not available for Read Audience journeys.
  • Auto-scale time must be scheduled before the experiment’s end date, or the journey will not publish.
  • Once auto-scaling has occurred, manual scaling is no longer available.
  • Manual scaling the winner before the scheduled auto-scale time cancels the auto-scale.
  • Scaling the treatment may take up to one hour.

Terminology:

  • Canonical name: Path Experimentation — Acronym: none — variants: journey experimentation, A/B path test
  • Synonyms: “Optimize activity” = “experiment activity” = “path split activity”
  • Do not confuse: “A/B experiment” ≠ “Multi-armed bandit” (A/B has fixed traffic split; Multi-armed bandit adjusts weights dynamically every 7 days)

FAQ:

  • Q: What is the difference between A/B experiment and Multi-armed bandit? — A/B experiment uses a fixed traffic split defined at the start, while Multi-armed bandit automatically adjusts traffic weights every 7 days based on the primary metric performance.
  • Q: Can I use Scale the Winner in a Read Audience journey? — No; Scale the Winner is only available for unitary (event-triggered and Audience Qualification) journeys.
  • Q: What happens if no winner is found by the auto-scale time? — You can configure a fallback: either continue the experiment until its scheduled end, or scale an alternative treatment after a specified time.
  • Q: How is traffic distributed if I do not configure treatment percentages manually? — You can enable the Distribute evenly toggle to split traffic equally across all treatments.
  • Q: Can I edit a path experiment after the journey is published? — The journey enters read-only mode after publishing; to make changes, create a new version of the journey.
recommendation-more-help
journey-optimizer-help