为数据流配置机器人检测
来自自动化程序、网页抓取程序、蜘蛛程序和脚本扫描程序的非人为流量可能会使识别来自人为访客的事件变得困难。 此类流量可能会对重要的业务量度产生负面影响,从而导致不正确的流量报表。
机器人检测允许您识别由已知蜘蛛程序和机器人生成的Web SDK、Mobile SDK和Server API生成的事件。
通过为数据流配置机器人检测,您可以识别特定的IP地址、IP范围和请求标头,以分类为机器人事件。 这有助于更准确地测量您的网站或移动应用程序上的用户活动。
当对Edge Network的请求与任何机器人检测规则匹配时,XDM架构将更新为机器人得分(始终设置为1),如下所示:
{
"botDetection": {
"score": 1
}
}
此机器人评分可帮助接收请求的解决方案正确识别机器人流量。
机器人检测规则在创建后最多可能需要15分钟才能在Edge Network中传播。
先决条件 prerequisites
要使机器人检测在您的数据流上工作,您必须将 机器人检测信息 字段组添加到您的架构中。 请参阅XDM架构文档,了解如何将字段组添加到架构。
为数据流配置机器人检测 configure
您可以在创建数据流配置后配置机器人检测。 请参阅有关如何创建和配置数据流的文档,然后按照以下说明向数据流添加机器人检测功能。
转到数据流列表并选择要向其添加机器人检测的数据流。
在数据流详细信息页面中,选择右边栏上的 机器人检测 选项。
数据流用户界面中高亮显示的
将显示 机器人检测规则 页。
数据流设置页面中的
在机器人检测规则页面中,您可以使用以下功能配置机器人检测:
- 使用[IAB/ABC International Spiders and Bots List]。
- 创建自己的机器人检测规则。
使用IAB/ABC国际蜘蛛程序和机器人列表 iab-list
IAB/ABC国际蜘蛛程序和机器人列表是第三方行业标准的网络蜘蛛程序和机器人列表。 此列表可帮助您识别自动流量,例如搜索引擎爬网程序、监控工具以及其他您可能不希望包含在分析计数中的非人为流量。
要将数据流配置为使用IAB/ABC国际蜘蛛程序和机器人列表,请执行以下操作:
- 切换 在此数据流上使用IAB/ABC国际蜘蛛程序和机器人列表进行机器人检测选项。
- 选择 保存 以将机器人检测设置应用于数据流。
创建机器人检测规则 rules
除了使用IAB/ABC国际蜘蛛程序和机器人列表之外,您还可以为每个数据流定义自己的机器人检测规则。
您可以根据 IP地址 和 IP地址范围 创建机器人检测规则。
如果需要更细粒度的机器人检测规则,可以将IP条件与请求标头条件结合使用。 机器人检测规则可以使用以下标头:
user-agent
content-type
referer
sec-ch-ua
sec-ch-ua-mobile
sec-ch-ua-platform
sec-ch-ua-platform-version
sec-ch-ua-arch
sec-ch-ua-model
sec-ch-ua-bitness
sec-ch-ua-wow64
要创建机器人检测规则,请执行以下步骤:
-
选择 添加新规则。
-
在 规则名称 字段中键入规则的名称。
-
选择 添加新IP条件 以添加新的基于IP的规则。 您可以按IP地址或IP地址范围定义规则。
note tip TIP IP条件基于逻辑 OR
操作。 如果请求与您定义的任何IP条件相匹配,则将其标记为来自机器人。 -
如果要向规则添加标头条件,请选择 添加标头条件组,然后选择要让规则使用的标头。
然后,添加要用于所选标头的条件。
-
配置所需的机器人检测规则后,选择 保存 以将规则应用于数据流。
机器人检测规则示例 examples
为了帮助您开始使用机器人检测,您可以使用下面详述的示例来创建机器人检测规则。
基于一个IP地址的机器人检测 one-ip
要将所有来自特定IP地址的请求标记为机器人流量,请创建一个新的机器人检测规则,以评估单个IP地址,如下图所示。
基于两个IP地址的机器人检测 two-ip
要将来自两个特定IP地址之一的所有请求标记为机器人流量,请创建一个新的机器人检测规则,该规则将评估两个IP地址,如下图所示。
基于IP地址范围的机器人检测 range
要将来自特定范围内任何IP地址的所有请求标记为机器人流量,请创建一个新的机器人检测规则,以评估整个IP地址范围,如下图所示。
基于IP地址和请求头的机器人检测 ip-header
要将所有来自特定IP地址并包含特定请求标头的请求标记为机器人流量,请创建新的机器人检测规则,如下图所示。
此规则检查请求是否来自特定IP地址,以及referer
请求标头是否以www.adobe.com
开头。
基于多种条件的机器人检测 multiple-conditions
您可以根据以下内容创建机器人检测规则:
- 多个不同的条件:将不同的条件评估为逻辑
AND
操作,这意味着需要同时满足这些条件,才能将请求识别为源自机器人。 - 同一类型的多个条件:将同一类型的条件作为逻辑
OR
操作进行评估,这意味着如果满足任何条件,则将该请求标识为源自机器人。
下图中所示的规则在符合以下条件时标识源自机器人的请求:
请求来自两个IP地址中的任意一个,referer
标头以www.adobe.com
开头,sec-ch-ua-mobile
标头将请求标识为来自桌面浏览器。