有关 Data Workbench Server 在构建数据集时可处理的数据字段的信息。
用于构建数据集的事件数据位于称为日志源的文件中。日志源中提供的数据称为事件数据,因为每条数据记录都表示一条交易记录,或一个具有相关时间戳的事件的单个实例。
Sensors会实时收集日志源的事件数据。 由Sensors从HTTP和应用程序服务器中收集的事件数据会传输到Data Workbench Server,然后Data Workbench Server会将这些数据转换为压缩的日志(.vsl)文件。 Data Workbench Server 可读取位于无格式文件、XML 文件或 ODBC 数据源中的事件数据,并提供您定义的解码器来从这些不同的格式中提取通用的数据字段集。
以下各节提供了由Sensors收集或读取并提供给Data Workbench Server的数据字段(称为事件数据记录字段或日志条目字段)的信息。
字段名称通常遵循W3C扩展日志文件格式的命名约定。 许多字段带有前缀,用于指示字段中所含信息的源:
日志(.vsl)文件包含由Sensors从服务器收集并由Data Workbench Server在数据集构建过程中使用的事件数据字段。 下表列出了由Sensor记录的典型事件数据记录中的字段:
字段 | 描述 |
---|---|
c-ip | 向服务器发送的请求中所包含的客户端 IP 地址。 示例:207.68.146.68 |
cs(cookie) | 由客户端随请求一起发送的 cookie。 示例:v1st=42FDF66DE610CF36; ASPSESSIONIDQCATDAQC=GPIBKEIBFBFIPLOJMKCAAEPM; |
cs(referrer) | 由客户端随请求一起向服务器发送的 HTTP 反向链接字符串。 示例: https://www.mysite.net/cgi-bin/websearch?qry |
cs(user-agent) | 由客户端随请求一起向服务器发送的字符串,用于指示客户端是何种类型的用户代理。 示例:Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7) Gecko/20040707 Firefox/0.9.2 |
cs-method | HTTP 请求的方法类型。 示例:GET 引用: https://www.w3.org/TR/2000/NOTE-shoplogfileformat-20001115/#field_method |
cs-uri-query | URI(主干 + 查询字符串 = URI)的查询字符串部分。这部分的前面有一个问号 (?),并且可能包含一个或多个由与号 (&) 分隔的名称-值对。 示例:page=homepage |
cs-uri-stem | URI(主干 + 查询字符串 = URI)的主干部分。主干是请求资源在服务器上的实际或逻辑路径。 示例:/index.asp |
sc(content-type) | 由服务器报告的客户端请求资源的内容类型。 示例:text/html, image/png, image/gif, video/mpeg |
sc-bytes | 为响应请求而从服务器向客户端发送的数据字节数 示例:4996 |
sc-status | 由服务器返回到客户端的状态代码。 示例:200 引用: https://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html |
s-dns | 请求资源主机的完全限定域名或 IP 地址。 示例:www.adobe.com/cn/ |
x-experiment | 请求时客户端属于其中成员的所有受控试验名称和组的列表。 示例:VSHome_Exp.Group_1,VSRegistration_Exp.Group_2 |
x-timestamp | 服务器接收到请求的日期和时间 (GMT)。该时间以从 1600 年 1 月 1 日算起的总时间数表示(以 100 纳秒为单位)。 示例:127710989320000000是2005年9月13日星期二11:28:52.0000000的x-timestamp值。 |
x-trackingid | 在由传感器设置并由客户端随请求一起向服务器提供的永久性 cookie 中包含的唯一浏览器标识符的 64 位十六进制值。 示例:42FDF66DE610CF36 |
下表列出了由 Data Workbench Server 从基准事件数据记录字段派生的字段示例:
字段 | 描述 |
---|---|
cs(cookie)(name) | cookie 内给定名称-值对的值。 |
cs(referrer-domain) | HTTP 反向链接 URI 的域名或 IP 地址。
注意:此字段为只读。 |
cs(referrer-host) | 反向链接的完整主机名。 示例:如果cs(referrer)为 https://my.domain.com/my/page ,则cs(referrer-host)为 my.domain.com 。 |
cs(referrer-query)(name) | 反向链接查询字符串的值。
注意:您无法使用 cs(referrer)(name) 字段访问反向链接查询字符串值。 |
cs-uri | 完整的 URI(主干 + 查询字符串 = 完整 URI)。 示例:/shopping/checkout.html?product1=8Track&product2=casette&product3=cd |
cs-uri-query(name) | 与给定名称关联的值。如果给定名称存在多个值,则此字段返回其中最后一个值。 示例:
|
ctime | x-timestamp 以从 1970 年 1 月 1 日算起的总秒数表示。此字段也称为 x-unixtime。 |
日期 | YYYY-MM-DD 格式的 x-timestamp。 |
time | 格式为HH:MM:SS的x-timestamp。 |
x-local-timestring | 已转换为 Transformation.cfg 文件中为数据集指定的本地时区的 x-timestamp。格式为YYYY-MM-DD HH:MM:SS.mmm。
注意:您还可以在 Log Processing.cfg 文件中定义时间转换,如 x-local-timestring。有关信息,请参阅日志处理配置文件。 |
x-log-source-id | 与特定日志条目的日志源对应的标识符。对于要记录的标识符,您必须在定义传感器、日志文件或 ODBC 数据源时,在 Log Processing.cfg 文件的日志源 ID 字段中指定它。有关更多信息,请参阅日志处理配置文件。 示例:来自 VSensor01。 |
x-mask | 传感器数据源的掩码模式(从 .vsl 文件名派生)。对于名称格式为 YYYYMMDD–SENSORID.VSL 的文件,x-mask 为 SENSORID。 |
x-timestring | 格式为YYYY-MM-DD HH:MM:SS.mmm的x-timestamp。 |
x-unixtime | 从 x-timestamp 派生的十进制 UNIX 时间。 |
Sensor,在服务器上使用时,可以从任何有效的HTTP请求或响应标头中收集事件数据的字段,或通过服务器API向其提供的变量。要收集此类数据字段,必须在txlogd.conf配置文件中为Sensor指定所需的标题字段或变量。 有关详细信息,请参阅Data WorkbenchSensor指南。