与同事验证Experience Platform数据
Co-worker包括数据验证技能,该技能可检查Experience Platform数据集的数据质量。 使用它来对数据集运行统计和语义验证,分析数据集字段,并识别数据质量问题,所有这些操作都通过一个同事聊天对话进行。
数据工程师、数据管理员和实施工程师使用它进行快速质量检查,而无需SQL查询或复杂的架构层次结构。
使用此技能可以:
- 在新的实施或实施更新后验证密钥标识和事件字段。
- 通过检查字段的顶值和无效值来调查可疑的映射问题。
- 对关键数据集运行持续的数据管理检查,以尽早捕获回归。
开始之前
要与同事验证您的数据,您需要:
- 要验证的数据集的名称或ID。
- (可选)如果不想让技能自动选择字段,则为要验证的特定字段的名称。
启动验证会话
-
登录到同事。
-
选择新建聊天。
-
在文本字段中,提示代理验证字段或数据集。 例如:
提示
验证数据集“电子产品示例1000”
note tip TIP 在数据集名称前面加上“dataset”一词,以便技能能够正确识别它。 例如,使用“验证数据集Electronics Sample 1000”而不是“验证Electronics Sample 1000”。 您的请求将被路由到“数据验证”技能,该技能会分析数据集的示例并在同一对话中返回结果。
选择要验证的内容
您可以验证单个字段或整个数据集。
验证数据集中的特定字段。 此选项提供:
- 空计数和非重复值计数。
- 顶部非重复值及其频率。
- 人工智能辅助的语义验证,根据字段的元数据及其实际值标记与字段预期格式不匹配的值。
示例提示:
- 验证Customers_2024数据集中的email字段。
- 验证数据集customer_events_2024的字段状态。
- 验证客户数据集的字段person.address.city。
一次验证数据集中最多五个字段。 您可以自行指定字段,也可以让技能分析数据集并自动选择最相关的字段。 在您验证的每个字段中,此选项会返回与字段验证相同的信息。
示例提示:
- 验证Customer Data 2024数据集
- 验证字段email、phone for Customers_2024。
- 汇总客户数据的firstName、lastName、birthDate。
查看结果
对于每个已验证的字段,结果将作为一行显示在具有以下列的表中:
在结果下,同事添加了一个 后续步骤 列表,该列表建议后续提示,例如验证另一个字段或重新运行数据集。
验证单个字段时,Co-worker还会返回一个图表:
选择 图表 或 表 以在相同结果的视图之间切换。
验证数据集时,结果将显示在表中,每个字段有一行。 您自行命名的字段会按您指定的方式显示:
技能选择的字段自动以相同方式显示:
选择 CSV 以下载完整的结果表。
由数据验证执行的检查
该技能对每个字段和数据集执行以下操作:
-
完整性检查: null和缺少计数和百分比。
-
分布检查:顶部非重复值及其分布,以及高基数检测。
-
针对架构的语义检查:使用XDM字段名称、类型和描述推断有效值是什么样的,然后标记异常。
-
数据类型感知检查,如果适用:
- 电子邮件:格式和域的可行性。
- 电话:格式准备就绪,例如E.164。
- 日期和时间戳:基本格式检查,例如ISO-8601。
这些检查将确定性统计与LLM辅助的语义验证相结合,以检测看起来错误的值,即使它们在技术上与架构匹配也是如此。
限制
在验证数据之前,请牢记以下限制。 这些约束在性能和功能之间取得平衡,并设置了您可以期待的分析和见解的期望值。
- 仅采样:该技能验证数据集(通常是最近的1,000行)的示例,而不是整个数据集。 完整数据集扫描不可用。
- 字段数限制:验证数据集时,技能会分析每个请求最多五个字段。 您可以指定这些字段,或让技能自动选择它们。
- 概率语义:无效值的检测部分依赖于基于LLM的推理,这种推理偶尔会遗漏细微的错误或标记边界值。
- 只读:该技能不会更改您的数据或其架构。 它突出显示潜在问题,但不会执行自动修复。
如果您的验证需求更详尽或需要复杂的业务逻辑,请使用其他工具(如查询服务或数据准备验证)来补充这些结果。
相关信息