UPS作业失败,因为记录大小超过了AEP中的摄取限制
当记录超过大小限制时,Adobe Experience Platform (AEP)中的UPS批量摄取将失败。 错误 UPINGT-007012-400:如果配置文件属性超过100KB或事件超过10KB,则记录大小超过限制。 要解决此问题,请减少记录大小以满足摄取约束。
描述 description
环境
Adobe Experience Platform
问题/症状
- UPS作业失败,错误为 UPINGT-007012-400:记录大小超出限制。
- 由于数据集中的记录过大,批次摄取会暂停。
- 数据集UI显示出现与大小相关的摄取错误的失败批次。
原因
摄取到Datalake中的超大记录数,配置文件属性超过100 KB,事件超过10 KB,从而导致批处理作业失败。
解决方法 resolution
要解决此问题,请执行以下步骤:
-
运行以下查询以标识超过100KB的记录,并使用数据集UI和预览面板中的值替换
<batch_id>
和<record_field>
:code language-none SELECT count(*) AS total_records FROM <dataset_name> WHERE _acp_system_metadata.acp_sourceBatchId = '<batch_id>' AND length(to_json(<record_field>)) > 100000;
-
运行查询以检索有关超出大小限制的记录的详细信息:
code language-none SELECT length(to_json(<record_field>)) AS len, _acp_system_metadata.acp_sourceBatchId FROM <dataset_name> WHERE _acp_system_metadata.acp_sourceBatchId = '<batch_id>' AND length(to_json(<record_field>)) > 100000 ORDER BY len DESC;
-
通过使用类似查询验证任何记录都不超过护栏限制,比较成功摄取的批次的结果。
-
调整或筛选数据集中有问题的记录以符合引入护栏,例如将配置文件属性大小减少到100 KB以下。
recommendation-more-help
3d58f420-19b5-47a0-a122-5c9dab55ec7f