UPS作业失败,因为记录大小超过了AEP中的摄取限制

当记录超过大小限制时,Adobe Experience Platform (AEP)中的UPS批量摄取将失败。 错误​ UPINGT-007012-400:如果配置文件属性超过100KB或事件超过10KB,则记录大小超过限制。 要解决此问题,请减少记录大小以满足摄取约束。

描述 description

环境

Adobe Experience Platform

问题/症状

  • UPS作业失败,错误为​ UPINGT-007012-400:记录大小超出限制。
  • 由于数据集中的记录过大,批次摄取会暂停。
  • 数据集UI显示出现与大小相关的摄取错误的失败批次。

原因

摄取到Datalake中的超大记录数,配置文件属性超过100 KB,事件超过10 KB,从而导致批处理作业失败。

解决方法 resolution

要解决此问题,请执行以下步骤:

  1. 运行以下查询以标识超过100KB的记录,并使用数据集UI和预览面板中的值替换<batch_id><record_field>

    code language-none
    SELECT count(*) AS total_records    FROM <dataset_name>    WHERE _acp_system_metadata.acp_sourceBatchId = '<batch_id>'      AND length(to_json(<record_field>)) > 100000;
    
  2. 运行查询以检索有关超出大小限制的记录的详细信息:

    code language-none
    SELECT length(to_json(<record_field>)) AS len, _acp_system_metadata.acp_sourceBatchId     FROM <dataset_name>    WHERE _acp_system_metadata.acp_sourceBatchId = '<batch_id>'      AND length(to_json(<record_field>)) > 100000    ORDER BY len DESC;
    
  3. 通过使用类似查询验证任何记录都不超过护栏限制,比较成功摄取的批次的结果。

  4. 调整或筛选数据集中有问题的记录以符合引入护栏,例如将配置文件属性大小减少到100 KB以下。

recommendation-more-help
3d58f420-19b5-47a0-a122-5c9dab55ec7f