AEM as a Cloud Service:为批量程序化资产上传(约50,000项资产)推荐的策略和限制

本文为使用直接二进制上传将程序化资产批量上传到AEM as a Cloud Service提供了有关最佳实践、建议限制和配置的指导。

描述 description

环境

Adobe Experience Manager as a Cloud Service (AEMaaCS)(所有版本)

问题/症状

您需要使用直接二进制上传方法与@adobe/aem-upload Node.js库结合使用,从外部系统将大约50,000个资源摄取到AEM as a Cloud Service DAM中。

您需要确认建议的策略、支持的吞吐量、批次大小、并发性和任何官方限制,以避免超载Asset Compute服务或触发限制。 尚未报告任何错误消息,但您希望在生产引入之前验证方法。

  • 批量上传数量:50,000个资源
  • 方法:通过预签名URL (@adobe/aem-upload)直接二进制上传
  • 批次模式:具有重试逻辑的批次上载
  • 批次大小:文档建议在生产中使用10-50
  • 并发:withMaxConcurrent()方法可用
  • 身份验证:服务凭据(OAuth S2S / JWT)

解决方法 resolution

请按照以下步骤解决问题:

  1. 使用直接二进制上传

  2. 配置批次大小和并发

    • 按照文档中的说明,使用 批次上传 模式。

    • 建议的启动配置:

      • batchSize:每批20-50个文件
      • maxConcurrent:每个客户端进程5-8个并发上载
    • 根据引导结果和观察到的系统行为调整这些值。

  3. 监视器吞吐量和处理

    • 上传API本身的每秒请求数或每小时资产数没有严格的硬性限制。
    • 实际吞吐量受网络带宽和客户端并发性的控制。
    • 上传后处理(缩略图、元数据、Dynamic Media等) 由Asset Compute微服务处理。 典型的处理速度是每小时5,000到9,000项资产。
    • 对于50,000个资源,在标准条件下,应在几到几个小时内完成处理。
  4. 引导和监视

    • 运行具有1,000-2,000个资产的引导以验证配置并监视错误,例如超时、HTTP 413有效负载太大)或​HTTP 429请求过多)。
    • 在AEM中监控处理时间和*正在处理……*横幅。
    • 根据需要调整批次大小和并发性,以优化吞吐量而不触发限制。
  5. 身份验证和权限

    • 将服务凭据(OAuth S2S / JWT)与具有所需上传权限的帐户结合使用。
  6. 安排上载时间

    • 此卷不需要特殊环境扩展。
    • 考虑在非高峰时间运行上载,以最大限度地提高处理吞吐量。

原因

直接二进制上传方法专为大容量摄取而设计,并利用云存储和微服务实现可扩展性。 吞吐量主要受上传后处理能力的限制,而不是上传API本身的限制。

recommendation-more-help
experience-cloud-kcs-help-kbarticles