AEM as a Cloud Service:为批量程序化资产上传(约50,000项资产)推荐的策略和限制
本文为使用直接二进制上传将程序化资产批量上传到AEM as a Cloud Service提供了有关最佳实践、建议限制和配置的指导。
描述 description
环境
Adobe Experience Manager as a Cloud Service (AEMaaCS)(所有版本)
问题/症状
您需要使用直接二进制上传方法与@adobe/aem-upload Node.js库结合使用,从外部系统将大约50,000个资源摄取到AEM as a Cloud Service DAM中。
您需要确认建议的策略、支持的吞吐量、批次大小、并发性和任何官方限制,以避免超载Asset Compute服务或触发限制。 尚未报告任何错误消息,但您希望在生产引入之前验证方法。
- 批量上传数量:50,000个资源
- 方法:通过预签名URL (
@adobe/aem-upload)直接二进制上传 - 批次模式:具有重试逻辑的批次上载
- 批次大小:文档建议在生产中使用10-50
- 并发:
withMaxConcurrent()方法可用 - 身份验证:服务凭据(OAuth S2S / JWT)
解决方法 resolution
请按照以下步骤解决问题:
-
使用直接二进制上传
- 遵循编程资源上传教程和资源上传HTTP API引用。
- 建议使用直接二进制上传方法进行大规模摄取,因为它会将文件直接上传到云存储并最大程度地减少AEM JVM上的负载。
-
配置批次大小和并发
-
按照文档中的说明,使用 批次上传 模式。
-
建议的启动配置:
batchSize:每批20-50个文件maxConcurrent:每个客户端进程5-8个并发上载
-
根据引导结果和观察到的系统行为调整这些值。
-
-
监视器吞吐量和处理
- 上传API本身的每秒请求数或每小时资产数没有严格的硬性限制。
- 实际吞吐量受网络带宽和客户端并发性的控制。
- 上传后处理(缩略图、元数据、Dynamic Media等) 由Asset Compute微服务处理。 典型的处理速度是每小时5,000到9,000项资产。
- 对于50,000个资源,在标准条件下,应在几到几个小时内完成处理。
-
引导和监视
- 运行具有1,000-2,000个资产的引导以验证配置并监视错误,例如超时、HTTP 413 (有效负载太大)或HTTP 429 (请求过多)。
- 在AEM中监控处理时间和*正在处理……*横幅。
- 根据需要调整批次大小和并发性,以优化吞吐量而不触发限制。
-
身份验证和权限
- 将服务凭据(OAuth S2S / JWT)与具有所需上传权限的帐户结合使用。
-
安排上载时间
- 此卷不需要特殊环境扩展。
- 考虑在非高峰时间运行上载,以最大限度地提高处理吞吐量。
原因
直接二进制上传方法专为大容量摄取而设计,并利用云存储和微服务实现可扩展性。 吞吐量主要受上传后处理能力的限制,而不是上传API本身的限制。
recommendation-more-help
experience-cloud-kcs-help-kbarticles