AEM as a Cloud Service:大量程式化資產上傳(約50,000項資產)的建議策略和限制
本文提供最佳實務、建議的限制,以及透過直接二進位上傳將大量程式化資產上傳到AEM as a Cloud Service的設定相關指引。
說明 description
環境
Adobe Experience Manager as a Cloud Service (AEMaaCS) (所有版本)
問題/症狀
您需要使用直接二進位上傳方法搭配@adobe/aem-upload Node.js資料庫,從外部系統擷取約50,000個資產至AEM as a Cloud Service DAM。
您可以尋求建議策略、支援的輸送量、批次大小、並行和任何官方限制的確認,以避免超載Asset Compute服務或觸發限制。 尚未報告任何錯誤訊息,但您想要在生產擷取之前驗證方法。
- 大量上傳數量:50,000個資產
- 方法:透過預先簽署的URL (
@adobe/aem-upload)直接二進位上傳 - 批次模式:具有重試邏輯的批次上傳
- 批次大小:檔案建議在生產環境中使用10-50
- 並行:
withMaxConcurrent()方法可用 - 驗證:服務認證(OAuth S2S / JWT)
解決方法 resolution
請依照下列步驟解決問題:
-
使用直接二進位上傳
- 遵循程式化資產上傳教學課程和資產上傳HTTP API參考。
- 建議對大規模擷取使用直接二進位上傳方法,因為它會將檔案直接上傳至雲端儲存空間,並將AEM JVM上的負載降至最低。
-
設定批次大小和並行
-
使用檔案說明的 批次上傳 模式。
-
建議的啟動設定:
batchSize:每個批次20至50個檔案maxConcurrent:每個使用者端處理序5-8個同時上傳
-
根據試驗結果與觀察到的系統行為調整這些值。
-
-
監視器輸送量和處理
- 上傳API本身的每秒要求或每小時資產數沒有嚴格的硬性限制。
- 實際輸送量是由網路頻寬和使用者端並行度所控制。
- 上傳後處理(縮圖、中繼資料、Dynamic Media等) 由Asset Compute微服務處理。 一般處理速度為每小時5,000至9,000項資產。
- 若為50,000項資產,處理作業應在標準條件下的數至數小時內完成。
-
試驗與監視器
- 執行具有1,000-2,000個資產的試驗,以驗證設定並監視錯誤,例如逾時、HTTP 413 (承載太大)或HTTP 429 (太多要求)。
- 在AEM中監視處理時間和*處理……*橫幅。
- 視需要調整批次大小和並行,以最佳化輸送量而不觸發節流。
-
驗證與許可權
- 將服務認證(OAuth S2S / JWT)與具有所需上傳許可權的帳戶搭配使用。
-
適當地排程上傳
- 這個磁碟區不需要特殊環境放大。
- 請考慮在非尖峰時段執行上傳,以最大化處理輸送量。
原因
直接二進位上傳方法專為高容量擷取而設計,並運用雲端儲存和微服務來擴充能力。 輸送量主要受到上傳後處理能力的限制,而非上傳API本身。
recommendation-more-help
experience-cloud-kcs-help-kbarticles