AEM as a Cloud Service: estratégia e limites recomendados para o Upload de ativos programáticos em massa (~50.000 ativos)
Este artigo fornece orientação sobre práticas recomendadas, limites recomendados e configuração para uploads de ativos programáticos em massa para o AEM as a Cloud Service usando upload binário direto.
Descrição description
Ambiente
Adobe Experience Manager as a Cloud Service (AEMaaCS) (todas as versões)
Problema/Sintomas
Você precisa assimilar aproximadamente 50.000 ativos no DAM do AEM as a Cloud Service de um sistema externo usando a abordagem de upload binário direto com a biblioteca @adobe/aem-upload Node.js.
Você busca confirmação da estratégia recomendada, da taxa de transferência suportada, do tamanho do lote, da simultaneidade e de quaisquer limites oficiais para evitar sobrecarga do Asset Compute Service ou o acionamento da limitação. Nenhuma mensagem de erro foi relatada ainda, mas você deseja validar a abordagem antes da assimilação da produção.
- Volume de upload em massa: 50.000 ativos
- Abordagem: carregamento binário direto via URLs pré-assinadas (
@adobe/aem-upload) - Padrão de lote: upload de lote com lógica de repetição
- Tamanho do lote: a documentação sugere de 10 a 50 na produção
- Simultaneidade:
withMaxConcurrent()método disponível - Autenticação: credenciais de serviço (OAuth S2S / JWT)
Resolução resolution
Siga as etapas abaixo para resolver o problema:
-
Usar Carregamento Binário Direto
- Siga o Tutorial de carregamento de ativo programático e a Referência da API HTTP de carregamento de ativo.
- O método de upload binário direto é recomendado para assimilação em larga escala, pois carrega arquivos diretamente no armazenamento em nuvem e minimiza a carga na JVM do AEM.
-
Configurar Simultaneidade e Tamanho de Lote
-
Use o padrão Carregamento em Lote conforme descrito na documentação.
-
Configuração inicial recomendada:
batchSize: 20-50 arquivos por lotemaxConcurrent: de 5 a 8 uploads simultâneos por processo de cliente
-
Ajuste esses valores com base nos resultados do piloto e no comportamento observado do sistema.
-
-
Monitorar Taxa de Transferência e Processamento
- Não há limite rígido rigoroso em solicitações por segundo ou ativos por hora para a própria API de upload.
- A taxa de transferência real é controlada pela largura de banda da rede e pela simultaneidade do cliente.
- Processamento pós-upload (miniaturas, metadados, Dynamic Media etc.) é gerenciado pelos microsserviços da Asset Compute. As taxas de processamento típicas são de 5.000 a 9.000 ativos por hora.
- Para 50.000 ativos, o processamento deve ser concluído em algumas ou várias horas, sob condições padrão.
-
Piloto e Monitor
- Execute um piloto com 1.000-2.000 ativos para validar a configuração e monitorar erros, como tempos limite, HTTP 413 (Carga Muito Grande) ou HTTP 429 (Muitas Solicitações).
- Monitore os tempos de processamento e *Processando…*banners no AEM.
- Ajuste o tamanho do lote e a simultaneidade, conforme necessário, para otimizar a taxa de transferência sem acionar a limitação.
-
Autenticação e permissões
- Use credenciais de serviço (OAuth S2S / JWT) com uma conta que tenha as permissões de upload necessárias.
-
Agendar Carregamentos Adequadamente
- Não é necessário nenhum aumento de ambiente especial para este volume.
- Considere a execução de uploads fora do horário de pico para maximizar a taxa de transferência do processamento.
Causa
A abordagem de upload binário direto foi projetada para assimilação de grandes volumes e aproveita o armazenamento em nuvem e os microsserviços para escalabilidade. A taxa de transferência é limitada principalmente pela capacidade de processamento pós-upload, não pela própria API de upload.