Ajuste de desempenho para armazenamento de dados S3 - Modo assíncrono

Descrição

Caso de uso:

Ter um armazenamento de dados S3 externo.

Execução de muito fazer upload atividades:

  • ingestões de vários e grandes ativos
  • importando definição de índice grande (gerada fora de banda)

Por padrão, os uploads de S3 são síncrono e mono-threaded, portanto, operações enormes podem levar algum tempo para serem realizadas

Resolução

A documentação especifica, no entanto, que os uploads de S3 podem ser configurados para execução assíncrono e multithread (10 threads por padrão):

https://experienceleague.adobe.com/docs/experience-manager-65/deploying/deploying/data-store-config.html?lang=pt-BR#async-upload

Para melhorar muito o tempo de uploads, é possível habilitar e testar o modo assíncrono adicionando um parâmetro do Sistema Java "oak.lucene.ds.async" para a linha de comando de inicialização:

-Doak.lucene.ds.async=true

Para alterar o número de threads de upload, é necessário especificar a variável uploadThreads no arquivo S3Datastore.config.

Essas configurações precisam ser testadas primeiro em um ambiente mais baixo, com alguns benchmarks, antes de levar a mudança para a produção.

Nesta página