Ajuste del rendimiento para el almacén de datos S3: modo asincrónico
Descripción description
Caso de uso:
Tener un almacén de datos S3 externo.
Realizando muchas pruebas intensivas cargar actividades:
- ingestas de recursos múltiples y grandes
- importación de definiciones de índice grandes (generadas fuera de banda)
De forma predeterminada, las cargas de S3 son sincrónico y de subproceso único, por lo tanto, las operaciones enormes pueden tardar algún tiempo en realizarse
Resolución resolution
Sin embargo, la documentación especifica que las cargas de S3 se pueden configurar para que se realicen asincrónicamente y multiproceso (10 hilos de forma predeterminada):
Para mejorar en gran medida el tiempo de carga, es posible habilitar y probar el modo asincrónico añadiendo un parámetro de sistema Java "oak.lucene.ds.async" a la línea de comandos de inicio:
-Doak.lucene.ds.async=true
Para cambiar el número de hilos de carga, debe especificar el uploadThreads en el archivo S3Datastore.config.
Estos ajustes deben probarse primero en un entorno más bajo, realizando algunos análisis de rendimiento, antes de impulsar el cambio a producción.