Gestión de repositorios de contenido grandes handling-large-content-repositories

Información general overview

Copiar muchos blobs con la herramienta de transferencia de contenido (CTT) puede tardar varios días.
Para acelerar las fases de extracción e ingesta de la actividad de transferencia de contenido y mover contenido a AEM as a Cloud Service, CTT puede usar AzCopy como un paso previo a la copia opcional. AEM Este paso previo a la copia se puede utilizar cuando la instancia de origen se configura para que utilice un almacén de datos de Amazon S3, Azure Blob Storage o un almacén de datos de archivo. El paso previo a la copia es más eficaz para la primera extracción e ingesta completas. Sin embargo, no se recomienda utilizar la copia previa para recargas posteriores (si el tamaño de la recarga es inferior a 200 GB), ya que puede añadir tiempo a todo el proceso. Una vez configurado este paso previo, en la fase de extracción, AzCopy copia blobs de Amazon S3, Azure Blob Storage o el almacén de datos de archivo al almacén de blobs del conjunto de migración. En la fase de ingesta, AzCopy copia los blobs del almacén de blobs del conjunto de migración al almacén de blobs de destino de AEM as a Cloud Service.

Consideraciones importantes antes de comenzar important-considerations

En la sección siguiente se comprenden las consideraciones importantes antes de comenzar:

AEM Consideraciones adicionales si la instancia de la fuente de datos está configurada para usar un almacén de datos de almacenamiento de Amazon S3 o Azure Blob additional-considerations-amazons3-azure

AEM Consideraciones adicionales si la instancia de origen está configurada para utilizar el almacén de datos de archivo additional-considerations-aem-instance-filedatastore

Configuración para utilizar AzCopy como paso previo a la copia setting-up-pre-copy-step

Siga esta sección para aprender a configurar para utilizar AzCopy como paso previo a la copia con la herramienta de transferencia de contenido para migrar el contenido a AEM as a Cloud Service:

0. Determinar el tamaño total de todo el contenido del almacén de datos determine-total-size

Es importante determinar el tamaño total del almacén de datos por dos motivos:

Almacén de datos de almacenamiento de Azure Blob azure-blob-storage

Desde la página de propiedades de contenedor existente en el portal de Azure, utilice el botón Calcular tamaño para determinar el tamaño de todo el contenido del contenedor. Por ejemplo:

Almacén de datos de Amazon S3 amazon-data

Puede utilizar la pestaña Métricas del contenedor para determinar el tamaño de todo el contenido del contenedor. Por ejemplo:

Almacén de datos de archivo file-data-store-determine-size

1. Instalar AzCopy install-azcopy

AzCopy es una herramienta de línea de comandos proporcionada por Microsoft® que debe estar disponible en la instancia de origen para habilitar esta característica.

En resumen, desea descargar el binario Linux® x86-64 desde la página de documentos de AzCopy y descomprimirlo en una ubicación como /usr/bin.

2. Instale la versión de la herramienta de transferencia de contenido (CTT) con compatibilidad con AzCopy install-ctt-azcopy-support

La compatibilidad con AzCopy para Amazon S3, Azure Blob Storage y File Data Store se incluye en la última versión de CTT.
Puede descargar la última versión de CTT desde el portal Distribución de software.
Debe tenerse en cuenta que solo se admiten las versiones 2.0.0 y posteriores, y es aconsejable utilizar la versión más reciente.

3. Configurar un archivo azcopy.config configure-azcopy-config-file

AEM En la instancia de origen de la, en crx-quickstart/cloud-migration, cree un archivo denominado azcopy.config.

Almacén de datos de almacenamiento de Azure Blob azure-blob-storage-data

El archivo azcopy.config debe incluir las siguientes propiedades (asegúrese de utilizar azCopyPath y azureSas correctos para su instancia).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Almacén de datos de Amazon S3 amazon-sdata-store

El archivo azcopy.config debe incluir las siguientes propiedades (asegúrese de utilizar los valores correctos para su instancia).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Almacén de datos de archivo file-data-store-azcopy-config

El archivo azcopy.config debe contener la propiedad azCopyPath y una propiedad repository.home opcional que señale a la ubicación del almacén de datos del archivo. Utilice los valores correctos para su instancia.
Almacén de datos de archivo

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

AEM La propiedad azCopyPath debe contener la ruta de acceso completa de la ubicación en la que está instalada la herramienta de línea de comandos azCopy en la instancia de origen de la instancia de la. Si falta la propiedad azCopyPath, no se realiza el paso de precopia del blob.

Si falta la propiedad repository.home en azcopy.config, se usa la ubicación predeterminada del almacén de datos /mnt/crx/author/crx-quickstart/repository/datastore para realizar la precopia.

4. Extracción con AzCopy extracting-azcopy

Con el archivo de configuración anterior en su lugar, la fase de precopia de AzCopy se ejecuta como parte de cada extracción posterior. Para evitar que se ejecute, puede cambiar el nombre de este archivo o quitarlo.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Enhorabuena. Esta entrada de registro significa que la configuración se consideró válida y que AzCopy está copiando todos los blobs del contenedor de origen al contenedor de migración.

Las entradas de registro de AzCopy aparecen en el registro de extracción y llevan el prefijo c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [Copia previa de AzCopy]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason > github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

Si hay un problema con AzCopy, la extracción falla inmediatamente y los registros de extracción contienen detalles sobre el error.

AzCopy omite automáticamente los blobs copiados antes del error en ejecuciones posteriores y no es necesario copiarlos de nuevo.

Para el almacén de datos de archivos file-data-store-extract

Cuando se ejecuta AzCopy para el almacén de datos del archivo de origen, debe ver mensajes como estos en los registros que indican que se están procesando las carpetas:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Ingesta con AzCopy ingesting-azcopy

Consulte Ingesta de contenido en Target para obtener información general sobre la ingesta de contenido en el destino desde Cloud Acceleration Manager (CAM), incluidas instrucciones sobre cómo usar AzCopy (copia previa) o no en el cuadro de diálogo "Nueva ingesta".

Para aprovechar AzCopy durante la ingesta, el Adobe requiere que esté en una versión de AEM as a Cloud Service que sea al menos la 2021.6.5561.

Consulte la lista "Trabajos de ingesta" en Cloud Acceleration Manager y los registros de ingesta para poder ver el progreso. Las entradas de registro relacionadas con la variable
Las tareas de AzCopy correctas aparecen de la siguiente manera (lo que permite algunas diferencias). Comprobar los registros ocasionalmente podría alertarle sobre problemas
al principio, y le ayudará a encontrar una solución rápida a cualquier problema.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

Siguientes pasos whats-next

Ya ha aprendido a gestionar repositorios de contenido grandes para acelerar las fases de extracción e ingesta de la actividad de transferencia de contenido y mover contenido a AEM as a Cloud Service. Ya está listo para aprender el proceso de extracción con la herramienta de transferencia de contenido. Consulte Extracción de contenido de Source en la herramienta de transferencia de contenido para que pueda aprender a extraer el conjunto de migración de la herramienta de transferencia de contenido.