Gestion des référentiels de contenu volumineux handling-large-content-repositories

Présentation overview

La copie de nombreux objets Blob avec l’outil de transfert de contenu (CTT) peut prendre plusieurs jours.
Pour accélérer les phases d’extraction et d’ingestion de l’activité de transfert de contenu afin de déplacer le contenu vers AEM as a Cloud Service, le CTT peut utiliser AzCopy comme étape de pré-copie facultative. Cette étape de pré-copie peut être utilisée lorsque l’instance AEM source est configurée pour utiliser une banque de données Amazon S3, le stockage Blob Azure ou un magasin de données de fichiers. L’étape de précopie est la plus efficace pour la première extraction et ingestion complète. Toutefois, l’utilisation de la précopie pour les compléments ultérieurs n’est pas recommandée (si la taille du complément est inférieure à 200 Go), car cela peut allonger la durée de l’ensemble du processus. Une fois cette étape préalable configurée, dans la phase d’extraction, AzCopy copie les objets blob d’Amazon S3, d’Azure Blob Storage ou du File Data Store vers le magasin d’objets blob du jeu de migration. Au cours de la phase d’ingestion, AzCopy copie les objets blob de la boutique blob du jeu de migration vers la boutique blob d‘AEM as a Cloud Service.

Points importants avant de commencer important-considerations

Consultez la section ci-dessous pour comprendre les points importants à prendre en compte avant de commencer :

Considérations supplémentaires si l’instance d’AEM source est configurée pour utiliser un magasin de données Amazon S3 ou Stockage Blob Azure additional-considerations-amazons3-azure

Considérations supplémentaires si l’instance d’AEM source est configurée pour utiliser le File Data Store. additional-considerations-aem-instance-filedatastore

Configuration pour utiliser AzCopy en tant qu’étape de pré-copie setting-up-pre-copy-step

Consultez cette section pour savoir comment configurer l’utilisation d’AzCopy en tant qu’étape de pré-copie avec l’outil de transfert de contenu afin de migrer le contenu vers AEM as a Cloud Service :

0. Déterminer la taille totale de tout le contenu du magasin de données determine-total-size

Il est important de déterminer la taille totale de la banque de données pour deux raisons :

Entrepôt de données du stockage Blob Azure azure-blob-storage

Sur la page des propriétés du conteneur existant du portail Azure, utilisez le bouton Calculer la taille pour déterminer la taille de tout le contenu du conteneur. Par exemple :

Entrepôt de données S3 Amazon amazon-data

Vous pouvez utiliser l’onglet Mesures du conteneur pour déterminer la taille de tout le contenu du conteneur. Par exemple :

Banque de données Fichier file-data-store-determine-size

1. Installer AzCopy install-azcopy

AzCopy est un outil de ligne de commande fourni par Microsoft® qui doit être disponible sur l’instance source pour activer cette fonctionnalité.

En résumé, vous voulez télécharger le binaire Linux® x86-64 à partir de la page de documents AzCopy et le décompresser à un emplacement tel que /usr/bin.

2. Installez une version de l’outil de transfert de contenu (CTT) avec la prise en charge d’AzCopy. install-ctt-azcopy-support

La prise en charge d’AzCopy pour Amazon S3, le service Stockage Blob Azure et le magasin de données de fichiers est incluse dans la dernière version de CTT.
Vous pouvez télécharger la dernière version du CTT à partir du portail Distribution logicielle.
Notez que seules les versions 2.0.0 et ultérieures seront prises en charge et il est conseillé d’utiliser la version la plus récente.

3. Configurer un fichier azcopy.config. configure-azcopy-config-file

Sur l’instance AEM source, dans crx-quickstart/cloud-migration, créez un fichier appelé azcopy.config.

Entrepôt de données de stockage Azure Blob azure-blob-storage-data

Votre fichier azcopy.config doit inclure les propriétés suivantes (veillez à utiliser les azCopyPath et azureSas corrects pour votre instance).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Entrepôt de données S3 Amazon amazon-sdata-store

Votre fichier azcopy.config doit inclure les propriétés suivantes (veillez à utiliser les valeurs correctes pour votre instance).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Banque de données Fichier file-data-store-azcopy-config

Votre fichier azcopy.config doit contenir la propriété azCopyPath, ainsi qu’une propriété facultative repository.home qui pointe vers l’emplacement du magasin de données de fichiers. Utilisez les valeurs correctes pour votre instance.
Banque de données Fichier

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

La propriété azCopyPath doit contenir le chemin d’accès complet de l’emplacement où l’outil de ligne de commande azCopy est installé sur l’instance d’AEM source. Si la propriété azCopyPath est manquante, l’étape de précopie Blob n’est pas exécutée.

Si la propriété repository.home est manquante dans azcopy.config, alors l’emplacement par défaut du magasin de données /mnt/crx/author/crx-quickstart/repository/datastore est utilisé pour effectuer la précopie.

4. Extraire avec AzCopy extracting-azcopy

Une fois le fichier de configuration ci-dessus en place, la phase de précopie AzCopy s’exécute dans le cadre de chaque extraction ultérieure. Pour l’empêcher d’exécuter, vous pouvez renommer ce fichier ou le supprimer.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Félicitations. Cette entrée de journal signifie que votre configuration a été considérée comme valide et qu’AzCopy copie actuellement tous les objets Blob du conteneur source vers le conteneur de migration.

Les entrées de journal d’AzCopy apparaissent dans le journal d’extraction et sont précédées du préfixe c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy – [Précopie AzCopy]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason > github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

En cas de problème avec AzCopy, l’extraction échoue immédiatement et les journaux d’extraction contiennent des détails sur l’échec.

Les objets Blob qui ont été copiés avant l’erreur sont automatiquement ignorés par AzCopy lors des exécutions suivantes et n’ont pas besoin d’être copiés à nouveau.

Pour File Data Store file-data-store-extract

Lorsque AzCopy est en cours d’exécution pour le fichier source dataStore, vous devriez voir des messages comme ceux-ci dans les journaux indiquant que les dossiers sont en cours de traitement :
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Ingestion avec AzCopy ingesting-azcopy

Voir Ingestion de contenu dans Target pour obtenir des informations générales sur l’ingestion de contenu dans la cible à partir de Cloud Acceleration Manager (CAM), y compris des instructions sur l’utilisation d’AzCopy (pré-copie), ou non, dans la boîte de dialogue "Nouvelle ingestion".

Pour tirer parti d’AzCopy lors de l’ingestion, la version 2021.6.5561 d’AEM as a Cloud Service ou ultérieure est nécessaire.

Consultez la liste « Tâches d’ingestion » dans Cloud Acceleration Manager et les journaux d’ingestion pour voir la progression. Les entrées de journal concernant les
tâches AzCopy réussies s’affichent comme suit (sous réserve de quelques différences). La consultation périodique des journaux peut vous alerter d’un problème dès son apparition et vous permettre d’apporter une solution rapide.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

Prochaines étapes whats-next

Vous avez désormais des connaissances sur la gestion des référentiels de contenu volumineux pour accélérer les phases d’extraction et d’ingestion de l’activité de transfert de contenu afin de déplacer le contenu vers AEM as a Cloud Service. Vous pouvez désormais apprendre le processus d’extraction à l’aide de l’outil de transfert de contenu. Consultez Extraction de contenu de la source dans l’outil de transfert de contenu pour savoir comment extraire votre jeu de migration à partir de l’outil de transfert de contenu.