Gestione di archivi di contenuti di grandi dimensioni handling-large-content-repositories

Panoramica overview

La copia di molti BLOB con lo strumento Content Transfer (CTT) può richiedere diversi giorni.
Per accelerare le fasi di estrazione e acquisizione dell'attività di trasferimento dei contenuti per spostare i contenuti in AEM as a Cloud Service, CTT può utilizzare AzCopy come passaggio facoltativo di pre-copia. Questo passaggio di pre-copia può essere utilizzato quando l’istanza AEM di origine è configurata per utilizzare un archivio dati di Amazon S3, Azure Blob Storage o File Data Store. Il passaggio di pre-copia è più efficace per la prima estrazione e acquisizione complete. Tuttavia, l’utilizzo della pre-copia per i successivi integratori non è consigliato (se la dimensione dell’integratore è inferiore a 200 GB) perché potrebbe aggiungere tempo all’intero processo. Una volta configurato questo passaggio preliminare, nella fase di estrazione, AzCopy copia i BLOB dall’archivio dati di Amazon S3, Azure Blob Storage o File nell’archivio BLOB del set di migrazione. Nella fase di acquisizione AzCopy copia i BLOB dall’archivio BLOB del set di migrazione all’archivio BLOB di AEM as a Cloud Service di destinazione.

Considerazioni importanti prima di iniziare important-considerations

Prima di iniziare, segui la sezione seguente per comprendere le considerazioni importanti:

Considerazioni aggiuntive se l’istanza AEM di origine è configurata per utilizzare un archivio dati di archiviazione Amazon S3 o Azure Blob additional-considerations-amazons3-azure

Considerazioni aggiuntive se l’istanza AEM di origine è configurata per utilizzare l’archivio dati dei file additional-considerations-aem-instance-filedatastore

Impostazione dell’utilizzo di AzCopy come passaggio di pre-copia setting-up-pre-copy-step

Segui questa sezione per scoprire come impostare l’utilizzo di AzCopy come passaggio pre-copia con lo strumento Content Transfer (Trasferimento contenuti) per migrare il contenuto in AEM as a Cloud Service:

0. Determinare la dimensione totale di tutto il contenuto nell’archivio dati determine-total-size

È importante determinare la dimensione totale dell’archivio dati per due motivi:

Archivio dati archiviazione BLOB di Azure azure-blob-storage

Dalla pagina delle proprietà del contenitore esistente nel portale di Azure, utilizzare il pulsante Calcola dimensione per determinare le dimensioni di tutto il contenuto nel contenitore. Ad esempio:

Archivio dati Amazon S3 amazon-data

Puoi utilizzare la scheda Metriche del contenitore per determinare le dimensioni di tutto il contenuto al suo interno. Ad esempio:

Archivio file di dati file-data-store-determine-size

1. Installare AzCopy install-azcopy

AzCopy è uno strumento della riga di comando fornito da Microsoft® che deve essere disponibile nell'istanza di origine per abilitare questa funzionalità.

In breve, si desidera scaricare il binario Linux® x86-64 dalla pagina dei documenti AzCopy e raddrizzarlo in una posizione come /usr/bin.

2. Installare la versione dello strumento Content Transfer (CTT) con supporto AzCopy install-ctt-azcopy-support

Il supporto di AzCopy per Amazon S3, Azure Blob Storage e File Data Store è incluso nell’ultima versione CTT.
Puoi scaricare l'ultima versione di CTT dal portale Distribuzione software.
È opportuno notare che sono supportate solo le versioni 2.0.0 e successive ed è consigliabile utilizzare la versione più recente.

3. Configurare un file azcopy.config configure-azcopy-config-file

Nell'istanza AEM di origine in crx-quickstart/cloud-migration creare un file denominato azcopy.config.

Archivio dati archiviazione BLOB di Azure azure-blob-storage-data

Il file azcopy.config deve includere le seguenti proprietà (assicurati di utilizzare i valori azCopyPath e azureSas corretti per la tua istanza).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Archivio dati Amazon S3 amazon-sdata-store

Il file azcopy.config deve includere le seguenti proprietà (assicurati di utilizzare i valori corretti per l’istanza).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Archivio file di dati file-data-store-azcopy-config

Il file azcopy.config deve contenere la proprietà azCopyPath e una proprietà repository.home facoltativa che punta alla posizione dell'archivio dati del file. Utilizza i valori corretti per l’istanza.
Archivio file di dati

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

La proprietà azCopyPath deve contenere il percorso completo del percorso in cui è installato lo strumento della riga di comando azCopy nell'istanza AEM di origine. Se manca la proprietà azCopyPath, il passaggio di precopia BLOB non viene eseguito.

Se la proprietà repository.home non è presente in azcopy.config, per eseguire la precopia viene utilizzato il percorso predefinito dell'archivio dati /mnt/crx/author/crx-quickstart/repository/datastore.

4. Estrazione con AzCopy extracting-azcopy

Con il file di configurazione di cui sopra attivo, la fase di pre-copia di AzCopy viene eseguita come parte di ogni estrazione successiva. Per evitare che venga eseguito, è possibile rinominare il file o rimuoverlo.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Congratulazioni Questa voce di registro indica che la configurazione è stata considerata valida e che AzCopy sta copiando tutti i BLOB dal contenitore di origine al contenitore di migrazione.

Le voci di registro da AzCopy vengono visualizzate nel registro di estrazione con il prefisso c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [Precopia AzCopy]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason > github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

Se si verifica un problema con AzCopy, l’estrazione non riesce immediatamente e i registri di estrazione contengono i dettagli dell’errore.

Eventuali BLOB copiati prima dell’errore vengono ignorati automaticamente da AzCopy nelle esecuzioni successive e non è necessario copiarli nuovamente.

Per archivio dati file file-data-store-extract

Quando AzCopy è in esecuzione per il file di origine dataStore, nei registri dovresti visualizzare messaggi come questi che indicano che le cartelle vengono elaborate:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Acquisizione con AzCopy ingesting-azcopy

Per informazioni generali sull'acquisizione di contenuti in Target da Cloud Acceleration Manager (CAM), incluse le istruzioni sull'utilizzo di AzCopy (pre-copia) o meno, nella finestra di dialogo "Nuova acquisizione", vedere Acquisizione di contenuti in Target.

Per sfruttare AzCopy durante l’acquisizione, Adobe richiede di utilizzare una versione di AEM as a Cloud Service che sia almeno la versione 2021.6.5561.

Consulta l’elenco "Processi di acquisizione" in Cloud Acceleration Manager e i registri di acquisizione per visualizzare l’avanzamento. Le voci di registro relative al
le attività AzCopy riuscite vengono visualizzate come segue (tenendo conto di alcune differenze). Controllare occasionalmente i registri potrebbe segnalare eventuali problemi
e aiutarti a trovare una soluzione rapida a qualsiasi problema.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

Passaggio successivo whats-next

Ora hai imparato a gestire archivi di contenuti di grandi dimensioni per velocizzare le fasi di estrazione e acquisizione dell’attività di trasferimento dei contenuti per spostare i contenuti in AEM as a Cloud Service. Ora puoi imparare il processo di estrazione utilizzando lo strumento Content Transfer (Trasferimento contenuti). Consulta Estrazione del contenuto da Source nello strumento Content Transfer per scoprire come estrarre il set di migrazione dallo strumento Content Transfer.