Gestione di archivi di contenuti di grandi dimensioni

Panoramica

La copia di un numero elevato di BLOB con lo strumento Content Transfer (CTT) può richiedere più giorni.
Per accelerare in modo significativo le fasi di estrazione e acquisizione dell’attività di trasferimento dei contenuti per spostare i contenuti in AEM as a Cloud Service, il CTT può sfruttare AzCopy come passaggio di pre-copia facoltativo. Questo passaggio di pre-copia può essere utilizzato quando l'istanza AEM di origine è configurata per utilizzare un archivio dati Amazon S3, Azure Blob Storage o File Data Store. Il passaggio di pre-copia è più efficace per la prima estrazione e acquisizione completa. Tuttavia, non è consigliabile utilizzare la precopia per gli integratori successivi (se la dimensione dell’integrazione è inferiore a 200 GB) perché potrebbe aggiungere tempo all’intero processo. Una volta configurato questo passaggio preliminare, nella fase di estrazione, AzCopy copia i BLOB da Amazon S3, Azure Blob Storage o dall’archivio dati File nell’archivio BLOB del set di migrazione. Nella fase di acquisizione, AzCopy copia i BLOB dall’archivio BLOB del set di migrazione alla destinazione AEM archivio BLOB as a Cloud Service.

NOTA

Questa funzionalità è stata introdotta nella versione CTT 1.5.4.

Considerazioni importanti prima di iniziare

Leggi la sezione seguente per comprendere le considerazioni importanti prima di iniziare:

  • La versione di AEM di origine deve essere 6.3 - 6.5.

  • L'archivio dati AEM origine è configurato per utilizzare Amazon S3 o Azure Blob Storage. Per ulteriori dettagli, consulta Configurazione degli archivi di nodi e degli archivi di dati nel AEM 6.

  • Ogni set di migrazione copierà l’intero archivio dati, quindi deve essere utilizzato un solo set di migrazione.

  • Sarà necessario accedere all'installazione AzCopy sull'istanza (o VM) che esegue l'istanza di AEM sorgente.

  • Data Store Garbage Collection è stato eseguito nei 7 giorni precedenti sull'origine. Per ulteriori informazioni, consulta Raccolta rifiuti dell'archivio dati.

Considerazioni aggiuntive se l’istanza di AEM di origine è configurata per l’utilizzo di un archivio dati di archiviazione BLOB di Amazon S3 o Azure

  • Poiché è presente un costo associato al trasferimento di dati da Amazon S3 e Azure Blob Storage, il costo di trasferimento sarà relativo alla quantità totale di dati nel contenitore di archiviazione (a cui si fa riferimento in AEM o meno). Fai riferimento a Amazon S3 e Archiviazione BLOB di Azure per ulteriori dettagli.

  • Sarà necessario disporre di una coppia chiave di accesso e chiave segreta per il bucket Amazon S3 di origine o di un URI SAS per il contenitore di archiviazione BLOB di Azure di origine (l'accesso in sola lettura è corretto).

Considerazioni aggiuntive se l'istanza AEM di origine è configurata per l'utilizzo di File Data Store

  • Il sistema locale deve avere spazio libero strettamente superiore a 1/256 dimensioni del datastore sorgente. Ad esempio, se la dimensione del datastore è di 3 TB, deve esistere spazio libero superiore a 11,72 GB nel crx-quickstart/cloud-migration nella cartella di origine di AzCopy per il funzionamento. Come minimo, il sistema di origine deve avere 1 GB di spazio libero. Lo spazio libero può essere ottenuto utilizzando df -h comando sulle istanze Linux e comando dir nelle istanze Windows.

  • Ogni volta che l’estrazione viene eseguita con AzCopy abilitato, l’intero datastore del file viene appiattito e copiato nel contenitore di migrazione cloud. Se il set di migrazione è significativamente più piccolo della dimensione del datastore, l’estrazione di AzCopy non è l’approccio ottimale.

  • Una volta che AzCopy è stato utilizzato per copiare il datastore, disattivalo per le estrazioni delta o top-up.

Impostazione per utilizzare AzCopy come passaggio di pre-copia

Leggi questa sezione per scoprire come configurare per utilizzare AzCopy come passaggio di pre-copia con lo strumento Content Transfer (Trasferimento contenuti) per migrare il contenuto in AEM as a Cloud Service:

0. Determinare la dimensione totale di tutto il contenuto nell'archivio dati

È importante determinare la dimensione totale dell’archivio dati per due motivi:

  • Se l'AEM di origine è configurata per l'utilizzo dell'archivio dati File, lo spazio libero del sistema locale deve essere strettamente maggiore di 1/256 dimensioni dell'archivio dati di origine.

  • Conoscere la dimensione totale dell’archivio dati aiuterà a stimare i tempi di estrazione e acquisizione. Utilizza la Calcolatore dello strumento Content Transfer (Trasferimento contenuti) in Cloud Acceleration Manager per ottenere una stima dei tempi di estrazione e acquisizione.

Archivio dati archiviazione BLOB di Azure

Dalla pagina delle proprietà del contenitore nel portale di Azure, utilizza Calcola dimensioni per determinare le dimensioni di tutto il contenuto del contenitore. Esempio:

immagine

Archivio dati Amazon S3

Puoi utilizzare la scheda Metriche del contenitore per determinare la dimensione di tutto il contenuto del contenitore. Esempio:

immagine

Archivio file di dati

  • Per i sistemi mac, UNIX, eseguire il comando du nella directory del datastore per ottenere le sue dimensioni:
    du -sh [path to datastore on the instance]. Ad esempio, se il datastore si trova in /mnt/author/crx-quickstart/repository/datastore, il seguente comando ti darà le sue dimensioni: du -sh /mnt/author/crx-quickstart/repository/datastore.

  • Per Windows, utilizza il comando dir nella directory del datastore per ottenere le sue dimensioni:
    dir /a/s [location of datastore].

1. Installa AzCopy

AzCopy è uno strumento a riga di comando fornito da Microsoft che deve essere disponibile nell’istanza sorgente per abilitare questa funzione.

In breve, molto probabilmente si desidera scaricare il binario Linux x86-64 dal Pagina docs di AzCopy e cancellalo in una posizione come /usr/bin.

IMPORTANTE

Prendi nota di dove hai posizionato il binario, in quanto ti servirà il percorso completo in un passaggio successivo.

2. Installare una versione dello strumento Content Transfer (CTT) con il supporto AzCopy

Il supporto di AzCopy per Amazon S3 e Azure Blob Storage è incluso nella versione CTT 1.5.4.
Il supporto per File Data Store è incluso nella versione CTT 1.7.2 Puoi scaricare l'ultima versione di CTT da Distribuzione di software portale.

3. Configurare un file azcopy.config

Nell'istanza AEM di origine, in crx-quickstart/cloud-migration, crea un nuovo file denominato azcopy.config.

NOTA

Il contenuto di questo file di configurazione sarà diverso a seconda che l’istanza AEM di origine utilizzi un archivio dati o un archivio dati di Azure o Amazon S3 o File.

Archivio dati archiviazione BLOB di Azure

Il file azcopy.config deve includere le seguenti proprietà (assicurati di utilizzare le proprietà azCopyPath e azureSas corrette per la tua istanza).

NOTA

Se si preferisce non concedere l'accesso in scrittura al contenitore di archiviazione BLOB, è possibile generare un nuovo URI SAS che dispone solo delle autorizzazioni di lettura ed elenco.

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Archivio dati Amazon S3

Il file azcopy.config deve includere le seguenti proprietà (assicurati di utilizzare i valori corretti per la tua istanza).

NOTA

Se la tua istanza utilizza Ruoli IAM per consentire AEM di accedere a S3, dovrai creare un criterio e un utente con le azioni ListBucket e GetObject abilitate per il bucket S3. Una volta configurato, utilizza la chiave di accesso e la chiave segreta di questo utente.

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Archivio file di dati

Le azcopy.config Il file deve contenere la proprietà azcopyPath e una proprietà repository.home opzionale che punta alla posizione del datastore del file. Utilizza i valori corretti per la tua istanza.
Archivio file di dati

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

La proprietà azcopyPath deve contenere il percorso completo della posizione in cui lo strumento della riga di comando azCopy è installato nell'istanza di AEM di origine. Se la proprietà azCopyPath è mancante, il passaggio di precopia BLOB non verrà eseguito.

Se repository.home manca la proprietà da azcopy.config, quindi la posizione predefinita del datastore /mnt/crx/author/crx-quickstart/repository/datastore viene utilizzato per eseguire la precopia.

4. Estrazione con AzCopy

Con il file di configurazione sopra riportato, la fase di pre-copia di AzCopy verrà eseguita come parte di ogni estrazione successiva. Per evitare che venga eseguito, è possibile rinominare o rimuovere il file.

NOTA

Se AzCopy non è configurato correttamente, visualizzerai questo messaggio nei registri:
INFO c.a.g.s.m.c.a.AzCopyCloudBlobPreCopy - Blob pre-copy is not supported.

  1. Inizia un’estrazione dall’interfaccia utente CTT. Fai riferimento a Guida introduttiva allo strumento Content Transfer (Trasferimento contenuti) e Processo di estrazione per ulteriori dettagli.

  2. Conferma che la seguente riga venga stampata nel registro di estrazione:

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Congratulazioni! Questa voce di registro indica che la configurazione è stata considerata valida e che AzCopy sta attualmente copiando tutti i BLOB dal contenitore di origine al contenitore di migrazione.

Le voci di registro da AzCopy appariranno nel registro di estrazione e avranno il prefisso c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [Pre-copia di AzCopy]

ATTENZIONE

Per i primi minuti di un’estrazione, guarda attentamente i registri di estrazione per eventuali segnali di un problema. Ad esempio, ecco cosa verrebbe registrato se non fosse stato possibile trovare il contenitore di origine Azure:

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason -> github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

In caso di problemi con AzCopy, l’estrazione avrà esito negativo immediatamente e i log di estrazione conterranno dettagli sull’errore.

Eventuali BLOB copiati prima dell’errore verranno ignorati automaticamente da AzCopy nelle esecuzioni successive e non sarà necessario copiarli di nuovo.

Per archivio dati file

Quando AzCopy è in esecuzione per il file di origine dataStore, è necessario visualizzare messaggi come questi nei registri che indicano che le cartelle sono in fase di elaborazione:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Acquisizione con AzCopy

Con il rilascio dello strumento Content Transfer (Trasferimento contenuti) 1.5.4, è stato aggiunto il supporto AzCopy all’acquisizione di autori.

NOTA

Si consiglia di eseguire prima l’acquisizione dell’autore da sola. Questa operazione velocizza l’acquisizione di Publish quando questa viene eseguita in un secondo momento.

Per sfruttare AzCopy durante l’acquisizione, è necessario disporre di una versione AEM as a Cloud Service che sia almeno la versione 2021.6.5561.

Inizia l’acquisizione dell’autore dall’interfaccia utente CTT. Fai riferimento a Processo di acquisizione per ulteriori dettagli.
Le voci di registro da AzCopy verranno visualizzate nel registro di acquisizione. Avranno questo aspetto:

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination doesn't have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download


Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log


0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,


Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

Disabilitazione di AzCopy

Per disabilitare AzCopy, rinominare o eliminare il azcopy.config file.

Ad esempio, l’estrazione della copia digitale può essere disabilitata con: mv /mnt/crx/author/crx-quickstart/cloud-migration/azcopy.config /mnt/crx/author/crx-quickstart/cloud-migration/noazcopy.config.

Novità

Dopo aver appreso come gestire archivi di contenuti di grandi dimensioni per accelerare in modo significativo le fasi di estrazione e acquisizione dell’attività di trasferimento dei contenuti per spostare i contenuti in AEM as a Cloud Service, ora puoi imparare il processo di estrazione nello strumento Content Transfer (Trasferimento contenuti). Vedi Estrazione di contenuti dall’origine nello strumento Content Transfer (Trasferimento contenuti) per scoprire come estrarre il set di migrazione dallo strumento Content Transfer (Trasferimento contenuti).

In questa pagina