Lidar com grandes repositórios de conteúdo

Visão geral

A cópia de um grande número de blobs com a Ferramenta de transferência de conteúdo (CTT) pode levar vários dias.
Para acelerar significativamente as fases de extração e assimilação da atividade de transferência de conteúdo para mover o conteúdo para o AEM as a Cloud Service, a CTT pode aproveitar AzCopy como uma etapa opcional de pré-cópia. Essa etapa de pré-cópia pode ser usada quando a instância do AEM de origem é configurada para usar um armazenamento de dados Amazon S3, Azure Blob Storage ou File Data Store. A etapa de pré-cópia é mais eficaz para a primeira extração e assimilação completas. No entanto, o uso da pré-cópia para os complementos subsequentes não é recomendado (se o tamanho do complemento for menor que 200 GB), pois pode adicionar tempo a todo o processo. Depois que essa pré-etapa for configurada, na fase de extração, o AzCopy copia blobs do Amazon S3, do Armazenamento de blobs do Azure ou do Armazenamento de dados do arquivo para o armazenamento de blobs do conjunto de migração. Na fase de ingestão, o AzCopy copia os blobs do armazenamento de blobs do conjunto de migração para o armazenamento de blobs do AEM as a Cloud Service de destino.

Considerações importantes antes de começar

Siga a seção abaixo para entender as considerações importantes antes de iniciar:

• A partir da versão 2.0.16 da CTT, a configuração da pré-cópia será feita automaticamente quando o pacote for instalado. Além disso, se o tamanho do conjunto de migração for maior que 200 GB, o processo de extração utilizará automaticamente o recurso de pré-cópia. O arquivo azcopy.config é criado no diretório crx-quickstart/cloud-migration/. Não é necessário fazer manualmente a configuração da pré-cópia se você estiver usando a versão 2.0.16 ou posterior da CTT.

• A versão do AEM de origem precisa ser 6.3 - 6.5.

• O armazenamento de dados do AEM de origem é configurado para usar o Amazon S3 ou o Armazenamento de Blobs do Azure. Para obter mais detalhes, consulte Configuração de armazenamentos de nós e armazenamentos de dados no AEM 6.

• Cada conjunto de migração copiará todo o armazenamento de dados, de modo que somente um único conjunto de migração deve ser usado.

• Você precisará de acesso para instalar o AzCopy na instância (ou VM) que executa a instância do AEM de origem.

• A Coleta de Lixo do Armazenamento de Dados foi executada nos 7 dias anteriores na origem. Para obter mais detalhes, consulte Coleta de lixo do armazenamento de dados.

Considerações adicionais se a instância do AEM de origem estiver configurada para usar um armazenamento de dados Amazon S3 ou Azure Blob

• Como há um custo associado à transferência de dados do Amazon S3 e do Armazenamento de blobs do Azure, o custo de transferência será relativo à quantidade total de dados no contêiner de armazenamento existente (seja referenciado no AEM ou não). Consulte Amazon S3 e Armazenamento Azure Blob para obter mais detalhes.

• Você precisará de um par de chave de acesso e chave secreta para o bucket existente do Amazon S3 de origem, ou de um URI SAS para o contêiner existente do Armazenamento de Blobs do Azure de origem (o acesso somente leitura está correto).

Considerações adicionais se a instância AEM de origem estiver configurada para usar o Armazenamento de dados de arquivo

• O sistema local deve ter espaço livre estritamente maior que o tamanho 1/256 do armazenamento de dados de origem. Por exemplo, se o tamanho do armazenamento de dados for de 3 TB, deverá existir espaço livre maior que 11,72 GB no crx-quickstart/cloud-migration na origem para que o AzCopy funcione. No mínimo, o sistema de origem deve ter 1 GB de espaço livre. O espaço livre pode ser obtido usando df -h comando nas instâncias do Linux e comando dir nas instâncias do Windows.

• Cada vez que a extração é executada com o AzCopy ativado, todo o armazenamento de dados do arquivo é nivelado e copiado para o contêiner de migração na nuvem. Se o conjunto de migração for significativamente menor que o tamanho do armazenamento de dados, a extração do AzCopy não será a abordagem ideal.

• Depois que o AzCopy for usado para copiar o armazenamento de dados existente, desative-o para extrações delta ou complementares.

Configuração do para usar o AzCopy como uma etapa de pré-cópia

Siga esta seção para saber como configurar o para usar o AzCopy como uma etapa de pré-cópia com a Ferramenta de transferência de conteúdo para migrar o conteúdo para o AEM as a Cloud Service:

0. Determine o tamanho total de todo o conteúdo no armazenamento de dados

É importante determinar o tamanho total do armazenamento de dados por dois motivos:

• Se o AEM de origem estiver configurado para usar o Armazenamento de dados do arquivo, o sistema local deve ter espaço livre estritamente maior que o tamanho 1/256 do armazenamento de dados de origem.

Armazenamento de dados do Azure Blob

Na página de propriedades do container existente no portal do Azure, use o Calcular tamanho botão para determinar o tamanho de todo o conteúdo no container. Por exemplo:

Armazenamento de dados Amazon S3

Você pode usar a guia Métricas do container para determinar o tamanho de todo o conteúdo no container. Por exemplo:

Armazenamento de dados do arquivo

• Para sistemas mac, UNIX, execute o comando du no diretório do armazenamento de dados para obter seu tamanho:
  du -sh [path to datastore on the instance]. Por exemplo, se o armazenamento de dados estiver localizado em /mnt/author/crx-quickstart/repository/datastore, o comando a seguir fornecerá o tamanho: du -sh /mnt/author/crx-quickstart/repository/datastore.

• No Windows, use o comando dir no diretório do armazenamento de dados para obter seu tamanho:
  dir /a/s [location of datastore].

1. Instalar o AzCopy

AzCopy é uma ferramenta de linha de comando fornecida pelo Microsoft que precisa estar disponível na instância de origem para habilitar esse recurso.

Em resumo, você provavelmente desejará fazer o download do binário x86-64 do Linux a partir do Página de documentos do AzCopy e remova-o do tar para um local como /usr/bin.

2. Instale a versão da Ferramenta de transferência de conteúdo (CTT) com suporte ao AzCopy

O suporte do AzCopy para Amazon S3, Armazenamento Azure Blob e Armazenamento de dados de arquivo está incluído na versão mais recente da CTT.
Você pode baixar a versão mais recente da CTT na Distribuição de software portal.
Observe que somente as versões 2.0.0 e posteriores serão compatíveis, e é aconselhável usar a versão mais recente.

3. Configurar um arquivo azcopy.config

Na instância do AEM de origem, em crx-quickstart/cloud-migration, crie um novo arquivo chamado azcopy.config.

Armazenamento de dados do Azure Blob

Seu arquivo azcopy.config deve incluir as seguintes propriedades (certifique-se de usar o azCopyPath e o azureSas corretos para sua instância).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Armazenamento de dados Amazon S3

Seu arquivo azcopy.config deve incluir as seguintes propriedades (certifique-se de usar os valores corretos para sua instância).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Armazenamento de dados do arquivo

Seu azcopy.config o arquivo deve conter a propriedade azCopyPath e uma propriedade opcional repository.home que aponta para o local do armazenamento de dados do arquivo. Use os valores corretos para sua instância.
Armazenamento de dados do arquivo

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

A propriedade azCopyPath deve conter o caminho completo do local em que a ferramenta de linha de comando azCopy está instalada na instância AEM de origem. Se a propriedade azCopyPath estiver ausente, a etapa de pré-cópia do blob não será executada.

Se repository.home a propriedade está ausente em azcopy.config, em seguida, o local do armazenamento de dados padrão /mnt/crx/author/crx-quickstart/repository/datastore será usado para executar a pré-cópia.

4. Extrair com o AzCopy

Com o arquivo de configuração acima em vigor, a fase de pré-cópia do AzCopy será executada como parte de cada extração subsequente. Para impedir a execução, você pode renomear ou remover este arquivo.

1. Inicie uma extração da interface da CTT. Consulte Introdução à ferramenta Transferência de conteúdo e a variável Processo de extração para obter mais detalhes.

2. Confirme se a seguinte linha está impressa no log de extração:

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Parabéns! Essa entrada de log significa que sua configuração foi considerada válida e que o AzCopy está copiando todos os blobs do container de origem para o container de migração no momento.

As entradas de log do AzCopy aparecerão no log de extração e terão o prefixo c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [Pré-cópia do AzCopy]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason -> github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

Caso ocorra um problema com o AzCopy, a extração falhará imediatamente e os logs de extração conterão detalhes sobre a falha.

Quaisquer blobs copiados antes do erro serão ignorados automaticamente pelo AzCopy nas execuções subsequentes e não precisarão ser copiados novamente.

Para Armazenamento de Dados de Arquivo

Quando o AzCopy estiver em execução para o arquivo de origem dataStore, você deverá ver mensagens como essas nos registros, indicando que as pastas estão sendo processadas:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Assimilar com AzCopy

Consulte Assimilar conteúdo no Target
para obter informações gerais sobre como assimilar conteúdo no destino a partir do Cloud Acceleration Manager (CAM), incluindo instruções sobre como usar ou não o AzCopy (pré-cópia) na caixa de diálogo "Nova assimilação".

Para aproveitar o AzCopy durante a assimilação, é necessário estar em uma versão as a Cloud Service do AEM que seja, pelo menos, a versão 2021.6.5561.

Consulte a lista "Trabalhos de assimilação" no Cloud Acceleration Manager e os registros da assimilação para ver o progresso. As entradas de log relacionadas às tarefas bem-sucedidas do AzCopy aparecerão da seguinte maneira (considerando algumas diferenças). A verificação dos registros ocasionalmente pode alertá-lo antecipadamente sobre os problemas e ajudá-lo a encontrar uma solução rápida para eles.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination doesn't have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

O que vem a seguir

Depois de aprender a lidar com grandes repositórios de conteúdo para acelerar significativamente as fases de extração e assimilação da atividade de transferência de conteúdo para mover o conteúdo para o AEM as a Cloud Service, agora você está pronto para aprender o processo de extração usando a ferramenta Transferência de conteúdo. Consulte Extração de conteúdo da origem na ferramenta Transferência de conteúdo para saber como extrair seu conjunto de migração da ferramenta Transferência de conteúdo.

Recursos do Business.Adobe.com