Lidar com grandes repositórios de conteúdo handling-large-content-repositories

Visão geral overview

A cópia de muitos blobs com a Ferramenta de transferência de conteúdo (CTT) pode levar vários dias.
Para acelerar as fases de extração e assimilação da atividade de transferência de conteúdo para mover o conteúdo para o AEM as a Cloud Service, a CTT pode usar o AzCopy como etapa opcional de pré-cópia. Essa etapa de pré-cópia pode ser usada quando a instância do AEM de origem é configurada para usar um armazenamento de dados Amazon S3, Azure Blob Storage ou File Data Store. A etapa de pré-cópia é mais eficaz para a primeira extração e assimilação completas. No entanto, o uso da pré-cópia para os complementos subsequentes não é recomendado (se o tamanho do complemento for inferior a 200 GB), pois pode adicionar tempo a todo o processo. Depois que essa pré-etapa for configurada, na fase de extração, o AzCopy copia blobs do Amazon S3, do Armazenamento de blobs do Azure ou do Armazenamento de dados do arquivo para o armazenamento de blobs do conjunto de migração. Na fase de ingestão, o AzCopy copia os blobs do armazenamento de blobs do conjunto de migração para o armazenamento de blobs do AEM as a Cloud Service de destino.

Considerações importantes antes de começar important-considerations

Siga a seção abaixo para entender as considerações importantes antes de iniciar:

Considerações adicionais se a instância do AEM de origem estiver configurada para usar um armazenamento de dados Amazon S3 ou Azure Blob additional-considerations-amazons3-azure

Considerações adicionais se a instância AEM de origem estiver configurada para usar o Armazenamento de dados de arquivo additional-considerations-aem-instance-filedatastore

Configuração do para usar o AzCopy como uma etapa de pré-cópia setting-up-pre-copy-step

Siga esta seção para saber como configurar o para usar o AzCopy como uma etapa de pré-cópia com a ferramenta Transferência de conteúdo para migrar o conteúdo para o AEM as a Cloud Service:

0. Determine o tamanho total de todo o conteúdo no armazenamento de dados determine-total-size

É importante determinar o tamanho total do armazenamento de dados por dois motivos:

Armazenamento de dados do Azure Blob azure-blob-storage

Na página de propriedades do contêiner existente no portal do Azure, use o botão Calcular tamanho para determinar o tamanho de todo o conteúdo do contêiner. Por exemplo:

Armazenamento de dados Amazon S3 amazon-data

Você pode usar a guia Métricas do container para determinar o tamanho de todo o conteúdo no container. Por exemplo:

Armazenamento de dados do arquivo file-data-store-determine-size

1. Instalar o AzCopy install-azcopy

AzCopy é uma ferramenta de linha de comando fornecida pela Microsoft® que deve estar disponível na instância de origem para habilitar este recurso.

Resumindo, você deseja baixar o binário x86-64 do Linux® na página de documentos do AzCopy e descompactá-lo em um local como /usr/bin.

2. Instale a versão da Ferramenta de transferência de conteúdo (CTT) com suporte ao AzCopy install-ctt-azcopy-support

O suporte do AzCopy para Amazon S3, Armazenamento Azure Blob e Armazenamento de dados de arquivo está incluído na versão mais recente da CTT.
Você pode baixar a versão mais recente da CTT no portal Distribuição de Software.
Observe que somente as versões 2.0.0 e posteriores são compatíveis, e é aconselhável usar a versão mais recente.

3. Configurar um arquivo azcopy.config configure-azcopy-config-file

Na instância de AEM de origem, em crx-quickstart/cloud-migration, crie um arquivo chamado azcopy.config.

Armazenamento de dados do Azure Blob azure-blob-storage-data

Seu arquivo azcopy.config deve incluir as seguintes propriedades (certifique-se de usar o azCopyPath e o azureSas corretos para sua instância).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Armazenamento de dados Amazon S3 amazon-sdata-store

Seu arquivo azcopy.config deve incluir as seguintes propriedades (certifique-se de usar os valores corretos para sua instância).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Armazenamento de dados do arquivo file-data-store-azcopy-config

O arquivo azcopy.config deve conter a propriedade azCopyPath e uma propriedade repository.home opcional que aponta para o local do armazenamento de dados do arquivo. Use os valores corretos para sua instância.
Armazenamento de dados do arquivo

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

A propriedade azCopyPath deve conter o caminho completo do local em que a ferramenta de linha de comando azCopy está instalada na instância AEM de origem. Se a propriedade azCopyPath estiver ausente, a etapa de pré-cópia do blob não será executada.

Se a propriedade repository.home estiver ausente em azcopy.config, o local de armazenamento de dados padrão /mnt/crx/author/crx-quickstart/repository/datastore será usado para executar a pré-cópia.

4. Extrair com o AzCopy extracting-azcopy

Com o arquivo de configuração acima em vigor, a fase de pré-cópia do AzCopy é executada como parte de cada extração subsequente. Para impedir a execução, você pode renomear ou remover este arquivo.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Parabéns! Essa entrada de log significa que sua configuração foi considerada válida e que o AzCopy está copiando todos os blobs do container de origem para o container de migração.

As entradas de log do AzCopy aparecem no log de extração e recebem o prefixo c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [Pré-cópia do AzCopy]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason > github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

Se houver um problema com o AzCopy, a extração falhará imediatamente e os logs de extração conterão detalhes sobre a falha.

Todos os blobs copiados antes do erro são ignorados automaticamente pelo AzCopy nas execuções subsequentes e não precisam ser copiados novamente.

Para Armazenamento de Dados de Arquivo file-data-store-extract

Quando o AzCopy estiver em execução para o arquivo de origem dataStore, você deverá ver mensagens como essas nos registros, indicando que as pastas estão sendo processadas:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Assimilar com AzCopy ingesting-azcopy

Consulte Assimilando conteúdo no destino para obter informações gerais sobre como assimilar conteúdo no destino a partir do Cloud Acceleration Manager (CAM), incluindo instruções sobre como usar ou não o AzCopy (pré-cópia) na caixa de diálogo "Nova assimilação".

Para aproveitar o AzCopy durante a assimilação, o Adobe exige que você esteja em uma versão do AEM as a Cloud Service que seja, pelo menos, a versão 2021.6.5561.

Consulte a lista "Tarefas de assimilação" na Cloud Acceleration Manager e os registros da assimilação para que você possa ver o progresso. As entradas de log relacionadas ao
As tarefas bem-sucedidas do AzCopy são exibidas da seguinte maneira (considerando algumas diferenças). A verificação dos registros ocasionalmente pode alertá-lo de problemas
logo no início e ajudá-lo a encontrar uma solução rápida para qualquer problema.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

O que vem a seguir whats-next

Agora você aprendeu a lidar com grandes repositórios de conteúdo para acelerar as fases de extração e assimilação da atividade de transferência de conteúdo e mover o conteúdo para o AEM as a Cloud Service. Agora você está pronto para aprender o Processo de extração usando a ferramenta Transferência de conteúdo. Consulte Extração de conteúdo do Source na Ferramenta de transferência de conteúdo para que você possa aprender a extrair seu conjunto de migração da Ferramenta de transferência de conteúdo.