대형 콘텐츠 저장소 처리 handling-large-content-repositories

개요 overview

CTT(콘텐츠 전송 도구)를 사용하여 많은 Blob을 복사하는 데 며칠이 걸릴 수 있습니다.
컨텐츠 전송 활동의 추출 및 수집 단계 속도를 높여 컨텐츠를 AEM as a Cloud Service으로 이동하려면 CTT에서 AzCopy를 선택적 사전 복사 단계로 사용할 수 있습니다. 이 사전 복사 단계는 소스 AEM 인스턴스가 Amazon S3, Azure Blob Storage 데이터 저장소 또는 파일 데이터 저장소를 사용하도록 구성된 경우 사용할 수 있습니다. 사전 복사 단계는 첫 번째 전체 추출 및 수집에 가장 효과적입니다. 그러나 전체 프로세스에 시간이 추가될 수 있으므로 후속 추가 작업에 사전 복사를 사용하지 않는 것이 좋습니다(추가 크기가 200GB 미만인 경우). 이 사전 단계가 구성되면 추출 단계에서 AzCopy는 Amazon S3, Azure Blob Storage 또는 파일 데이터 저장소의 Blob을 마이그레이션 세트 Blob 저장소로 복사합니다. 수집 단계에서 AzCopy는 마이그레이션 세트 Blob 저장소의 Blob을 대상 AEM as a Cloud Service Blob 저장소로 복사합니다.

시작하기 전에 고려해야 할 중요한 사항 important-considerations

시작하기 전에 중요한 고려 사항을 이해하려면 아래 섹션을 따르십시오.

소스 AEM 인스턴스가 Amazon S3 또는 Azure Blob 저장 공간 데이터 저장소를 사용하도록 구성된 경우 추가 고려 사항 additional-considerations-amazons3-azure

소스 AEM 인스턴스가 파일 데이터 저장소를 사용하도록 구성된 경우 추가 고려 사항 additional-considerations-aem-instance-filedatastore

사전 복사 단계로 AzCopy를 사용하도록 설정 setting-up-pre-copy-step

이 섹션을 따라 수행하여 컨텐츠 전송 도구로 AzCopy를 사전 복사 단계로 사용하여 컨텐츠를 AEM as a Cloud Service으로 마이그레이션하도록 설정하는 방법을 알아보십시오.

0. 데이터 저장소에 있는 모든 컨텐츠의 총 크기 결정 determine-total-size

다음 두 가지 이유로 데이터 저장소의 총 크기를 결정하는 것이 중요합니다.

Azure Blob 저장소 데이터 저장소 azure-blob-storage

Azure 포털의 기존 컨테이너 속성 페이지에서 크기 계산 단추를 사용하여 컨테이너에 있는 모든 콘텐츠의 크기를 결정합니다. 예:

Amazon S3 데이터 저장소 amazon-data

컨테이너의 지표 탭을 사용하여 컨테이너에 있는 모든 콘텐츠의 크기를 결정할 수 있습니다. 예:

파일 데이터 저장소 file-data-store-determine-size

1. AzCopy 설치 install-azcopy

AzCopy은(는) Microsoft®에서 제공하는 명령줄 도구이며 이 기능을 사용하려면 원본 인스턴스에서 사용할 수 있어야 합니다.

즉, AzCopy 문서 페이지에서 Linux® x86-64 바이너리를 다운로드하고 /usr/bin과 같은 위치로 자르기를 해제합니다.

2. AzCopy 지원을 통해 CTT(Content Transfer Tool) 릴리스 설치 install-ctt-azcopy-support

Amazon S3, Azure Blob Storage 및 파일 데이터 저장소에 대한 AzCopy 지원이 최신 CTT 릴리스에 포함되어 있습니다.
소프트웨어 배포 포털에서 최신 CTT 릴리스를 다운로드할 수 있습니다.
버전 2.0.0 이상만 지원되며 최신 버전을 사용하는 것이 좋습니다.

3. azcopy.config 파일 구성 configure-azcopy-config-file

원본 AEM 인스턴스의 crx-quickstart/cloud-migration에서 azcopy.config 파일을 만듭니다.

Azure Blob 저장소 데이터 저장소 azure-blob-storage-data

azcopy.config 파일에는 다음 속성이 포함되어야 합니다(인스턴스에 올바른 azCopyPath 및 azureSas를 사용해야 함).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Amazon S3 데이터 저장소 amazon-sdata-store

azcopy.config 파일에는 다음 속성이 포함되어야 합니다(인스턴스에 올바른 값을 사용해야 함).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

파일 데이터 저장소 file-data-store-azcopy-config

azcopy.config 파일에는 azCopyPath 속성과 파일 데이터 저장소의 위치를 가리키는 선택적 repository.home 속성이 있어야 합니다. 인스턴스에 올바른 값을 사용하십시오.
파일 데이터 저장소

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

azCopyPath 속성은 azCopy 명령줄 도구가 소스 AEM 인스턴스에 설치된 위치의 전체 경로를 포함해야 합니다. azCopyPath 속성이 누락된 경우 Blob 사전 복사 단계가 수행되지 않습니다.

repository.home 속성이 azcopy.config에 없으면 기본 데이터 저장소 위치 /mnt/crx/author/crx-quickstart/repository/datastore을(를) 사용하여 사전 복사를 수행합니다.

4. AzCopy로 추출 extracting-azcopy

위의 구성 파일이 있는 경우 AzCopy 사전 복사 단계는 모든 후속 추출의 일부로 실행됩니다. 실행을 방지하기 위해 이 파일의 이름을 바꾸거나 제거할 수 있습니다.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

축하합니다! 이 로그 항목은 구성이 유효한 것으로 간주되었으며 AzCopy가 소스 컨테이너의 모든 블롭을 마이그레이션 컨테이너로 복사하고 있음을 의미합니다.

AzCopy의 로그 항목은 추출 로그에 나타나며 앞에 c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [AzCopy 사전 복사]가 붙습니다.

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason > github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

AzCopy에 문제가 있으면 추출이 즉시 실패하고 추출 로그에 실패에 대한 세부 정보가 포함됩니다.

오류 전에 복사된 모든 블롭은 후속 실행 시 AzCopy에 의해 자동으로 건너뛰므로 다시 복사할 필요가 없습니다.

파일 데이터 저장소용 file-data-store-extract

소스 파일 dataStore에 대해 AzCopy가 실행 중이면 다음과 같은 메시지가 로그에 표시되는데, 이는 폴더가 처리 중임을 나타냅니다.
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. AzCopy로 수집 ingesting-azcopy

"새 수집" 대화 상자에서 AzCopy(사전 복사) 사용 여부에 대한 지침을 포함하여 Cloud Acceleration Manager(CAM)에서 대상으로 컨텐츠를 수집하는 방법에 대한 일반 정보는 Ingesting Content ingesting을 참조하십시오.

수집 중에 AzCopy를 활용하려면 Adobe 시 버전 2021.6.5561 이상의 AEM as a Cloud Service 버전을 사용하고 있어야 합니다.

진행 상황을 확인할 수 있도록 Cloud Acceleration Manager의 "수집 작업" 목록 및 수집 로그를 참조하십시오. 와 관련된 로그 항목
성공한 AzCopy 작업은 다음과 같이 표시됩니다(일부 차이 허용). 로그를 가끔 확인하면 문제가 발생할 수 있습니다.
일찍이 모든 문제에 대한 빠른 해결책을 찾는 데 도움이 됩니다.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

다음 단계 whats-next

이제 AEM as a Cloud Service으로 콘텐츠를 이동하기 위한 콘텐츠 전송 활동의 추출 및 수집 단계 속도를 높이기 위해 대규모 콘텐츠 저장소 처리에 대해 배웠습니다. 이제 콘텐츠 전송 도구를 사용하여 추출 프로세스를 배울 준비가 되었습니다. 콘텐츠 전송 도구에서 마이그레이션 세트를 추출하는 방법을 배울 수 있도록 콘텐츠 전송 도구에서 Source에서 콘텐츠 추출을 참조하십시오.