대형 콘텐츠 저장소 처리

개요

CTT(콘텐츠 전송 도구)를 사용하여 많은 수의 Blob를 복사하는 데 여러 날이 걸릴 수 있습니다.
컨텐츠 전송 활동의 추출 및 수집 단계 속도를 크게 향상시켜 컨텐츠를 AEM as a Cloud Service으로 이동하려면 CTT를 활용할 수 있습니다 AzCopy 선택적 사전 복사 단계입니다. 이 사전 복사 단계는 소스 AEM 인스턴스가 Amazon S3, Azure Blob Storage 데이터 저장소 또는 파일 데이터 저장소를 사용하도록 구성된 경우 사용할 수 있습니다. 사전 복사 단계는 첫 번째 전체 추출 및 수집에 가장 효과적입니다. 그러나 전체 프로세스에 시간이 추가될 수 있으므로 후속 추가 작업에 사전 복사를 사용하지 않는 것이 좋습니다(추가 크기가 200GB 미만인 경우). 이 사전 단계가 구성되면 추출 단계에서 AzCopy는 Amazon S3, Azure Blob Storage 또는 파일 데이터 저장소의 Blob을 마이그레이션 세트 Blob 저장소로 복사합니다. 수집 단계에서 AzCopy는 마이그레이션 세트 Blob 저장소의 Blob을 대상 AEM as a Cloud Service Blob 저장소로 복사합니다.

시작하기 전에 고려해야 할 중요한 사항

시작하기 전에 중요한 고려 사항을 이해하려면 아래 섹션을 따르십시오.

• CTT 버전 2.0.16부터 번들을 설치하면 사전 복사 설정이 자동으로 수행됩니다. 또한 마이그레이션 세트 크기가 200GB보다 큰 경우 추출 프로세스에서 사전 복사 기능을 자동으로 활용합니다. azcopy.config 파일은 crx-quickstart/cloud-migration/ 디렉토리에 생성됩니다. CTT 버전 2.0.16 이상을 사용하는 경우에는 사전 복사 설정을 수동으로 수행할 필요가 없습니다.

• 소스 AEM 버전은 6.3 - 6.5여야 합니다.

• 소스 AEM 데이터 저장소가 Amazon S3 또는 Azure Blob 저장소를 사용하도록 구성되었습니다. 자세한 내용은 다음을 참조하십시오. AEM 6에서 노드 저장소 및 데이터 저장소 구성.

• 각 마이그레이션 세트는 전체 데이터 저장소를 복사하므로 단일 마이그레이션 세트만 사용해야 합니다.

• 설치하려면 액세스 권한이 필요합니다. AzCopy 소스 AEM 인스턴스를 실행하는 인스턴스(또는 VM)에서

• 데이터 저장소 가비지 수집이 소스에서 이전 7일 내에 실행되었습니다. 자세한 내용은 다음을 참조하십시오. 데이터 저장소 가비지 수집.

소스 AEM 인스턴스가 Amazon S3 또는 Azure Blob 저장 공간 데이터 저장소를 사용하도록 구성된 경우 추가 고려 사항

• Amazon S3 및 Azure Blob Storage 모두에서 데이터를 전송하는 것과 관련된 비용이 있으므로 전송 비용은 기존 저장소 컨테이너의 총 데이터 양(AEM에서 참조되는지 여부)에 상대적입니다. 을(를) 참조하십시오 Amazon 및 Azure Blob 저장소 을 참조하십시오.

• 기존 소스 Amazon S3 버킷에 대한 액세스 키 및 비밀 키 쌍 또는 기존 소스 Azure Blob 스토리지 컨테이너에 대한 SAS URI가 필요합니다(읽기 전용 액세스는 사용 가능).

소스 AEM 인스턴스가 파일 데이터 저장소를 사용하도록 구성된 경우 추가 고려 사항

• 로컬 시스템의 사용 가능한 공간은 소스 데이터 저장소의 1/256 크기보다 엄격히 커야 합니다. 예를 들어 데이터 저장소의 크기가 3TB인 경우 11.72GB보다 큰 사용 가능한 공간이 crx-quickstart/cloud-migration AzCopy가 작동하도록 소스에 있는 폴더입니다. 최소한 소스 시스템의 여유 공간은 1GB여야 합니다. 사용 가능한 공간은 다음을 사용하여 얻을 수 있습니다. df -h linux 인스턴스의 명령 및 Windows 인스턴스의 dir 명령

• AzCopy를 활성화한 상태로 추출을 실행할 때마다 전체 파일 데이터 저장소가 병합되고 클라우드 마이그레이션 컨테이너에 복사됩니다. 마이그레이션 세트가 데이터 저장소의 크기보다 훨씬 작은 경우 AzCopy 추출이 최적의 접근 방식이 아닙니다.

• AzCopy를 사용하여 기존 데이터 저장소를 복사한 후에는 델타 또는 추가 추출에 대해 비활성화하십시오.

사전 복사 단계로 AzCopy를 사용하도록 설정

이 섹션을 따라 AzCopy를 컨텐츠 전송 도구를 사용하여 AzCopy를 사전 복사 단계로 사용하여 컨텐츠를 AEM as a Cloud Service으로 마이그레이션하도록 설정하는 방법을 알아보십시오.

0. 데이터 저장소에 있는 모든 컨텐츠의 총 크기 결정

다음 두 가지 이유로 데이터 저장소의 총 크기를 결정하는 것이 중요합니다.

• 소스 AEM이 파일 데이터 저장소를 사용하도록 구성된 경우 로컬 시스템의 사용 가능한 공간은 소스 데이터 저장소의 1/256 크기보다 엄격히 커야 합니다.

Azure Blob 저장소 데이터 저장소

Azure 포털의 기존 컨테이너 속성 페이지에서 크기 계산 컨테이너에 있는 모든 콘텐츠의 크기를 결정하는 단추입니다. 예:

Amazon S3 데이터 저장소

컨테이너의 지표 탭을 사용하여 컨테이너에 있는 모든 콘텐츠의 크기를 결정할 수 있습니다. 예:

파일 데이터 저장소

• mac, UNIX 시스템의 경우 데이터 저장소 디렉토리에서 du 명령을 실행하여 크기를 가져옵니다.
  du -sh [path to datastore on the instance]을 따르지 않는 경우입니다. 예를 들어 데이터 저장소가에 있는 경우 /mnt/author/crx-quickstart/repository/datastore, 다음 명령을 실행하면 크기가 표시됩니다. du -sh /mnt/author/crx-quickstart/repository/datastore.

• Windows의 경우 데이터 저장소 디렉토리에서 dir 명령을 사용하여 해당 크기를 가져옵니다.
  dir /a/s [location of datastore].

1. AzCopy 설치

AzCopy 는 이 기능을 활성화하기 위해 소스 인스턴스에서 사용할 수 있어야 하는 Microsoft에서 제공하는 명령줄 도구입니다.

즉, Linux x86-64 바이너리를 AzCopy 문서 페이지 /usr/bin과 같은 위치로 tar을 해제합니다.

2. AzCopy 지원을 통해 CTT(Content Transfer Tool) 릴리스 설치

Amazon S3, Azure Blob Storage 및 파일 데이터 저장소에 대한 AzCopy 지원이 최신 CTT 릴리스에 포함되어 있습니다.
에서 CTT의 최신 릴리스를 다운로드할 수 있습니다. 소프트웨어 배포 포털.
버전 2.0.0 이상만 지원되며 최신 버전을 사용하는 것이 좋습니다.

3. azcopy.config 파일 구성

소스 AEM 인스턴스의 crx-quickstart/cloud-migration, 라는 새 파일을 만듭니다. azcopy.config.

Azure Blob 저장소 데이터 저장소

azcopy.config 파일에는 다음 속성이 포함되어야 합니다(인스턴스에 올바른 azCopyPath 및 azureSas를 사용해야 함).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Amazon S3 데이터 저장소

azcopy.config 파일에는 다음 속성이 포함되어야 합니다(인스턴스에 올바른 값을 사용해야 함).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

파일 데이터 저장소

사용자 azcopy.config 파일에는 파일 데이터 저장소의 위치를 가리키는 선택적 repository.home 속성과 azCopyPath 속성이 포함되어야 합니다. 인스턴스에 올바른 값을 사용하십시오.
파일 데이터 저장소

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

azCopyPath 속성은 azCopy 명령줄 도구가 소스 AEM 인스턴스에 설치된 위치의 전체 경로를 포함해야 합니다. azCopyPath 속성이 없으면 Blob 사전 복사 단계가 수행되지 않습니다.

If repository.home 속성이 azcopy.config에 없으면 기본 데이터 저장소 위치가 누락됩니다. /mnt/crx/author/crx-quickstart/repository/datastore 는 사전 복사를 수행하는 데 사용됩니다.

4. AzCopy로 추출

위의 구성 파일이 있는 경우 AzCopy 사전 복사 단계는 모든 후속 추출의 일부로 실행됩니다. 실행을 방지하기 위해 이 파일의 이름을 바꾸거나 제거할 수 있습니다.

1. CTT UI에서 추출을 시작합니다. 을(를) 참조하십시오 컨텐츠 전송 도구 시작하기 및 추출 프로세스 을 참조하십시오.

2. 추출 로그에 다음 줄이 인쇄되었는지 확인합니다.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

축하합니다! 이 로그 항목은 구성이 유효한 것으로 간주되었으며 AzCopy가 현재 소스 컨테이너의 모든 블롭을 마이그레이션 컨테이너로 복사하고 있음을 의미합니다.

AzCopy의 로그 항목은 추출 로그에 표시되고 접두사로 c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [AzCopy 사전 복사]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason -> github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

AzCopy에 문제가 발생하면 추출이 즉시 실패하고 추출 로그에 실패에 대한 세부 정보가 포함됩니다.

오류 이전에 복사된 모든 블롭은 후속 실행 시 AzCopy에서 자동으로 건너뛰므로 다시 복사할 필요가 없습니다.

파일 데이터 저장소용

소스 파일 dataStore에 대해 AzCopy가 실행 중이면 다음과 같은 메시지가 로그에 표시되는데, 이는 폴더가 처리 중임을 나타냅니다.
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. AzCopy로 수집

을(를) 참조하십시오 Target에 컨텐츠 수집
​- "새 수집" 대화 상자에서 AzCopy(사전 복사) 사용 여부에 대한 지침을 포함하여 Cloud Acceleration Manager(CAM)에서 대상으로 콘텐츠를 수집하는 방법에 대한 일반적인 정보입니다.

수집 중에 AzCopy를 활용하려면 최소 버전 2021.6.5561의 AEM as a Cloud Service 버전을 사용해야 합니다.

진행 상황을 보려면 Cloud Acceleration Manager의 "수집 작업" 목록 및 수집 로그를 참조하십시오. 성공한 AzCopy 작업과 관련된 로그 항목은 다음과 같이 표시됩니다(일부 차이점 허용). 로그를 가끔 확인하면 문제를 조기에 경고하고 모든 문제에 대한 빠른 해결 방법을 찾는 데 도움이 될 수 있습니다.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination doesn't have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

다음 단계

AEM 대형 콘텐츠 저장소 처리를 통해 콘텐츠 전송 활동의 추출 및 수집 단계 속도를 크게 높여 콘텐츠를 as a Cloud Service으로 이동하는 방법을 학습했다면 이제 콘텐츠 전송 도구를 사용한 추출 프로세스를 학습할 준비가 된 것입니다. 다음을 참조하십시오 컨텐츠 전송 도구에서 소스에서 컨텐츠 추출 콘텐츠 전송 도구에서 마이그레이션 세트를 추출하는 방법을 알아봅니다.

Business.Adobe.com 리소스