Hantera stora innehållsdatabaser handling-large-content-repositories

Ökning overview

Det kan ta flera dagar att kopiera många bloggar med innehållsöverföringsverktyget.
För att snabba upp extraherings- och inmatningsfaserna i innehållsöverföringsaktiviteten så att innehåll flyttas till AEM as a Cloud Service kan CTT använda AzCopy som ett valfritt förkopieringssteg. Detta förkopieringssteg kan användas när AEM är konfigurerad att använda ett Amazon S3-, Azure Blob Storage-datalager eller ett File Data Store. Steg före kopiering är mest effektivt för första fullständiga extrahering och förtäring. Vi rekommenderar dock inte att du använder pre-copy för efterföljande översta filer (om den översta storleken är mindre än 200 GB) eftersom det kan ge mer tid till hela processen. När det här försteget är konfigurerat kopierar AzCopy i extraheringsfasen blober från Amazon S3, Azure Blob Storage eller File data store till migreringsuppsättningens blobbutik. Under själva intaget kopierar AzCopy blober från migreringsuppsättningens blobbutik till AEM as a Cloud Service-målblobbutik.

Viktigt att tänka på innan du börjar important-considerations

Följ avsnittet nedan för att förstå viktiga aspekter innan du börjar:

Ytterligare överväganden om AEM är konfigurerad att använda ett Amazon S3- eller Azure Blob Storage Data Store additional-considerations-amazons3-azure

Ytterligare överväganden om AEM är konfigurerad att använda fildatalagret additional-considerations-aem-instance-filedatastore

Konfigurera för att använda AzCopy som ett förkopieringssteg setting-up-pre-copy-step

Följ det här avsnittet för att lära dig hur du konfigurerar att använda AzCopy som ett förkopieringssteg med verktyget Innehållsöverföring för att migrera innehållet till AEM as a Cloud Service:

0. Ange den totala storleken för allt innehåll i datalagret determine-total-size

Det är viktigt att fastställa den totala storleken på datalagret av två skäl:

Azure Blob Storage Data Store azure-blob-storage

Använd knappen Beräkna storlek för att avgöra storleken på allt innehåll i behållaren från sidan med befintliga behållaregenskaper i Azure-portalen. Till exempel:

Amazon S3 - datalager amazon-data

Du kan använda behållarens Metrisk-flik för att bestämma storleken på allt innehåll i behållaren. Till exempel:

Fildatalager file-data-store-determine-size

1. Installera AzCopy install-azcopy

AzCopy är ett kommandoradsverktyg från Microsoft® som måste vara tillgängligt på källinstansen för att den här funktionen ska kunna aktiveras.

Kort och gott: du vill hämta binärfilen för Linux® x86-64 från dokumentsidan AzCopy och ta bort den från en plats som /usr/bin.

2. Installera CTT (Content Transfer Tool) med stöd för AzCopy install-ctt-azcopy-support

Stöd för AzCopy för Amazon S3, Azure Blob Storage och File Data Store ingår i den senaste CTT-versionen.
Du kan hämta den senaste versionen av CTT från portalen Programdistribution.
Observera att endast version 2.0.0 och senare stöds, och det är lämpligt att använda den senaste versionen.

3. Konfigurera en azcopy.config-fil. configure-azcopy-config-file

Skapa en fil med namnet azcopy.config i källinstansen AEM crx-quickstart/cloud-migration.

Azure Blob Storage Data Store azure-blob-storage-data

Filen azcopy.config bör innehålla följande egenskaper (se till att du använder rätt azCopyPath och azureSas för din instans).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Amazon S3 - datalager amazon-sdata-store

Filen azcopy.config bör innehålla följande egenskaper (se till att använda rätt värden för din instans).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Fildatalager file-data-store-azcopy-config

Filen azcopy.config måste innehålla egenskapen azCopyPath och den valfria egenskapen database.home som pekar på platsen för fildatalagret. Använd rätt värden för instansen.
Fildatalager

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

Egenskapen azCopyPath måste innehålla den fullständiga sökvägen till den plats där kommandoradsverktyget azCopy är installerat på AEM. Om egenskapen azCopyPath saknas utförs inte blobbens precopy-steg.

Om egenskapen repository.home saknas i azcopy.config används standarddatalagrets plats /mnt/crx/author/crx-quickstart/repository/datastore för att utföra precopy.

4. Extrahera med AzCopy extracting-azcopy

När konfigurationsfilen ovan är på plats körs förkopieringsfasen av AzCopy som en del av varje efterföljande extrahering. Du kan förhindra att den körs genom att byta namn på filen eller ta bort den.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Grattis! Det här logginlägget innebär att din konfiguration ansågs vara giltig och att AzCopy kopierar alla blober från källbehållaren till flyttningsbehållaren.

Loggposterna från AzCopy visas i extraheringsloggen och har prefixet c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [AzCopy pre-copy]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason > github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

Om ett problem uppstår med AzCopy misslyckas extraheringen omedelbart och extraheringsloggarna innehåller information om felet.

Eventuella blobbar som kopierades före felet hoppas över automatiskt av AzCopy vid efterföljande körningar och behöver inte kopieras igen.

För fildatalager file-data-store-extract

När AzCopy körs för källfilens dataStore bör du se meddelanden som dessa i loggarna som anger att mapparna bearbetas:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Integmentera med AzCopy ingesting-azcopy

Se Inkludera innehåll i mål om du vill ha allmän information om hur du importerar innehåll till målet från Cloud Acceleration Manager (CAM), inklusive instruktioner om hur du använder AzCopy (pre-copy) eller inte, i dialogrutan Nytt intag.

För att du ska kunna utnyttja AzCopy vid intag måste du ha en AEM as a Cloud Service-version som är minst version 2021.6.5561.

Se listan "Ingessionsjobb" i Cloud Acceleration Manager och uppslagets loggar så att du kan se förloppet. Loggposterna som är relaterade till
AzCopy-åtgärder visas enligt följande (vilket kan medföra vissa skillnader). Om du kontrollerar loggarna vid olika tillfällen kan du få en varning om problem
tidigt och hjälper dig att hitta en snabb lösning på eventuella problem.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

What's Next whats-next

Du har nu lärt dig att hantera stora innehållsdatabaser för att snabba upp extraherings- och inmatningsfaserna i innehållsöverföringsaktiviteten så att du kan flytta innehåll till AEM as a Cloud Service. Nu kan du lära dig extraheringsprocessen med verktyget Innehållsöverföring. Se Extrahera innehåll från Source i verktyget Innehållsöverföring så att du kan lära dig hur du extraherar din migreringsuppsättning från verktyget Innehållsöverföring.