Hantera stora innehållsdatabaser

Översikt

Det kan ta flera dagar att kopiera ett stort antal bloggar med innehållsöverföringsverktyget (CTT).
För att avsevärt snabba upp extraherings- och intagsfaserna i innehållsöverföringsaktiviteten så att innehållet flyttas till AEM as a Cloud Service kan CTT utnyttja AzCopy som ett valfritt förkopieringssteg. Detta förkopieringssteg kan användas när AEM är konfigurerad att använda ett Amazon S3-, Azure Blob Storage-datalager eller ett File Data Store. Steg före kopiering är mest effektivt för första fullständiga extrahering och förtäring. Vi rekommenderar dock inte att du använder pre-copy för efterföljande översta filer (om den översta storleken är mindre än 200 GB) eftersom det kan göra hela processen tidsödande. När det här försteget är konfigurerat kopierar AzCopy i extraheringsfasen blober från Amazon S3, Azure Blob Storage eller File data store till migreringsuppsättningens blobbutik. Under själva intaget kopierar AzCopy blober från migreringsuppsättningens blobbutik till AEM as a Cloud Service blobbutik.

Viktiga överväganden innan du börjar

Följ avsnittet nedan för att förstå viktiga aspekter innan du börjar:

• Från och med version 2.0.16 av CTT görs precopy-installationen automatiskt när paketet installeras. Om migreringsuppsättningens storlek är större än 200 GB används dessutom funktionen för prekopia automatiskt i extraheringsprocessen. Filen azcopy.config skapas i katalogen crx-quickstart/cloud-migration/. Du behöver inte konfigurera prekopian manuellt om du använder CTT version 2.0.16 eller senare.

• AEM måste vara 6.3-6.5.

• AEM är konfigurerat att använda Amazon S3 eller Azure Blob Storage. Mer information finns i Konfigurera nodarkiv och datalager i AEM 6.

• Varje migreringsuppsättning kopierar hela datalagret, så bara en migreringsuppsättning ska användas.

• Du måste ha tillgång till installationen AzCopy på den instans (eller VM) som kör AEM.

• Skräpinsamlingen för datalagret har körts inom de senaste 7 dagarna på källan. Mer information finns i Skräpinsamling för datalager.

Ytterligare överväganden om AEM är konfigurerad att använda ett Amazon S3- eller Azure Blob Storage Data Store

• Eftersom det finns en kostnad som är kopplad till överföring av data från både Amazon S3 och Azure Blob Storage, kommer överföringskostnaden att vara relativ till den totala mängden data i din befintliga lagringsbehållare (oavsett om det hänvisas till i AEM eller inte). Se Amazon S3 och Azure Blob Storage för mer information.

• Du behöver antingen ett åtkomstnyckel och hemligt nyckelpar för den befintliga Amazon S3-källkodsbucket eller en SAS URI för den befintliga Azure Blob Storage-källbehållaren (skrivskyddad åtkomst är bra).

Ytterligare överväganden om AEM är konfigurerad att använda fildatalagret

• Det lokala systemet måste ha ett ledigt utrymme som är större än storleken 1/256 för källdatalagret. Om datalagrets storlek till exempel är 3 TB måste det finnas ett ledigt utrymme som är större än 11,72 GB i crx-quickstart/cloud-migration på källan för att AzCopy ska fungera. Källsystemet bör ha minst 1 GB ledigt utrymme. Du kan frigöra utrymme genom att använda df -h i Linux-instanser och kommandot dir i Windows-instanser.

• Varje gång extraheringen körs med AzCopy aktiverat förenklas hela fildatalagret och kopieras till molnmigreringsbehållaren. Om din migreringsuppsättning är betydligt mindre än storleken på datalagret är AzCopy-extraheringen inte den optimala metoden.

• När AzCopy har använts för att kopiera över det befintliga datalagret kan du inaktivera det för delta- eller top-up-extraheringar.

Konfigurera för att använda AzCopy som ett förkopieringssteg

Följ det här avsnittet för att lära dig hur du konfigurerar att använda AzCopy som ett förkopieringssteg med verktyget Innehållsöverföring för att migrera innehållet till AEM as a Cloud Service:

0. Bestämma den totala storleken för allt innehåll i datalagret

Det är viktigt att fastställa den totala storleken på datalagret av två skäl:

• Om AEM är konfigurerad att använda fildatalagret måste det lokala systemet ha ett utrymme som är större än storleken 1/256 för källdatalagret.

Azure Blob Storage Data Store

På sidan med behållaregenskaper i Azure-portalen använder du Beräkna storlek för att bestämma storleken på allt innehåll i behållaren. Till exempel:

Amazon S3 - datalager

Du kan använda behållarens Metrisk-flik för att bestämma storleken på allt innehåll i behållaren. Till exempel:

Fildatalager

• För mac, UNIX-system kör du kommandot du i datastore-katalogen för att få dess storlek:
  du -sh [path to datastore on the instance]. Om datalagret till exempel finns på /mnt/author/crx-quickstart/repository/datastore, får du med följande kommando dess storlek: du -sh /mnt/author/crx-quickstart/repository/datastore.

• I Windows använder du kommandot dir i datastore-katalogen för att få fram dess storlek:
  dir /a/s [location of datastore].

1. Installera AzCopy

AzCopy är ett kommandoradsverktyg från Microsoft som måste vara tillgängligt på källinstansen för att den här funktionen ska kunna aktiveras.

Kort och gott: du vill troligen hämta binärfilen för Linux x86-64 från AzCopy-dokumentsida och ta bort det från en plats som /usr/bin.

2. Installera CTT (Content Transfer Tool) med stöd för AzCopy

Stöd för AzCopy för Amazon S3, Azure Blob Storage och File Data Store ingår i den senaste CTT-versionen.
Du kan hämta den senaste versionen av CTT från Programvarudistribution portal.
Observera att endast version 2.0.0 och senare stöds, och det är lämpligt att använda den senaste versionen.

3. Konfigurera en azcopy.config-fil

I AEM källinstansen crx-quickstart/cloud-migration, skapa en ny fil med namnet azcopy.config.

Azure Blob Storage Data Store

Filen azcopy.config bör innehålla följande egenskaper (se till att du använder rätt azCopyPath och azureSas för din instans).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Amazon S3 - datalager

Filen azcopy.config bör innehålla följande egenskaper (se till att använda rätt värden för din instans).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Fildatalager

Dina azcopy.config filen måste innehålla egenskapen azCopyPath och den valfria egenskapen database.home som pekar på platsen för fildatalagret. Använd rätt värden för instansen.
Fildatalager

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

Egenskapen azCopyPath måste innehålla den fullständiga sökvägen till den plats där kommandoradsverktyget azCopy är installerat på AEM. Om egenskapen azCopyPath saknas utförs inte blobbens precopy-steg.

If repository.home egenskapen saknas i azcopy.config, och därefter standardplatsen för datalagret /mnt/crx/author/crx-quickstart/repository/datastore används för att utföra precopy.

4. Extrahera med AzCopy

När ovanstående konfigurationsfil är på plats körs AzCopy-förkopieringsfasen som en del av varje efterföljande extrahering. Du kan förhindra att den körs genom att byta namn på filen eller ta bort den.

1. Starta en extrahering från CTT-gränssnittet. Se Komma igång med verktyget Innehållsöverföring och Extraheringsprocess för mer information.

2. Bekräfta att följande rad skrivs ut i extraheringsloggen:

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Grattis! Det här logginlägget innebär att konfigurationen ansågs vara giltig och att AzCopy kopierar alla blober från källbehållaren till flyttningsbehållaren.

Loggposterna från AzCopy visas i extraheringsloggen och har prefixet c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy - [AzCopy pre-copy]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason -> github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

Om ett problem uppstår med AzCopy misslyckas extraheringen omedelbart och extraheringsloggarna innehåller information om felet.

Alla blobbar som kopierats före felet hoppas över automatiskt av AzCopy vid efterföljande körningar och behöver inte kopieras igen.

För fildatalager

När AzCopy körs för källfilens dataStore bör du se meddelanden som dessa i loggarna som anger att mapparna bearbetas:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Ingesting with AzCopy

Se Infoga innehåll i mål
om du vill ha allmän information om hur du importerar innehåll till målet från CAM-hanteraren (Cloud Acceleration Manager), inklusive anvisningar om hur du använder AzCopy (pre-copy) eller inte, i dialogrutan Nytt intag.

För att du ska kunna utnyttja AzCopy under importen måste du ha en AEM as a Cloud Service version som är minst version 2021.6.5561.

Se listan "Ingessionsjobb" i Cloud Acceleration Manager och ingressens loggar för att se förloppet. Loggposterna som hör till de slutförda AzCopy-åtgärderna visas enligt följande (vilket kan medföra vissa skillnader). Om du kontrollerar loggarna vid olika tillfällen kan du få en varning om problem tidigt och hjälpa dig att hitta en snabb lösning på eventuella problem.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination doesn't have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

What's Next

När du har lärt dig att hantera stora innehållsdatabaser för att avsevärt snabba upp extraherings- och inmatningsfaserna i innehållsöverföringsaktiviteten så att innehållet flyttas till AEM as a Cloud Service, är du nu redo att lära dig extraheringsprocessen med verktyget Innehållsöverföring. Se Extrahera innehåll från källan i verktyget Innehållsöverföring om du vill lära dig hur du extraherar din migreringsuppsättning från verktyget Innehållsöverföring.

Resurser för Business.Adobe.com