Afhandeling van grote opslagplaatsen voor inhoud handling-large-content-repositories

Overzicht overview

Het kopiëren van vele blobs met het hulpmiddel van de Overdracht van de Inhoud (CTT) kan veelvoudige dagen vergen.
Om de extractie en inname fasen van de activiteit van de inhoudsoverdracht te versnellen om inhoud naar AEM as a Cloud Service te bewegen, kan CTT AzCopyals facultatieve pre-exemplaarstap gebruiken. Deze pre-exemplaarstap kan worden gebruikt wanneer de bron AEM instantie wordt gevormd om een Amazon S3, de opslag van de Gegevens van de Opslag van Azure Blob, of de Opslag van de Gegevens van het Dossier te gebruiken. De voorkopieerstap is het meest effectief voor de eerste volledige extractie en inname. Het gebruik van een voorkopie voor volgende top-ups wordt echter afgeraden (als de grootte van de top-up minder is dan 200 GB), omdat dit veel tijd kan kosten voor het gehele proces. Zodra deze voorstap is geconfigureerd, kopieert AzCopy in de extractiefase lobs van Amazon S3, Azure Blob Storage of File data store naar de migratieset blob store. In de innamefase kopieert AzCopy klodders van de blob store van de migratieset naar de AEM as a Cloud Service blob store van de bestemming.

Belangrijke overwegingen voordat u begint important-considerations

Volg de onderstaande sectie om de belangrijke overwegingen te begrijpen voordat u begint:

Extra overwegingen als de bron AEM instantie wordt gevormd om een opslag van de Gegevens van de Opslag van de Opslag van Amazon S3 of van Azure te gebruiken additional-considerations-amazons3-azure

Extra overwegingen als de bron AEM instantie wordt gevormd om de Opslag van de Gegevens van het Dossier te gebruiken additional-considerations-aem-instance-filedatastore

AzCopy instellen als een stap vóór kopiëren setting-up-pre-copy-step

Volg deze sectie zodat u kunt leren hoe u opstelling om AzCopy als pre-exemplaarstap met het Hulpmiddel van de Overdracht van de Inhoud te gebruiken om de inhoud aan AEM as a Cloud Service te migreren:

0. Bepaal de totale grootte van alle inhoud in de gegevensopslag determine-total-size

Het is om twee redenen belangrijk om de totale grootte van de gegevensopslag te bepalen:

Azure Blob Storage Data Store azure-blob-storage

Van de bestaande containereigenschappen pagina in het Azure portaal, gebruik berekent grootte knoop om de grootte van al inhoud in de container te bepalen. Bijvoorbeeld:

Amazon S3 Data Store amazon-data

U kunt het tabblad Metriek van de container gebruiken om de grootte van alle inhoud in de container te bepalen. Bijvoorbeeld:

Bestandsgegevensopslag file-data-store-determine-size

1. Installeer AzCopy install-azcopy

AzCopyis een bevel-lijn hulpmiddel dat door Microsoft® wordt verstrekt dat op de broninstantie beschikbaar moet zijn om deze eigenschap toe te laten.

Kortom, wilt u het binaire getal Linux® x86-64 van de AzCopy docs paginadownloaden en het untar aan een plaats zoals /usr/bin.

2. Installeer de CTT-release (Content Transfer Tool) met ondersteuning voor AzCopy install-ctt-azcopy-support

AzCopy-ondersteuning voor Amazon S3, Azure Blob Storage en File Data Store is inbegrepen in de nieuwste CTT-release.
U kunt de recentste versie van CTT van het portaal van de Distributie van de Software downloaden.
Er zij op gewezen dat alleen versies 2.0.0 en hoger worden ondersteund en dat het raadzaam is de meest recente versie te gebruiken.

3. Configureer een bestand azcopy.config configure-azcopy-config-file

Maak in crx-quickstart/cloud-migration in de AEM van de bron een bestand met de naam azcopy.config .

Azure Blob Storage Data Store azure-blob-storage-data

Het bestand azcopy.config moet de volgende eigenschappen bevatten (gebruik de juiste azCopyPath en azureSas voor uw instantie).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Amazon S3 Data Store amazon-sdata-store

Het bestand azcopy.config moet de volgende eigenschappen bevatten (gebruik de juiste waarden voor de instantie).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Bestandsgegevensopslag file-data-store-azcopy-config

Het azcopy.config -bestand moet de eigenschap azCopyPath en een optionele eigenschap repository.home bevatten die naar de locatie van de datastore van het bestand wijst. Gebruik de juiste waarden voor de instantie.
Bestandsgegevensopslag

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

De eigenschap azCopyPath moet het volledige pad bevatten van de locatie waar het opdrachtregelprogramma azCopy op de AEM-instantie is geïnstalleerd. Als de eigenschap azCopyPath ontbreekt, wordt de voorbeeldstap niet uitgevoerd.

Als de eigenschap repository.home ontbreekt in azcopy.config, wordt de standaarddatastore-locatie /mnt/crx/author/crx-quickstart/repository/datastore gebruikt om de precisie uit te voeren.

4. Uitpakken met AzCopy extracting-azcopy

Als het bovenstaande configuratiebestand is geïnstalleerd, wordt de voorkopieerfase van AzCopy uitgevoerd als onderdeel van elke volgende extractie. Als u wilt voorkomen dat het bestand wordt uitgevoerd, kunt u de naam van het bestand wijzigen of het bestand verwijderen.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Gefeliciteerd! Deze logbestandvermelding betekent dat uw configuratie als geldig is beschouwd en dat AzCopy alle lobs van de broncontainer naar de migratiecontainer kopieert.

De logboekingangen van AzCopy verschijnen in het extractielogboek, en met c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy vooraf bepaald - [ AzCopy ]

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason > github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

Als er een probleem is met AzCopy, mislukt de extractie direct en bevatten de extractielogboeken details over de fout.

Alle blobs die vóór de fout zijn gekopieerd, worden automatisch door AzCopy overgeslagen bij volgende uitvoering en hoeven niet opnieuw te worden gekopieerd.

Voor de opslag van bestandsgegevens file-data-store-extract

Wanneer AzCopy voor source file dataStore loopt, zou u berichten als deze in de logboeken moeten zien erop wijzen die dat de omslagen worden verwerkt:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Bijwerken met AzCopy ingesting-azcopy

Zie Ingesterend Inhoud in Doelvoor algemene informatie over het opnemen van inhoud in het doel van Cloud Acceleration Manager (CAM), met inbegrip van instructie op hoe te om AzCopy (pre-copy), of niet, in de "Nieuwe Dialoog van de Ingestie"te gebruiken.

Als u AzCopy tijdens het gebruik wilt gebruiken, moet u beschikken over een AEM as a Cloud Service-versie die ten minste versie 2021.6.5561 is. De Adobe vereist dat u AzCopy gebruikt.

Zie de lijst Ingestietaken in de Cloud Acceleration Manager en de logboeken van de opname zodat u de voortgang kunt zien. De logbestandvermeldingen met betrekking tot de
geslaagde AzCopy-taken worden als volgt weergegeven (waarbij rekening wordt gehouden met enkele verschillen). Als u de logboeken zo nu en dan controleert, kan dit problemen veroorzaken
vroeg, en hulp u een snelle oplossing voor om het even welke problemen vinden.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

Volgende functies whats-next

U hebt nu geleerd hoe u grote opslagplaatsen voor inhoud kunt verwerken om de extractie- en insluitingsfasen van de activiteit voor de overdracht van inhoud te versnellen en inhoud naar AEM as a Cloud Service te verplaatsen. U kunt nu het extractieproces leren met het gereedschap Inhoud overbrengen. Zie het Uithalen Inhoud van Source in het Hulpmiddel van de Overdracht van de Inhoudzodat kunt u leren hoe te om uw migratie uit het Hulpmiddel van de Overdracht van de Inhoud wordt geplaatst te halen.