Handhabung großer Content-Repositorys handling-large-content-repositories

Übersicht overview

Eine große Anzahl von Blobs mit dem Content Transfer Tool (CTT) zu kopieren, kann mehrere Tage dauern.
Um die Extraktions- und Aufnahmephasen des Inhaltstransfers zu beschleunigen und Inhalte zu AEM as a Cloud Service zu verschieben, kann CTT AzCopy als optionalen Schritt vor dem Kopiervorgang nutzen. Dieser Schritt für eine Vorabkopie kann erfolgen, wenn die AEM-Quellinstanz für die Verwendung eines Amazon S3-Datenspeichers, Azure Blob Storage-Datenspeichers oder Dateidatenspeichers konfiguriert ist. Der Schritt der Vorabkopie ist am effektivsten bei der ersten vollständigen Extraktion und Aufnahme. Die Verwendung der Vorabkopie für nachfolgende Auffüllungen wird jedoch nicht empfohlen (wenn die Auffüllgröße weniger als 200 GB beträgt), da dies den gesamten Prozess verlängern kann. Sobald dieser Vorschritt konfiguriert ist, kopiert AzCopy in der Extrahierungsphase Blobs aus dem Amazon S3-, Azure Blob Storage- oder Dateidatenspeicher in den Migrationssatz-Blob-Speicher. In der Aufnahmephase kopiert AzCopy Blobs aus dem Migrationssatz-Blob-Speicher in den Ziel-Blob-Speicher von Adobe Experience Manager as a Cloud Service.

Wichtige Vorüberlegungen important-considerations

Im folgenden Abschnitt finden Sie wichtige Überlegungen, die Sie berücksichtigen sollten, bevor Sie beginnen:

Weitere Aspekte, falls die AEM-Quellinstanz für die Verwendung eines Amazon S3- oder Azure Blob Storage-Datenspeichers konfiguriert ist additional-considerations-amazons3-azure

Weitere Aspekte, falls die AEM-Quellinstanz für die Verwendung des Dateidatenspeichers konfiguriert ist additional-considerations-aem-instance-filedatastore

Einrichten zur Verwendung von AzCopy als Vorkopieschritt setting-up-pre-copy-step

In diesem Abschnitt erfahren Sie, wie Sie bei der Einrichtung vorgehen müssen, um AzCopy als Vorabkopieschritt mit dem Content Transfer Tool zu verwenden und Inhalte zu AEM as a Cloud Service migrieren:

0. Bestimmen der Gesamtgröße aller Inhalte im Datenspeicher determine-total-size

Es ist aus zwei Gründen wichtig, die Gesamtgröße des Datenspeichers zu bestimmen:

Azure Blob-Speicher – Datenspeicher azure-blob-storage

Verwenden Sie auf der Seite mit den Container-Eigenschaften im Azure-Portal die Schaltfläche Größe berechnen, um die Gesamtgröße aller Container-Inhalte zu bestimmen. Beispiel:

Amazon S3-Datenspeicher amazon-data

Auf der Registerkarte zu den Metriken des Containers können Sie die Gesamtgröße der Inhalte des Containers bestimmen. Beispiel:

Dateidatenspeicher file-data-store-determine-size

1. Installieren von AzCopy install-azcopy

AzCopy ist ein von Microsoft® bereitgestelltes Befehlszeilen-Tool, das in der Quellinstanz verfügbar sein muss, um diese Funktion zu aktivieren.

Es empfiehlt sich also, die Linux® x86-64-Binärdatei von der Seite mit der AzCopy-Dokumentation herunterzuladen und sie an einem Speicherort wie „/usr/bin“ zu entpacken.

2. Installieren einer Version des Content Transfer Tool (CTT) mit AzCopy-Unterstützung install-ctt-azcopy-support

AzCopy-Unterstützung für Amazon S3, Azure Blob Storage und Dateidatenspeicher ist in der neuesten CTT-Version enthalten.
Sie können die neueste Version von CTT vom Software Distribution-Portal herunterladen.
Beachten Sie, dass nur die Versionen 2.0.0 und höher unterstützt werden und es ratsam ist, die neueste Version zu verwenden.

3. Konfigurieren der Datei „azcopy.config“ configure-azcopy-config-file

Erstellen Sie eine neue Datei mit dem Namen azcopy.config in der AEM-Quellinstanz unter crx-quickstart/cloud-migration.

Azure Blob Storage-Datenspeicher azure-blob-storage-data

Ihre Datei „azcopy.config“ sollte die folgenden Eigenschaften enthalten (stellen Sie sicher, dass Sie den richtigen AzCopyPath- und AzureSas-Parameter für Ihre Instanz verwenden).

azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--

Amazon S3-Datenspeicher amazon-sdata-store

Ihre Datei „azcopy.config“ sollte die folgenden Eigenschaften enthalten (stellen Sie sicher, dass Sie die richtigen Werte für Ihre Instanz verwenden).

azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--

Dateidatenspeicher file-data-store-azcopy-config

Ihre azcopy.config-Datei muss die Eigenschaft „azcopyPath“ und eine optionale Eigenschaft „repository.home“ enthalten, die auf den Speicherort des Dateidatenspeichers verweist. Verwenden Sie die richtigen Werte für Ihre Instanz.
Dateidatenspeicher

azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore

Die Eigenschaft „azCopyPath“ muss den vollständigen Pfad des Speicherorts enthalten, an dem das Befehlszeilen-Tool „azCopy“ in der AEM-Quellinstanz installiert ist. Wenn die Eigenschaft „azCopyPath“ fehlt, wird der Schritt „blob precopy“ nicht ausgeführt.

Wenn die Eigenschaft repository.home in „azcopy.config“ fehlt, wird der standardmäßige Datenspeicherort /mnt/crx/author/crx-quickstart/repository/datastore verwendet, um eine Vorabkopie durchzuführen.

4. Extrahieren mit AzCopy extracting-azcopy

Mit der obigen Konfigurationsdatei wird die AzCopy-Vorabkopierphase als Teil aller nachfolgenden Extraktionen ausgeführt. Um die Ausführung zu verhindern, können Sie diese Datei umbenennen oder entfernen.

c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************

Herzlichen Glückwunsch! Dieser Protokolleintrag bedeutet, dass Ihre Konfiguration als gültig betrachtet wird und dass AzCopy alle Blobs aus dem Quell-Container in den Migrations-Container kopiert.

Die Protokolleinträge von AzCopy werden im Extraktionsprotokoll angezeigt und sind mit dem Präfix „c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy – [AzCopy pre-copy]“ versehen.

[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason > github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound

Bei einem Prolem mit AzCopy schlägt die Extraktion sofort fehl. Die Extraktionsprotokolle enthalten in diesem Fall Details zu dem Fehler.

Blobs, die vor Auftreten des Fehlers kopiert wurden, werden von AzCopy bei nachfolgenden Ausführungen automatisch übersprungen und müssen nicht erneut kopiert werden.

Für Dateidatenspeicher file-data-store-extract

Wenn AzCopy für „dataStore“ der Quelldatei benutzt wird, sollten Meldungen wie diese in den Protokollen angezeigt werden, die darauf hinweisen, dass Ordner verarbeitet werden:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d

5. Aufnehmen mit AzCopy ingesting-azcopy

Unter Aufnehmen von Inhalten in das Ziel finden Sie allgemeine Informationen zum Aufnehmen von Inhalten in das Ziel über das Dialogfeld „Neue Aufnahme“ in Cloud Acceleration Manager (CAM), darunter Anweisungen zum Verwenden von AzCopy (Vorabkopie).

Um AzCopy während der Aufnahme nutzen zu können, müssen Sie gemäß Adobe-Anforderungen mindestens Version 2021.6.5561 von AEM as a Cloud Service verwenden.

In der Liste „Aufnahmevorgänge“ in Cloud Acceleration Manager und in den Aufnahmeprotokollen finden Sie Informationen zum Fortschritt. Die Protokolleinträge für erfolgreiche
AzCopy-Aufgaben werden wie folgt angezeigt (gewisse Unterschiede möglich). Wenn Sie die Protokolle gelegentlich überprüfen, können sie
frühzeitig Probleme aufzeigen und es kann Ihnen helfen, eine schnelle Lösung für alle Probleme zu finden.

*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download

Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log

0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,

Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped

*************** Completed AzCopy pre-copy phase ***************

So geht es weiter whats-next

Sie haben sich jetzt mit der Handhabung großer Inhalts-Repositorys vertraut gemacht, um die Extraktions- und Aufnahmephasen der Inhaltsübertragung zum Verschieben von Inhalten zu AEM as a Cloud Service zu beschleunigen. Sie sind nun bereit, den Extraktionsvorgang mit dem Content Transfer Tool kennenzulernen. Unter Extrahieren von Inhalten aus der Quelle im Content Transfer Tool erfahren Sie, wie Sie Ihren Migrationssatz aus dem Content Transfer Tool extrahieren können.