Eine große Anzahl von Blobs mit dem Content Transfer Tool (CTT) zu kopieren, kann mehrere Tage dauern.
Um die Extraktions- und Aufnahmephasen des Inhaltstransfers zu beschleunigen und Inhalte zu AEM as a Cloud Service zu verschieben, kann CTT AzCopy als optionalen Schritt vor dem Kopiervorgang nutzen. Dieser Schritt für eine Vorabkopie kann erfolgen, wenn die AEM-Quellinstanz für die Verwendung eines Amazon S3-Datenspeichers, Azure Blob Storage-Datenspeichers oder Dateidatenspeichers konfiguriert ist. Der Schritt der Vorabkopie ist am effektivsten bei der ersten vollständigen Extraktion und Aufnahme. Die Verwendung der Vorabkopie für nachfolgende Auffüllungen wird jedoch nicht empfohlen (wenn die Auffüllgröße weniger als 200 GB beträgt), da dies den gesamten Prozess verlängern kann. Sobald dieser Vorschritt konfiguriert ist, kopiert AzCopy in der Extrahierungsphase Blobs aus dem Amazon S3-, Azure Blob Storage- oder Dateidatenspeicher in den Migrationssatz-Blob-Speicher. In der Aufnahmephase kopiert AzCopy Blobs aus dem Migrationssatz-Blob-Speicher in den Ziel-Blob-Speicher von Adobe Experience Manager as a Cloud Service.
Im folgenden Abschnitt finden Sie wichtige Überlegungen, die Sie berücksichtigen sollten, bevor Sie beginnen:
Ab Version 2.0.16 von CTT erfolgt die Einrichtung der Vorabkopie-Funktion automatisch, wenn das Paket installiert wird. Wenn der Migrationssatz größer als 200 GB ist, nutzt der Extraktionsprozess außerdem automatisch die Vorabkopie-Funktion. Die Datei „azcopy.config“ wird im Verzeichnis „crx-quickstart/cloud-migration/“ erstellt. Wenn Sie CTT-Version 2.0.16 oder höher verwenden, müssen Sie das Precopy-Setup nicht manuell durchführen.
Die AEM-Quellversion muss 6.3 bis 6.5 sein.
Der AEM-Quelldatenspeicher ist für die Verwendung von Amazon S3 oder Azure Blob Storage konfiguriert. Weitere Informationen finden Sie unter Konfigurieren von Knotenspeichern und Datenspeichern in AEM 6.
Jeder Migrationssatz kopiert den gesamten Datenspeicher. Daher sollte nur ein einziger Migrationssatz verwendet werden.
Sie benötigen Zugriffsrechte, um AzCopy in der Instanz (oder VM) zu installieren, auf der die AEM-Quellinstanz ausgeführt wird.
Die Datenspeicherbereinigung wurde innerhalb der letzten sieben Tage für die Quelle ausgeführt. Weitere Informationen finden Sie unter Datenspeicherbereinigung.
Mit der Übertragung von Daten aus Amazon S3 und Azure Blob Storage sind Kosten verbunden. Die Übertragungskosten hängen von der Gesamtmenge der Daten in Ihrem vorhandenen Speicher-Container ab (unabhängig davon, ob in AEM darauf verwiesen wird oder nicht). Weitere Informationen finden Sie unter Amazon S3 und Azure Blob Storage.
Sie benötigen entweder einen Zugriffsschlüssel und ein geheimes Schlüsselpaar für den vorhandenen Amazon S3-Bucket oder einen SAS-URI für den vorhandenen Azure Blob Storage-Container (Lesezugriff ist ausreichend).
Das lokale System muss über freien Speicherplatz verfügen, der zwingend größer als 1/256 der Größe des Quelldatenspeichers ist. Wenn die Größe des Datenspeichers zum Beispiel 3 Terabyte beträgt, muss quellseitig im Ordner crx-quickstart/cloud-migration
mehr als 11,72 GB freier Speicher vorhanden sein, damit AzCopy funktioniert. Das Quellsystem sollte mindestens über 1 GB freien Speicherplatz verfügen. Freier Speicherplatz kann mit dem Befehl df -h
in Linux®-Instanzen und dem Befehl „dir“ in Windows-Instanzen geschaffen werden.
Bei jeder Extraktion mit aktiviertem AzCopy wird der gesamte Dateidatenspeicher reduziert und in den Cloud-Migrations-Container kopiert. Wenn Ihr Migrationssatz kleiner ist Ihr Datenspeicher, ist die AzCopy-Extraktion nicht der optimale Ansatz.
Wenn die AzCopy-Funktion zum Kopieren über den vorhandenen Datenspeicher verwendet wurde, deaktivieren Sie diese für Delta- oder Auffüllextraktionen.
Ab Version 2.0.16 von CTT erfolgt die Einrichtung der Vorabkopie-Funktion automatisch, wenn das Paket installiert wird. Wenn der Migrationssatz größer als 200 GB ist, nutzt der Extraktionsprozess außerdem automatisch die Vorabkopie-Funktion. Die Datei „azcopy.config“ wird im Verzeichnis „crx-quickstart/cloud-migration/“ erstellt. Wenn Sie die Konfiguration der Datei manuell aktualisieren möchten, finden Sie nachstehend weitere Informationen dazu.
In diesem Abschnitt erfahren Sie, wie Sie bei der Einrichtung vorgehen müssen, um AzCopy als Vorabkopieschritt mit dem Content Transfer Tool zu verwenden und Inhalte zu AEM as a Cloud Service migrieren:
Es ist aus zwei Gründen wichtig, die Gesamtgröße des Datenspeichers zu bestimmen:
Verwenden Sie auf der Seite mit den Container-Eigenschaften im Azure-Portal die Schaltfläche Größe berechnen, um die Gesamtgröße aller Container-Inhalte zu bestimmen. Beispiel:
Auf der Registerkarte zu den Metriken des Containers können Sie die Gesamtgröße der Inhalte des Containers bestimmen. Beispiel:
Führen Sie bei Mac- und UNIX®-Systemen den Befehl „du“ im Datenspeicherverzeichnis aus, um dessen Größe abzurufen:
du -sh [path to datastore on the instance]
. Wenn sich Ihr Datenspeicher beispielsweise unter /mnt/author/crx-quickstart/repository/datastore
befindet, liefert der folgende Befehl dessen Größe: du -sh /mnt/author/crx-quickstart/repository/datastore
.
Für Windows verwenden Sie den Befehl „dir“ im Datenspeicherverzeichnis, um dessen Größe zu erhalten:
dir /a/s [location of datastore]
.
AzCopy ist ein von Microsoft® bereitgestelltes Befehlszeilen-Tool, das in der Quellinstanz verfügbar sein muss, um diese Funktion zu aktivieren.
Es empfiehlt sich also, die Linux® x86-64-Binärdatei von der Seite mit der AzCopy-Dokumentation herunterzuladen und sie an einem Speicherort wie „/usr/bin“ zu entpacken.
Notieren Sie sich, wo Sie die Binärdatei gespeichert haben, da Sie in einem späteren Schritt den vollständigen Speicherpfad benötigen.
Es sollte die neueste Version von CTT verwendet werden.
AzCopy-Unterstützung für Amazon S3, Azure Blob Storage und Dateidatenspeicher ist in der neuesten CTT-Version enthalten.
Sie können die neueste Version von CTT vom Software Distribution-Portal herunterladen.
Beachten Sie, dass nur die Versionen 2.0.0 und höher unterstützt werden und es ratsam ist, die neueste Version zu verwenden.
Erstellen Sie eine neue Datei mit dem Namen azcopy.config
in der AEM-Quellinstanz unter crx-quickstart/cloud-migration
.
Der Inhalt dieser Konfigurationsdatei unterscheidet sich, je nachdem, ob Ihre AEM-Quellinstanz einen Azure- bzw. Amazon S3-Datenspeicher oder einen Dateidatenspeicher verwendet.
Ihre Datei „azcopy.config“ sollte die folgenden Eigenschaften enthalten (stellen Sie sicher, dass Sie den richtigen AzCopyPath- und AzureSas-Parameter für Ihre Instanz verwenden).
Wenn Sie keinen Schreibzugriff auf den vorhandenen Blob-Speicher-Container gewähren möchten, können Sie einen neuen SAS-URI generieren, der nur über Lese- und Listenberechtigungen verfügt.
azCopyPath=/usr/bin/azcopy
azureSas=https://example-resource.blob.core.windows.net/example-container?sig=--REDACTED--
Ihre Datei „azcopy.config“ sollte die folgenden Eigenschaften enthalten (stellen Sie sicher, dass Sie die richtigen Werte für Ihre Instanz verwenden).
Wenn Ihre Instanz IAM-Rollen verwendet, um AEM Zugriff auf S3 zu ermöglichen, müssen Sie eine Richtlinie und eine Benutzerin bzw. einen Benutzer erstellen. Dabei müssen die ListBucket- und GetObject-Aktionen für den S3-Bucket aktiviert sein. Verwenden Sie nach der Einrichtung den Zugriffsschlüssel und den geheimen Schlüssel dieser Benutzerin bzw. dieses Benutzers.
azCopyPath=/usr/bin/azcopy
s3Bucket=aem-63
s3Region=us-west-2
s3AccessKey=--REDACTED--
s3SecretKey=--REDACTED--
Ihre azcopy.config
-Datei muss die Eigenschaft „azcopyPath“ und eine optionale Eigenschaft „repository.home“ enthalten, die auf den Speicherort des Dateidatenspeichers verweist. Verwenden Sie die richtigen Werte für Ihre Instanz.
Dateidatenspeicher
azCopyPath=/usr/bin/azcopy
repository.home=/mnt/crx/author/crx-quickstart/repository/datastore
Die Eigenschaft „azCopyPath“ muss den vollständigen Pfad des Speicherorts enthalten, an dem das Befehlszeilen-Tool „azCopy“ in der AEM-Quellinstanz installiert ist. Wenn die Eigenschaft „azCopyPath“ fehlt, wird der Schritt „blob precopy“ nicht ausgeführt.
Wenn die Eigenschaft repository.home
in „azcopy.config“ fehlt, wird der standardmäßige Datenspeicherort /mnt/crx/author/crx-quickstart/repository/datastore
verwendet, um eine Vorabkopie durchzuführen.
Mit der obigen Konfigurationsdatei wird die AzCopy-Vorabkopierphase als Teil aller nachfolgenden Extraktionen ausgeführt. Um die Ausführung zu verhindern, können Sie diese Datei umbenennen oder entfernen.
Wenn AzCopy nicht richtig konfiguriert ist, wird folgende Meldung in den Protokollen angezeigt:
INFO c.a.g.s.m.c.a.AzCopyCloudBlobPreCopy - Blob pre-copy is not supported
.
Starten Sie eine Extraktion über die CTT-Benutzeroberfläche. Weitere Informationen finden Sie unter Erste Schritte mit dem Content Transfer Tool und Extraktionsvorgang.
Vergewissern Sie sich, dass das Extraktionsprotokoll die folgende Zeile aufweist:
c.a.g.s.m.commons.ContentExtractor - *************** Beginning AzCopy Pre-Copy phase ***************
Herzlichen Glückwunsch! Dieser Protokolleintrag bedeutet, dass Ihre Konfiguration als gültig betrachtet wird und dass AzCopy alle Blobs aus dem Quell-Container in den Migrations-Container kopiert.
Die Protokolleinträge von AzCopy werden im Extraktionsprotokoll angezeigt und sind mit dem Präfix „c.a.g.s.m.c.azcopy.AzCopyBlobPreCopy – [AzCopy pre-copy]“ versehen.
Achten Sie in den ersten Minuten einer Extraktion auf etwaige Anzeichen eines Problems in den Extraktionsprotokollen. Das folgende Beispiel zeigt, was protokolliert wird, wenn der Azure-Quellcontainer nicht gefunden werden kann:
[AzCopy pre-copy] failed to perform copy command due to error: cannot start job due to error: cannot list files due to reason -> github.com/Azure/azure-storage-blob-go/azblob.newStorageError, github.com/Azure/azure-storage-blob-go@v0.10.1-0.20210407023846-16cf969ec1c3/azblob/zc_storage_error.go:42
[AzCopy pre-copy] ===== RESPONSE ERROR (ServiceCode=ContainerNotFound) =====
[AzCopy pre-copy] Description=The specified container does not exist.
[AzCopy pre-copy] RequestId:5fb674b9-201e-001b-2a5b-527400000000
[AzCopy pre-copy] Time:2021-05-26T18:18:07.5931967Z, Details:
[AzCopy pre-copy] Code: ContainerNotFound
Bei einem Prolem mit AzCopy schlägt die Extraktion sofort fehl. Die Extraktionsprotokolle enthalten in diesem Fall Details zu dem Fehler.
Blobs, die vor Auftreten des Fehlers kopiert wurden, werden von AzCopy bei nachfolgenden Ausführungen automatisch übersprungen und müssen nicht erneut kopiert werden.
Eine Aufnahme kann nun so geplant werden, dass sie unmittelbar nach erfolgreichem Abschluss einer Extraktion automatisch startet. Siehe Erfassen von Inhalten in Target für weitere Informationen.
Wenn AzCopy für „dataStore“ der Quelldatei benutzt wird, sollten Meldungen wie diese in den Protokollen angezeigt werden, die darauf hinweisen, dass Ordner verarbeitet werden:
c.a.g.s.m.c.a.AzCopyFileSourceBlobPreCopy - [AzCopy pre-copy] Processing folder (1/24) crx-quickstart/repository/datastore/5d
Unter Aufnehmen von Inhalten in das Ziel
finden Sie allgemeine Informationen zur Aufnahme von Inhalten in das Ziel über das Dialogfeld „Neue Aufnahme“ in Cloud Acceleration Manager (CAM), darunter
Anweisungen zum Verwenden von AzCopy (Vorabkopie).
Um AzCopy während der Aufnahme nutzen zu können, müssen Sie gemäß Adobe-Anforderungen mindestens Version 2021.6.5561 von AEM as a Cloud Service verwenden.
In der Liste „Aufnahmevorgänge“ in Cloud Acceleration Manager und in den Aufnahmeprotokollen finden Sie Informationen zum Fortschritt. Die Protokolleinträge für erfolgreiche
AzCopy-Aufgaben werden wie folgt angezeigt (gewisse Unterschiede möglich). Wenn Sie die Protokolle gelegentlich überprüfen, können sie
frühzeitig Probleme aufzeigen und es kann Ihnen helfen, eine schnelle Lösung für alle Probleme zu finden.
*************** Beginning AzCopy pre-copy phase ***************
INFO: Scanning...
INFO: Failed to create one or more destination container(s). Your transfers may still succeed if the container already exists.
INFO: Any empty folders will not be processed, because source and/or destination does not have full folder support
INFO: azcopy: A newer version 10.11.0 is available to download
Job 419d98da-fc05-2a45-70cc-797fee632031 has started
Log file is located at: /root/.azcopy/419d98da-fc05-2a45-70cc-797fee632031.log
0.0 %, 0 Done, 0 Failed, 886 Pending, 0 Skipped, 886 Total,
Job 419d98da-fc05-2a45-70cc-797fee632031 summary
Elapsed Time (Minutes): 0.0334
Number of File Transfers: 886
Number of Folder Property Transfers: 0
Total Number of Transfers: 886
Number of Transfers Completed: 17
Number of Transfers Failed: 0
Number of Transfers Skipped: 869
TotalBytesTransferred: 248350
Final Job Status: CompletedWithSkipped
*************** Completed AzCopy pre-copy phase ***************
Sie haben sich jetzt mit der Handhabung großer Inhalts-Repositorys vertraut gemacht, um die Extraktions- und Aufnahmephasen der Inhaltsübertragung zum Verschieben von Inhalten zu AEM as a Cloud Service zu beschleunigen. Sie sind nun bereit, den Extraktionsvorgang mit dem Content Transfer Tool kennenzulernen. Unter Extrahieren von Inhalten aus der Quelle im Content Transfer Tool erfahren Sie, wie Sie Ihren Migrationssatz aus dem Content Transfer Tool extrahieren können.