AEM 6 でのノードストアとデータストアの設定

はじめに

Adobe Experience Manager（AEM）では、バイナリデータをコンテンツノードとは別に格納できます。バイナリデータはデータストアに格納され、コンテンツノードはノードストアに格納されます。

データストアとノードストアはどちらも OSGi 設定を使用して設定できます。各 OSGi 設定は、永続識別子（PID）を使用して参照されます。

設定手順

ノードストアとデータストアの両方を設定するには、次の手順を実行します。

1. AEM クイックスタート JAR ファイルを AEM のインストールディレクトリにコピーします。

2. インストールディレクトリにフォルダーcrx-quickstart/installを作成します。

3. 最初に、ノードストアを設定します。そのためには、使用するノードストアオプションの名前を持つ設定ファイルを crx-quickstart/install ディレクトリに作成します。

   例えば、ドキュメントノードストア(AEM MongoMK実装の基盤)では、ファイルorg.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.configを使用します。

4. ファイルを編集し、設定オプションを設定します。

5. 使用するデータストアの PID を持つ設定ファイルを作成します。ファイルを編集し、設定オプションを設定します。

   メモ

   設定オプションについては、ノードストアの設定およびデータストアの設定を参照してください。

6. AEM を起動します。

ノードストアの設定

セグメントノードストア

セグメントノードストアは、AEM6 におけるアドビの TarMK 実装の基盤です。このストアでは、org.apache.jackrabbit.oak.segment.SegmentNodeStoreService という PID を設定に使用します。

以下のオプションを設定できます。

• repository.home：リポジトリのホームのパスです。リポジトリ関連のデータが格納されます。デフォルトでは、crx-quickstart/segmentstore ディレクトリにセグメントファイルが格納されます。

• tarmk.size：セグメントの最大サイズ（MB 単位）です。デフォルトの最大サイズは 256 MB です。

• customBlobStore：カスタムデータストアが使用されることを示すブール値です。デフォルト値は、AEM 6.3以降のバージョンではtrueです。 AEM 6.3 より前のデフォルトは false でした。

次に、サンプルのorg.apache.jackrabbit.oak.segment.SegmentNodeStoreService.configファイルを示します。

#Path to repo
repository.home="crx-quickstart/repository"

#Max segment size
tarmk.size=I"256"

#Custom data store
customBlobStore=B"true"

ドキュメントノードストア

ドキュメントノードストアは、AEM MongoMK実装の基礎です。 org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService PID​を使用します。 以下の設定オプションを使用できます。

• mongouri：Mongo データベースに接続するために必要な MongoURI です。デフォルトは mongodb://localhost:27017 です

• db：Mongo データベースの名前です。デフォルト値は Oak です。ただし、新しい AEM 6 のインストールでは、デフォルトのデータベース名として aem-author が使用されます。

• cache：キャッシュサイズ（MB 単位）です。これは DocumentNodeStore で使用される様々なキャッシュに分散されます。デフォルトは、256 です。

• changesSize：Mongo で差分出力のキャッシュに使用される capped コレクションのサイズ（MB 単位）です。デフォルトは、256 です。

• customBlobStore：カスタムデータストアが使用されることを示すブール値です。デフォルトは、false です。

次に、サンプルのorg.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.configファイルを示します。

#Mongo server details
mongouri="mongodb://localhost:27017"

#Name of Mongo database to use
db="aem-author"

#Store binaries in custom BlobStore
customBlobStore=B"false"

データストアの設定

多数のバイナリを処理する場合は、最大限のパフォーマンスを確保するために、デフォルトのノードストアではなく外部のデータストアを使用することをお勧めします。

例えば、プロジェクトで多数のメディアアセットが必要な場合は、それらをファイルデータストアまたは S3 データストアに格納すると、MongoDB 内に直接格納するよりも迅速にアセットにアクセスできます。

ファイルデータストアを使用すると、MongoDB よりもパフォーマンスが向上します。多数のアセットがある場合は、Mongo のバックアップと復元の処理速度も低下します。

各種データストアと設定の詳細については後述します。

ファイルデータストア

これは Jackrabbit 2 に含まれる FileDataStore の実装であり、バイナリデータを通常のファイルとしてファイルシステムに格納する手段を提供します。org.apache.jackrabbit.oak.plugins.blob.datastore.FileDataStore PIDを使用します。

以下の設定オプションを使用できます。

• repository.home：リポジトリのホームのパスです。リポジトリ関連の様々なデータが格納されます。デフォルトでは、バイナリファイルはcrx-quickstart/repository/datastoreディレクトリに格納されます。

• path：ファイルを格納するディレクトリのパスです。指定した場合、repository.home値よりも優先されます。

• minRecordLength：データストアに格納するファイルの最小サイズ（バイト単位）です。この値よりも小さいバイナリコンテンツはインライン化されます。

Amazon S3 データストア

Amazon の Simple Storage Service（S3）にデータを格納するように AEM を設定できます。このストアでは、org.apache.jackrabbit.oak.plugins.blob.datastore.S3DataStore.config という PID を設定に使用します。

S3 データストア機能を有効にするには、S3 データストアコネクタを含む機能パックをダウンロードしてインストールする必要があります。Adobeリポジトリに移動し、機能パックの1.8.xバージョンから最新バージョン（例：com.adobe.granite.oak.s3connector-1.8.0.zip）をダウンロードします。 さらに、AEM 6.4サービスパックリリースノートページに記載されている最新のAEMサービスパックをダウンロードしてインストールする必要もあります。

java -jar aem6.4.jar -r crx3tar-nofds

ダウンロードが完了したら、次の手順に従って S3 コネクタをインストールして設定できます。

1. 機能パック zip ファイルの内容を一時フォルダーに解凍します。

2. 一時フォルダーに移動し、次の場所に移動します。

   jcr_root/libs/system/install
   

   上記の場所から<aem-install>/crx-quickstart/install.にすべての内容をコピーします。

3. AEMが既にTarまたはMongoDBストレージと連携するように設定されている場合は、続行する前に、既存の設定ファイルをaem-install/crx-quickstart/installフォルダーから削除します。 削除する必要があるファイルは次のとおりです。

   • For MongoMK: org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.config
   • For TarMK: org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config

4. 機能パックを展開した一時的な場所に戻り、次のフォルダーの内容をコピーします。

   • jcr_root/libs/system/config

   コピー先：

   • <aem-install>/crx-quickstart/install

   現在の設定に必要な設定ファイルのみをコピーしてください。専用データストアと共有データストアのどちらの設定の場合も、org.apache.jackrabbit.oak.plugins.blob.datastore.S3DataStore.config ファイルをコピーします。

   メモ

   クラスターセットアップでは、前述の手順をクラスターのすべてのノードで 1 ノードずつ実行してください。また、すべてのノードで必ず同じ S3 設定を使用してください。

5. ファイルを編集し、設定に必要な設定オプションを追加します。

6. AEM を起動します。

新しいバージョンの 1.8.x S3 コネクタへのアップグレード

新しいバージョンの 1.8.x S3 コネクタにアップグレードする必要がある場合は（1.8.0 から 1.8.1 へのアップグレードなど）、次の手順に従います。

1. AEM インスタンスを停止して

2. AEM インストールフォルダーの <aem-install>/crx-quickstart/install/15 に移動して、その内容のバックアップを作成します。

3. バックアップ後、<aem-install>/crx-quickstart/install/15フォルダー内のすべてのjarファイルを削除して、古いバージョンのS3 Connectorとその依存関係を削除します。次に例を示します。

   • oak-blob-cloud-1.6.1.jar
   • aws-java-sdk-osgi-1.10.76.jar
   メモ

   上述のファイル名は例として使用しているだけであり、他の名前である場合もあります。

4. アドビリポジトリから最新バージョンの 1.8.x 機能パックをダウンロードします。

5. 内容を別のフォルダーに解凍し、jcr_root/libs/system/install/15に移動します。

6. jarファイルをAEMインストールフォルダーの​<aem-install>/crx-quickstart/install/15にコピーします。

7. AEM を起動して、コネクタの機能を確認します。

次のオプションを指定して設定ファイルを使用できます。

• accessKey:AWSアクセスキー。

• secretKey：AWS 秘密アクセスキーです。注意： または、IAMロ ールを 認証に使用することもできます。IAMロールを使用している場合、accessKeyとsecretKeyを指定する必要はありません。

• s3Bucket：バケット名です。

• s3Region：バケットのリージョンです。

• path：データストアのパスです。デフォルト値は <AEM install folder>/repository/datastore です。

• minRecordLength：データストアに格納するオブジェクトの最小サイズです。最小/デフォルトは​16KBです。

• maxCachedBinarySize:このサイズ以下のバイナリは、メモリキャッシュに格納されます。サイズはバイト単位です。デフォルトは​17408(17 KB)です。

• cacheSize:キャッシュのサイズ。値はバイト単位で指定します。デフォルトは​64GB​です。

• 秘密：共有データストアの設定にバイナリレスレプリケーションを使用する場合にのみ使用します。

• stagingSplitPercentage:非同期アップロードのステージングに使用するように設定されているキャッシュサイズの割合。 デフォルト値は 10 です。

• uploadThreads:非同期アップロードで使用されるアップロードスレッドの数です。 デフォルト値は 10 です。

• stagingPurgeInterval:完了したアップロードをステージングキャッシュからパージする時間間隔（秒）。 デフォルト値は​300​秒（5分）です。

• stagingRetryInterval:失敗したアップロードの再試行間隔（秒）。 デフォルト値は​600​秒（10分）です。

バケットのリージョンのオプション

データストアのキャッシュ

古いキャッシュ実装（Oak 1.6 より前）からアップグレードする場合は、ローカルファイルシステムのキャッシュディレクトリの構造に違いがあります。古いキャッシュ構造では、ダウンロードされたファイルとアップロードされたファイルの両方がキャッシュパスの直下に置かれていました。新しい構造では、ダウンロードとアップロードが分離され、キャッシュパスの下の upload と download という名前の 2 つのディレクトリに格納されます。アップグレードプロセスはシームレスにおこなわれ、保留中のアップロードがある場合はアップロードがスケジュールされ、キャッシュ内に以前にダウンロードされたファイルがある場合は初期化時にキャッシュに配置されます。

oak-runのdatastorecacheupgradeコマンドを使用して、キャッシュをオフラインでアップグレードすることもできます。 このコマンドの実行方法について詳しくは、oak-run モジュールの readme を参照してください。

キャッシュにはサイズ制限があり、cacheSizeパラメーターを使用して設定できます。

ダウンロード

データストアからアクセスする前に、要求されたファイル／Blob のレコードがローカルキャッシュでチェックされます。ファイルをキャッシュに追加しているときに、設定された制限（cacheSize パラメーターを参照）をキャッシュが超えると、領域を再利用できるように、ファイルの一部が消去されます。

非同期アップロード

キャッシュでは、データストアへの非同期アップロードがサポートされています。ファイルは（ファイルシステム上の）キャッシュでローカルにステージングされ、非同期ジョブでファイルのアップロードが開始されます。非同期アップロードの数は、ステージングキャッシュのサイズによって制限されます。ステージングキャッシュのサイズは、stagingSplitPercentage パラメーターを使用して設定します。このパラメーターでは、ステージングキャッシュに使用するキャッシュサイズの割合（％）を定義します。また、ダウンロードに使用できるキャッシュの割合は、(100 - stagingSplitPercentage) &ast；として計算されます。cacheSize.

非同期アップロードはマルチスレッドで、スレッドの数はuploadThreadsパラメーターを使用して設定します。

アップロードが完了すると、ファイルはメインダウンロードキャッシュに移動します。ステージングキャッシュのサイズが制限を超えると、それまでの非同期アップロードが完了して、ステージングキャッシュ内の領域を再び使用できるようになるまで、ファイルは同期的にデータストアにアップロードされます。アップロードされたファイルは、stagingPurgeIntervalパラメーターで間隔が設定された定期的なジョブによってステージング領域から削除されます。

（ネットワークの障害などが原因で）失敗したアップロードは再試行キューに配置され、定期的に再試行されます。再試行間隔は、stagingRetryInterval parameterを使用して設定します。

Amazon S3 によるバイナリなしのレプリケーションの設定

S3 によるバイナリなしのレプリケーションを設定するには、次の手順を実行する必要があります。

1. オーサーインスタンスとパブリッシュインスタンスをインストールし、それらが正しく開始されたことを確認します。

2. http://localhost:4502/etc/replication/agents.author/publish.html ページを開いて、レプリケーションエージェントの設定に移動します。

3. 「設定」セクションの「編集」ボタンを押します。

4. 「シリアル化の種類」オプションを「バイナリなし」に変更します。

5. パラメーター「 binaryless= true 」をトランスポートURIに追加します。 変更後、URI は次のようになります。

   http://localhost:4503/bin/receive?sling:authRequestLogin=1&binaryless=true

6. オーサーインスタンスとパブリッシュインスタンスをすべて再起動して、変更を有効にします。

S3 と MongoDB を使用したクラスターの作成

1. 次のコマンドを使用して CQ クイックスタートを展開します。

   java -jar cq-quickstart.jar -unpack

2. AEM を展開したら、crx-quickstart/install フォルダーをインストールディレクトリ内に作成します。

3. 次の 2 つのファイルを crx-quickstart フォルダー内に作成します。

   • org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService​を参照してください。config
   • org.apache.jackrabbit.oak.plugins.blob.datastore.S3DataStore​を参照してください。config

   ファイルを作成したら、必要に応じて設定オプションを追加します。

4. S3 データストアで必要な、前述の 2 つのバンドルをインストールします。

5. MongoDB がインストールされていること、および mongod のインスタンスが実行されていることを確認します。

6. 次のコマンドを使用して AEM を起動します。

   java -Xmx1024m -XX:MaxPermSize=256M -jar cq-quickstart.jar -r crx3,crx3mongo

7. 2 つ目の AEM インスタンスについて手順 1 ～ 4 を繰り返します。

8. 2 つ目の AEM インスタンスを起動します。

共有データストアの設定

1. まず、データストアを共有するために必要なデータストア設定ファイルを各インスタンスで作成します。

   • FileDataStoreを使用している場合は、org.apache.jackrabbit.oak.plugins.blob.datastore.FileDataStore.configという名前のファイルを作成し、<aem-install>/crx-quickstart/installフォルダーに配置します。
   • データストアとしてS3を使用する場合は、上記のように<aem-install>/crx-quickstart/installフォルダーにo rg.apache.jackrabbit.oak.plugins.blob.datastore.S3DataStore.configという名前のファイルを作成します。

2. 同じデータストアを指すようにデータストア設定ファイルを各インスタンスで変更します。詳しくは、こちらの記事を参照してください。

3. インスタンスのクローンが既存のサーバーから作成された場合、リポジトリがオフラインになっている間に、最新の oak-run ツールを使用して新しいインスタンスの clusterId を削除する必要があります。実行する必要があるコマンドは次のとおりです。

   java -jar oak-run.jar resetclusterid < repository path | Mongo URI >
   

   メモ

   セグメントノードストアを設定する場合、リポジトリパスを指定する必要があります。デフォルトでは、パスは<aem-install-folder>/crx-quickstart/repository/segmentstore.です。ドキュメントノードストアが設定されている場合は、Mongo接続文字列URIを使用できます。

   メモ

   oak-run ツールは、次の場所からダウンロードできます。

   https://mvnrepository.com/artifact/org.apache.jackrabbit/oak-run/

   AEM インストールで使用している Oak バージョンに応じて、様々なバージョンのツールを使用する必要があることに注意してください。ツールを使用する前に、以下のバージョン要件を確認してください。

   • Oak バージョン 1.2.x については、oak-run 1.2.12 以降​を使用します。
   • 上述のものよりも新しい Oak バージョンについては、AEM インストールの Oak コアと一致するバージョンの oak-run を使用します。

4. 最後に、設定を検証します。そのためには、データストアを共有する各リポジトリによってデータストアに追加された一意のファイルを探す必要があります。ファイルの形式はrepository-[UUID]です。UUIDは、個々のリポジトリの一意の識別子です。

   つまり、正しい設定には、データストアを共有するリポジトリと同じ数の一意のファイルがあります。

   ファイルは、データストアに応じて別々に格納されます。

   • FileDataStore の場合、データストアフォルダーのルートパスにファイルが作成されます。
   • S3DataStoreの場合、設定済みのS3バケットのMETAフォルダーにファイルが作成されます。

Azure データストア

Microsoft の Azure ストレージサービスにデータを格納するように AEM を設定できます。このストアでは、org.apache.jackrabbit.oak.plugins.blob.datastore.AzureDataStore.config という PID を設定に使用します。

Azure データストア機能を有効にするには、Azure コネクタを含む機能パックをダウンロードしてインストールする必要があります。Adobeリポジトリに移動し、機能パックの1.6.xバージョンから最新バージョン（例：com.adobe.granite.oak.azureblobconnector-1.6.3.zip）をダウンロードします。

java -jar aem6.4.jar -r crx3tar-nofds

ダウンロードが完了したら、次の手順に従って Azure コネクタをインストールして設定できます。

1. 機能パック zip ファイルの内容を一時フォルダーに解凍します。

2. 一時フォルダーに移動し、jcr_root/libs/system/installの内容を<aem-install>crx-quickstart/installフォルダーにコピーします。

3. AEMが既にTarまたはMongoDBストレージと連携するように設定されている場合は、続行する前に、既存の設定ファイルを/crx-quickstart/installフォルダーから削除します。 削除する必要があるファイルは次のとおりです。

   MongoMK の場合：

   org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.config

   TarMKの場合：

   org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config

4. 機能パックが抽出された一時的な場所に戻り、jcr_root/libs/system/configの内容を<aem-install>/crx-quickstart/installフォルダーにコピーします。

5. 設定ファイルを編集し、設定に必要な設定オプションを追加します。

6. AEM を起動します。

次のオプションを指定して設定ファイルを使用できます。

• azureSas="":バージョン1.6.3のコネクタでは、Azure Shared Access Signature(SAS)のサポートが追加されました。 SAS とストレージ資格情報の両方が設定ファイルに存在する場合は、SAS が優先されます。 SASの詳細については、公式ドキュメントを 参照してください。「=」文字は必ず「=」のようにエスケープしてください。

• azureBlobEndpoint=""：Azure Blob エンドポイントです。例えば、https://<storage-account>.blob.core.windows.netのように指定します。

• accessKey=""：ストレージアカウント名です。Microsoft Azure の認証の資格情報について詳しくは、公式ドキュメントを参照してください。

• secretKey=""：ストレージアクセスキーです。「=」文字は必ず「=」のようにエスケープしてください。

• container=""：Microsoft Azure の Blob ストレージコンテナ名です。コンテナは、一連の Blob をグループ化したものです。詳しくは、公式ドキュメントを参照してください。

• maxConnections=""：操作ごとの同時要求の数です。デフォルト値は 1 です。

• maxErrorRetry="":リクエストごとの再試行の数。 デフォルト値は 3 です。

• socketTimeout="":要求に使用されるタイムアウト間隔（ミリ秒）。 デフォルト値は 5 分です。

上述の設定に加えて、次の設定も指定できます。

• パス：データストアのパス。デフォルトは<aem-install>/repository/datastore.です。
• RecordLength:データストアに格納する必要があるオブジェクトの最小サイズです。 デフォルト値は 16 KB です。
• maxCachedBinarySize:このサイズ以下のバイナリは、メモリキャッシュに格納されます。サイズはバイト単位です。デフォルトは17408(17 KB)です。
• cacheSize:キャッシュのサイズ。値はバイト単位で指定します。デフォルトは64 GBです。
• 秘密：共有データストアの設定にバイナリレスレプリケーションを使用する場合にのみ使用します。
• stagingSplitPercentage:非同期アップロードのステージングに使用するように設定されているキャッシュサイズの割合。 デフォルト値は 10 です。
• uploadThreads:非同期アップロードで使用されるアップロードスレッドの数です。 デフォルト値は 10 です。
• stagingPurgeInterval:完了したアップロードをステージングキャッシュからパージする時間間隔（秒）。 デフォルト値は300秒（5分）です。
• stagingRetryInterval:失敗したアップロードの再試行間隔（秒）。 デフォルト値は600秒（10分）です。

accessKey="ASDASDERFAERAER"
secretKey="28932hfjlkwdo8fufsdfas\=\="

データストアのガベージコレクション

データストアのガベージコレクションプロセスは、データストア内の未使用のファイルを削除するために使用します。このプロセスによって、貴重なディスク領域が解放されます。

データストアのガベージコレクションは、次の方法で実行できます。

1. https://<serveraddress:port>/system/console/jmx​にあるJMXコンソールに移動します。

2. RepositoryManagement を検索します。見つかった Repository Manager の MBean をクリックして、使用可能なオプションを表示します。

3. ページの末尾までスクロールして、「startDataStoreGC(boolean markOnly)」リンクをクリックします。

4. 次に示すダイアログの false パラメーターに markOnly と入力して、「Invoke」をクリックします。

   

   メモ

   markOnly パラメーターは、ガベージコレクションのスイープフェーズを実行するかどうかを示します。

共有データストアにおけるデータストアのガベージコレクション

新しいバージョンの AEM では、複数のリポジトリによって共有されるデータストアでもガベージコレクションを実行できます。共有データストアでデータストアのガベージコレクションを実行できるようにするには、次の手順に従います。

1. データストアのガベージコレクション用に設定されたメンテナンスタスクが、データストアを共有するすべてのリポジトリインスタンスで無効になっていることを確認します。

2. バイナリガベージコレクションで説明した手順を、データストアを共有する​すべての​リポジトリインスタンスで個別に実行します。 ただし、「呼び出し」ボタンをクリックする前に、markOnlyパラメーターにtrueと入力してください。

   

3. 前述の手順がすべてのインスタンスで完了したら、いずれかの​インスタンスからデータストアのガベージコレクションを再び実行します。

   1. JMX コンソールに移動して、Repository Manager の Mbean を選択します。
   2. 「startDataStoreGC(boolean markOnly)」リンクをクリックします。
   3. 次のダイアログで、markOnlyパラメーターにもう一度falseと入力します。

   これにより、以前に使用したマークフェーズで見つかったすべてのファイルを照合して、未使用の残りのファイルがデータストアから削除されます。