リビジョンクリーンアップ

TarMK の永続性形式が AEM 6.5 で変更されます。これらの変更には、事前の移行手順は必要ありません。既存のリポジトリは、周期的な移行を実行します。これはユーザーに対して透過的です。AEM 6.5（または関連ツール）がリポジトリに初めてアクセスすると、移行プロセスが開始されます。

AEM 6.5永続性形式への移行が開始されると、リポジトリを以前のAEM 6.3永続性形式に戻すことはできません。

AEM 6.3では、ストレージ形式の変更が必要でした。特に、オンラインリビジョンクリーンアップのパフォーマンスと有効性を改善するために必要でした。 この変更には後方互換性がないので、古い Oak セグメント（AEM 6.2 以前）で作成されたリポジトリを移行する必要があります。

ストレージ形式の変更には、他にも次のような利点があります。

• スケーラビリティの向上（セグメントサイズの最適化）
• データストアのガベージコレクションの高速化
  
• 将来の機能拡張に備えた基盤整備

オフラインでのリビジョンクリーンアップでは最新の世代だけを残して他をすべて再利用しますが、オンラインでのリビジョンクリーンアップでは最新の 2 つの世代を残します。新しいリポジトリの場合、オフラインでのリビジョンクリーンアップの実行後に初めてオンラインでのリビジョンクリーンアップが実行されるときには、再利用できる古い世代が存在しないので、領域は再利用されません。

この章の「オフラインでのリビジョンクリーンアップの実行後にオンラインでのリビジョンクリーンアップを実行した場合」の節も参照してください。

オンラインリビジョンのクリーンアップは、AEM 6.3以降のリリースでのみ利用できます。 また、古いバージョンの AEM を使用している場合は、新しい Oak Segment Tar に移行する必要があります。

• リポジトリのサイズ
• システムの負荷（要求数/分、特に書き込み操作）
• アクティビティのパターン（読み取りと書き込み）
• ハードウェアの仕様（CPU の性能、メモリ、IOPS）

オンラインでのリビジョンクリーンアップ中、ディスク領域は継続的に監視されます。使用可能なディスク領域が臨界値を下回ると、プロセスがキャンセルされます。臨界値はリポジトリの現在のディスクフットプリントの 25 ％で、設定はできません。

最初に予測したリポジトリサイズよりも少なくとも 2 倍または 3 倍大きなディスクサイズにすることをお勧めします。

クリーンアッププロセス中、空きヒープ領域が継続的に監視されます。空きヒープ領域が臨界値を下回ると、プロセスがキャンセルされます。重要な値は、org.apache.jackrabbit.oak.segment.SegmentNodeStoreService#MEMORY_THRESHOLDを使用して設定されます。 デフォルト値は 15％です。

推奨されるコンパクションヒープの最小サイズは、AEM のメモリサイズの推奨値と関係があります。原則として、AEM インスタンスのサイズが使用例およびそこで予想されるペイロードに対処するために十分なサイズであれば、クリーンアッププロセスで十分なメモリが確保されます。

• クリーンアップが毎日実行されていることを確認してください。
  
• リポジトリのアクティビティを最小限に抑えるために、「Operations」ダッシュボードのメンテナンスウィンドウを適宜設定します。
• システムリソース（CPU、メモリ、I/O）を拡張してください。

リビジョンクリーンアップでは、まず見積もりフェーズによって、クリーンアップが必要なガベージが累積しているかどうかが判断されます。見積もりでは、最後のコンパクション後のリポジトリサイズと現在のサイズを比較します。このサイズが設定されている差分を超えている場合、クリーンアップが実行されます。サイズの差分は1 GBに設定されます。 これは、前回のクリーンアップの実行以降にリポジトリのサイズが1 GB増えなかった場合、新しいリビジョンのクリーンアップの反復はスキップされることを意味します。

見積もりフェーズに関連するログエントリは以下のとおりです。

• リビジョンGCが実行されます：サイズの差はN%またはN/N （N/Nバイト）なので、圧縮を実行しています
• リビジョンGCはを実行しません：サイズの差はN%またはN/N （N/Nバイト）なので、現在は圧縮をスキップします

同時書き込みが可能なシステムでは、コンパクションサイクルの終了時に変更をコミットできるように、オンラインでのリビジョンクリーンアップで排他書き込みアクセスが必要になる場合があります。oakドキュメントで詳しく説明されているように、システムはforceCompactモードに移行します。 強制コンパクション中は、同時書き込みによる干渉を受けることなく最終的に変更をコミットするために、排他書き込みロックが取得されます。応答時間に対する影響を制限するために、タイムアウト値を定義できます。デフォルトでは、この値は 1 分に設定されています。これは、1 分以内に強制コンパクションが完了しない場合、同時コミットが優先されてコンパクションプロセスが中止されることを意味します。

力のコンパクト化の時間は、次の要因によって異なります。

• ハードウェア（具体的には IOPS）：IOPS が増えると実行時間が短縮されます。
• セグメントストアサイズ：実行時間はセグメントストアのサイズに伴って増大します。

スタンバイインスタンスでは、オンラインでのリビジョンクリーンアップはどのように実行されますか。

コールドスタンバイセットアップでは、オンラインでのリビジョンクリーンアップの実行を設定する必要があるのは、プライマリインスタンスのみです。スタンバイ・インスタンスでは、オンライン・リビジョン・クリーンアップを特別にスケジュールする必要はありません。

スタンバイインスタンスでの対応する操作は、自動クリーンアップです。これは、オンラインリビジョンクリーンアップのクリーンアップフェーズに対応します。 プライマリインスタンスでオンラインでのリビジョンクリーンアップが実行された後に、スタンバイインスタンスで自動クリーンアップが実行されます。

見積もりフェーズとコンパクションフェーズはスタンバイインスタンスでは実行されません。

オフラインでのリビジョンクリーンアップでは古いリビジョンをすぐに削除できますが、オンラインでのリビジョンクリーンアップでは、古いリビジョンが引き続きアプリケーションスタックによって参照されていることを考慮する必要があります。そのため、オフラインのほうがオンラインよりも積極的にガベージを削除できますが、ガベージコレクションサイクルを数回経ると、この効果は薄れます。

この章の「オフラインでのリビジョンクリーンアップの実行後にオンラインでのリビジョンクリーンアップを実行した場合」の節も参照してください。

• Windows環境では、通常のファイルアクセスが常に適用されるので、メモリマップアクセスは使用されません。一般的なアドバイスとして、使用可能なすべてのRAMをヒープに割り当て、segmentCacheサイズを増やす必要があります。 segmentCacheを増やすには、org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.configにsegmentCache.sizeオプションを追加します（例：segmentCache.size=20480）。 オペレーティングシステムや他のプロセス用のRAMを忘れないようにしてください。
• Windows 以外の環境では、物理メモリのサイズを大きくすることで、リポジトリのメモリマップの効率性を向上できます。

• オンラインリビジョンのクリーンアップが有効な場合は、ディスク領域を監視する必要があります。 ディスク領域が不十分な場合、クリーンアップは実行されないか、早期に終了します。
• ログで、オンラインリビジョンのクリーンアップの完了時間を確認します。 これは 2 時間以下である必要があります。
• チェックポイントの数。 コンパクションの実行時にチェックポイントが 4 つ以上ある場合は、チェックポイントをクリーンアップすることをお勧めします。

オンラインリビジョンのクリーンアップが正常に完了したかどうかを確認するには、ログを確認します。

例えば、「TarMK GC #{}: compaction completed in {} ({} ms), after {} cycles」は、「TarMK GC #{}: compaction gave up compacting concurrent commits after {} cycles」というメッセージが表示されない限り、圧縮手順が正常に完了したことを意味します。これは、同時負荷が多すぎることを意味します。

それに対応して、クリーンアップ手順が正常に完了したことを示すメッセージ「TarMK GC #{}: cleanup completed in {} ({} ms」が表示されます。

ステータス、進行状況、および統計は、JMX(SegmentRevisionGarbageCollection MBean)を介して公開されます。 SegmentRevisionGarbageCollection MBeanの詳細については、次の段落を読んでください。

進行状況は、EstimatedRevisionGCCompletion SegmentRevisionGarbageCollection MBean.

MBeanの参照は、ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection”を使用して取得できます。

統計は、最後のシステム開始以降にのみ利用できます。 外部の監視ツールを利用すると、AEM の稼動時間外もデータを監視できます。外部監視ツールの例として、Nagiosにヘルスチェックを添付するAEMのドキュメントを参照してください。

• オンラインリビジョンのクリーンアップが開始/停止されました
  • オンラインリビジョンのクリーンアップは、次の3つのフェーズで構成されます。見積もり、圧縮、クリーンアップ。 リポジトリに十分な量のガベージが含まれていない場合は、見積もりによってコンパクションとクリーンアップがスキップされることがあります。最新版のAEMでは、「TarMK GC #{}: estimation started」というメッセージは推定の開始を示し、「TarMK GC #{}: compaction started, strategy={}」は圧縮の開始を示し、「TarMK GC #{}: cleanup started. Current repository size is {} ({} bytes」はクリーンアップの開始を示します。
• リビジョンのクリーンアップによって取得されたディスク領域
  • 領域は、クリーンアップフェーズが完了した場合にのみ再利用されます。 クリーンアップフェーズの完了は、ログメッセージ「TarMK GC #{}: cleanup completed in {} ({} ms」でマークされます。 クリーンアップ後のサイズは {}（{} バイト）で、再利用された領域は {}（{} バイト）です。コンパクションマップの重み付け／深さは {}／{}（{} バイト／{}）です。
• リビジョンのクリーンアップ中に問題が発生しました
  • 多くの失敗条件があり、すべて「TarMK GC」で始まるWARNまたはERRORログメッセージでマークされます。

また、下のエラーメッセージに基づくトラブルシューティングの節も参照してください。

オンラインリビジョンのクリーンアップの後は、リポジトリの整合性チェックは必要ありません。

ただし、次の操作を実行して、クリーンアップ後にリポジトリのステータスを確認できます。

• リポジトリトラバーサルチェック
• クリーンアッププロセスが完了した後、oak-runツールを使用して、不一致を確認します。 この方法の詳細については、Apacheのドキュメントを参照してください。 ツールを実行する際にAEMをシャットダウンする必要はありません。

Revision Clean-up Health Checkは、Operationsダッシュボードの一部です。

オンラインリビジョンのクリーンアップメンテナンスタスクの最後の実行が正常に完了した場合、ステータスはGREENになります。

オンラインリビジョンのクリーンアップメンテナンスタスクが1回キャンセルされた場合は、YELLOWになります。

オンラインリビジョンのクリーンアップメンテナンスタスクが3回連続でキャンセルされた場合は、REDになります。 この場合、手動での操作が 必要です。また、オンラインリビジョンのクリーンアップが再び失敗する可能性があります。詳しくは、下のトラブルシューティングの節を参照してください。

また、システムを再起動した後にヘルスチェックのステータスがリセットされることにも注意してください。 そのため、新たに再起動されたインスタンスでは、リビジョンクリーンアップヘルスチェックで緑色のステータスが示されます。外部の監視ツールを利用すると、AEM の稼動時間外もデータを監視できます。外部監視ツールの例として、Nagiosにヘルスチェックを添付するAEMのドキュメントを参照してください。

スタンバイインスタンスの自動クリーンアップを監視する方法

ステータス、進行状況、および統計は、SegmentRevisionGarbageCollection MBeanを使用してJMXで公開されます。 以下のOakドキュメントも参照してください。

MBeanの参照は、ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection”を使用して取得できます。

統計情報は、最後のシステム開始以降にのみ利用できます。 外部の監視ツールを利用すると、AEM の稼動時間外もデータを監視できます。また、外部監視ツールの例として、Nagiosにヘルスチェックを添付するAEMのドキュメントも参照してください。

ログファイルは、自動クリーンアップの状態、進行状況、および統計を確認するためにも使用できます。

スタンバイ・インスタンスでの自動クリーンアップ中に監視する必要があるのは何ですか。

• 自動クリーンアップを実行する場合は、ディスク領域を監視する必要があります。
• 完了時間（ログ経由）。2時間を超えないことを確認します。
• 自動クリーンアップの実行後のセグメントストアのサイズ。 スタンバイインスタンスでのセグメントストアのサイズは、プライマリインスタンスでのサイズとほぼ同じである必要があります。

• まず、ログエントリを確認します。
  
• ログの情報に基づいて、適切な操作を実行します。
  • ログに5回のミスされたコンパクト・サイクルとforceCompactサイクルのタイムアウトが表示される場合は、リポジトリの書き込みの量が少ないときにメンテナンス・ウィンドウのスケジュールを設定します。 https://serveraddress:serverport/libs/granite/operations/content/monitoring/page.htmlにあるリポジトリ指標監視ツールで、リポジトリへの書き込みを確認できます。
  • メンテナンスウィンドウの終わりにクリーンアップが停止した場合は、メンテナンスタスクのユーザーインターフェイスで、メンテナンスウィンドウの長さの設定が十分であることを確認してください。
  • 使用可能なヒープメモリが不足している場合は、インスタンスに十分なメモリがあることを確認してください。
  • 応答が遅い場合は、セグメントストアが大きくなりすぎて、メンテナンスウィンドウを長くしてもオンラインでのリビジョンクリーンアップを完了できない可能性があります。例えば、先週、オンラインでのリビジョンクリーンアップが一度も正常に完了してない場合は、セグメントストアを対処可能なサイズに戻すために、オフラインでのメンテナンスを計画し、オフラインでのリビジョンクリーンアップを実行することをお勧めします。

SegmentNotFoundExceptionは、見つからないストレージユニット（セグメント）にアクセスしようとすると、TarMKによってログに記録されます。 次の 3 つのシナリオで、この問題が発生する可能性があります。

1. アプリケーションが、推奨されるアクセス方法（Sling や JCR API など）を使用せずに、下位レベルの API／SPI を使用してリポジトリにアクセスし、セグメントの保持時間を超えている場合。つまり、アプリケーションがオンラインでのリビジョンクリーンアップで許可される保持時間（デフォルトは 24 時間）よりも長くエンティティへの参照を保持している場合です。この状況は一時的で、データの破損にはつながりません。回復するには、oak-runツールを使用して、例外の一時的な性質を確認する必要があります（oak-runチェックでエラーは報告されません）。 これを行うには、インスタンスをオフラインにして、後で再起動する必要があります。
2. 外部イベントによってディスクのデータが破損している場合。これは、ディスクの障害、ディスク領域の不足または必要なデータファイルが誤って変更されたことが原因である可能性があります。この場合は、インスタンスをオフラインにして、oak-run チェックを使用して修復する必要があります。oak-runの確認の実行方法の詳細については、次のApacheドキュメントを参照してください。
3. その他すべての問題は、Adobeカスタマーケアで解決する必要があります。

クリーンアップの実行時間は、リポジトリサイズとクリーンアップする必要があるリビジョンの数によって決まります。

• Oakリビジョン： Oakは、すべてのコンテンツをノードとプロパティで構成される大きなツリー階層に編成します。このコンテンツツリーの各スナップショットまたはリビジョンは不変で、ツリーに対する変更は一連の新しいリビジョンとして表されます。通常は、コンテンツが変更されるたびに新しいリビジョンがトリガーされます。「フォローリンク」も参照してください。
• ページバージョン： バージョン管理では、特定の時点でのページの「スナップショット」を作成します。通常は、ページがアクティベートされたときに新しいバージョンが作成されます。詳しくは、ページバージョンの操作を参照してください。