リビジョンクリーンアップ

TarMK の永続性形式が AEM 6.5 で変更されます。これらの変更には、事前の移行手順は必要ありません。既存のリポジトリは、周期的な移行を実行します。これはユーザーに対して透過的です。AEM 6.5（または関連ツール）がリポジトリに初めてアクセスすると、移行プロセスが開始されます。

AEM 6.5 永続性形式への移行が開始されると、リポジトリを以前の AEM 6.3 永続性形式に戻すことはできなくなります。

AEM 6.3 で、特にオンラインでのリビジョンクリーンアップのパフォーマンスと効果を高めるために、ストレージ形式の変更が必要となりました。この変更には後方互換性がないので、古い Oak セグメント（AEM 6.2 以前）で作成されたリポジトリを移行する必要があります。

ストレージ形式の変更には、他にも次のような利点があります。

• スケーラビリティの向上（セグメントサイズの最適化）
• データストアのガベージコレクションの高速化
  
• 将来の機能拡張に備えた基盤整備

オフラインでのリビジョンクリーンアップでは最新の世代だけを残して他をすべて再利用しますが、オンラインでのリビジョンクリーンアップでは最新の 2 つの世代を残します。新しいリポジトリの場合、オフラインでのリビジョンクリーンアップの実行後に初めてオンラインでのリビジョンクリーンアップが実行されるときには、再利用できる古い世代が存在しないので、領域は再利用されません。

この章の「オフラインでのリビジョンクリーンアップの実行後にオンラインでのリビジョンクリーンアップを実行した場合」の節も参照してください。

オンラインでのリビジョンクリーンアップは、AEM 6.3 以降のリリースでのみ使用できます。また、古いバージョンの AEM を使用している場合は、新しい Oak Segment Tar に移行する必要があります。

• リポジトリのサイズ
• システムの負荷（要求数/分、特に書き込み操作）
• アクティビティのパターン（読み取りと書き込み）
• ハードウェアの仕様（CPU の性能、メモリ、IOPS）

オンラインでのリビジョンクリーンアップ中、ディスク領域は継続的に監視されます。使用可能なディスク領域が臨界値を下回ると、プロセスがキャンセルされます。臨界値はリポジトリの現在のディスクフットプリントの 25 ％で、設定はできません。

最初に予測したリポジトリサイズよりも少なくとも 2 倍または 3 倍大きなディスクサイズにすることをお勧めします。

クリーンアッププロセス中、空きヒープ領域が継続的に監視されます。空きヒープ領域が臨界値を下回ると、プロセスがキャンセルされます。臨界値は、org.apache.jackrabbit.oak.segment.SegmentNodeStoreService#MEMORY_THRESHOLD を使用して設定します。デフォルト値は 15％です。

推奨されるコンパクションヒープの最小サイズは、AEM のメモリサイズの推奨値と関係があります。原則として、AEM インスタンスのサイズが使用例およびそこで予想されるペイロードに対処するために十分なサイズであれば、クリーンアッププロセスで十分なメモリが確保されます。

• クリーンアップが毎日実行されていることを確認してください。
  
• 操作ダッシュボードでメンテナンスウィンドウを適切に設定して、リポジトリのアクティビティが最も少ない時間帯にクリーンアップが実行されるようにしてください。
• システムリソース（CPU、メモリ、I/O）を拡張してください。

リビジョンクリーンアップでは、まず見積もりフェーズによって、クリーンアップが必要なガベージが累積しているかどうかが判断されます。見積もりでは、最後のコンパクション後のリポジトリサイズと現在のサイズを比較します。このサイズが設定されている差分を超えている場合、クリーンアップが実行されます。サイズの差分は 1 GB に設定されています。これは、リポジトリーのサイズが前回のクリーンアップの実行から 1 GB 増加しなかった場合、新しいリビジョンのクリーンアップの反復がスキップされることを事実上意味します。

見積もりフェーズに関連するログエントリは以下のとおりです。

• リビジョンの GC が実行される：サイズ差分は N% または N/N（N/N バイト）であるため、コンパクションを実行
• リビジョンの GC が実行 されない：サイズ差分は N% または N/N（N/N バイト）であるため、とりあえずコンパクションをスキップ

同時書き込みが可能なシステムでは、コンパクションサイクルの終了時に変更をコミットできるように、オンラインでのリビジョンクリーンアップで排他書き込みアクセスが必要になる場合があります。システムは forceCompact モードになります。詳細に関しては、oak のドキュメントを参照してください。強制コンパクション中は、同時書き込みによる干渉を受けることなく最終的に変更をコミットするために、排他書き込みロックが取得されます。応答時間に対する影響を制限するために、タイムアウト値を定義できます。デフォルトでは、この値は 1 分に設定されています。これは、1 分以内に強制コンパクションが完了しない場合、同時コミットが優先されてコンパクションプロセスが中止されることを意味します。

強制コンパクションの実行時間は以下の要素によって変動します。

• ハードウェア（具体的には IOPS）：IOPS が増えると実行時間が短縮されます。
• セグメントストアサイズ：実行時間はセグメントストアのサイズに伴って増大します。

スタンバイインスタンスでは、オンラインでのリビジョンクリーンアップはどのように実行されますか。

コールドスタンバイセットアップでは、オンラインでのリビジョンクリーンアップの実行を設定する必要があるのは、プライマリインスタンスのみです。スタンバイインスタンスで、オンラインでのリビジョンクリーンアップを明示的にスケジュールする必要はありません。

スタンバイインスタンスでの対応する操作は自動クリーンアップです。これは、オンラインでのリビジョンクリーンアップのクリーンアップフェーズに相当します。プライマリインスタンスでオンラインでのリビジョンクリーンアップが実行された後に、スタンバイインスタンスで自動クリーンアップが実行されます。

見積もりフェーズとコンパクションフェーズはスタンバイインスタンスでは実行されません。

オフラインでのリビジョンクリーンアップでは古いリビジョンをすぐに削除できますが、オンラインでのリビジョンクリーンアップでは、古いリビジョンが引き続きアプリケーションスタックによって参照されていることを考慮する必要があります。そのため、オフラインのほうがオンラインよりも積極的にガベージを削除できますが、ガベージコレクションサイクルを数回経ると、この効果は薄れます。

この章の「オフラインでのリビジョンクリーンアップの実行後にオンラインでのリビジョンクリーンアップを実行した場合」の節も参照してください。

• Windows 環境では、通常のファイルアクセスが常に強制的に利用されるので、メモリマップアクセスは使用されません。一般的に、利用可能なすべての RAM をヒープに割り当て、segmentCache サイズを大きくする必要があります。segmentCache のサイズは、org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config に segmentCache.size オプションを追加して大きくします（例：segmentCache.size=20480）。オペレーティングシステムや他のプロセス用に、一定の RAM を残しておいてください。
• Windows 以外の環境では、物理メモリのサイズを大きくすることで、リポジトリのメモリマップの効率性を向上できます。

• オンラインでのリビジョンクリーンアップが有効な場合は、ディスクスペースを監視する必要があります。ディスク領域が不十分な場合、クリーンアップは実行されないか、早期に終了します。
• オンラインでのリビジョンクリーンアップの完了時間をログで確認してください。これは 2 時間以下である必要があります。
• チェックポイントの数。コンパクションの実行時にチェックポイントが 4 つ以上ある場合は、チェックポイントをクリーンアップすることをお勧めします。

オンラインでのリビジョンクリーンアップが正常に完了したかどうかは、ログを確認して確認できます。

例：「TarMK GC #{}: compaction completed in {} ({} ms), after {} cycles 」は、メッセージ「TarMK GC #{}: compaction gave up compacting concurrent commits after {} cycles」（同時負荷が大きすぎることを意味する）が先行しない限り、コンパクションステップが正常に完了したことを意味します。

それに伴い、クリーンアップステップの正常終了を示すメッセージ「TarMK GC #{}: cleanup completed in {} ({} ms」が表示されます。

ステータス、進行状況および統計は、JMX（SegmentRevisionGarbageCollection MBean）経由で表示されます。SegmentRevisionGarbageCollection MBean の詳細に関しては、次の段落 を参照してください。

進行状況は、 EstimatedRevisionGCCompletion のフィールド名で追跡できます。 SegmentRevisionGarbageCollection MBean.

MBean の参照を取得するには、 ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection" を使用します。

確認できるのは、システムを最後に起動した以降の統計情報のみであることにご注意ください。外部の監視ツールを利用すると、AEM の稼動時間外もデータを監視できます。詳細に関しては、 外部の監視ツールの例として、Nagios にヘルスチェックを接続するための AEM のドキュメントを参照してください。

• オンラインでのリビジョンクリーンアップが開始/停止しました
  • オンラインでのリビジョンクリーンアップは、見積もり、コンパクション、クリーンアップの 3 つのフェーズで構成されます。リポジトリに十分な量のガベージが含まれていない場合は、見積もりによってコンパクションとクリーンアップがスキップされることがあります。最新バージョンのAEMでは、「TarMK GC #{}: estimation started「見積もりの開始を示す」TarMK GC #{}: compaction started, strategy={}"コンパクションの開始をマークし、"TarMK GC #{}: cleanup started. Current repository size is {} ({} bytes"は、クリーンアップの開始をマークします。
• リビジョンのクリーンアップで取得したディスクスペース
  • スペースは、クリーンアップフェーズが完了した場合にのみ再利用されます。クリーンアップフェーズの完了は、ログメッセージ「TarMK GC #{}: cleanup completed in {} ({} ms」で示されます。クリーンアップ後のサイズは {}（{} バイト）で、再利用された領域は {}（{} バイト）です。コンパクションマップの重み/深さは {}/{} （{} バイト/{}）です。"
• リビジョンのクリーンアップ中に問題が発生しました
  • 多くの障害状態があり、すべての障害は、「TarMK GC」で始まる WARN または ERROR ログメッセージでマークされます。

また、エラーメッセージに基づくトラブルシューティングの節を参照してください。

オンラインでのリビジョンクリーンアップの後は、リポジトリの整合性チェックは必要ありません。

ただし、クリーンアップ後にリポジトリのステータスを確認するには、次の操作を実行できます。

• リポジトリトラバーサルチェック
• クリーンアッププロセスが完了したら、oak-run ツールを使用して不整合をチェックします。この方法について詳しくは、 Apache ドキュメントを参照してください。 ツールを実行するために AEM をシャットダウンする必要はありません。

リビジョンのクリーンアップヘルスチェックは、 操作ダッシュボードの一部です。

オンラインでのリビジョンクリーンアップメンテナンスタスクの最後の実行が正常に完了した場合、ステータスは緑になります。

オンラインでのリビジョンクリーンアップのメンテナンスタスクが 1 回キャンセルされた場合、ステータスはイエローになります。

オンラインでのリビジョンクリーンアップのメンテナンスタスクを 3 回連続でキャンセルした場合は、赤になります。この場合、手動の操作が必要であるか、オンラインでのリビジョンクリーンアップが再び失敗する可能性が高くなります。詳細情報に関しては、以下のトラブルシューティングの節を参照してください。

システムの再起動後に、ヘルスチェックステータスがリセットされることにもご注意ください。そのため、新たに再起動されたインスタンスでは、リビジョンクリーンアップヘルスチェックで緑色のステータスが示されます。外部の監視ツールを利用すると、AEM の稼動時間外もデータを監視できます。外部の監視ツールの例として、Nagios にヘルスチェックを接続するための AEM のドキュメントを参照してください。

スタンバイインスタンスで自動クリーンアップを監視する方法を教えてください。

ステータス、進行状況および統計は、SegmentRevisionGarbageCollection MBean を使用し、JMX 経由で表示されます。次の Oak ドキュメントも参照してください。

MBean の参照は、ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection" を使用して取得できます。

確認できるのは、システムが最後に起動されて以降の統計情報のみであることにご注意ください。外部の監視ツールを利用すると、AEM の稼動時間外もデータを監視できます。また、 外部の監視ツールの例として、Nagios にヘルスチェックを接続するための AEM のドキュメントも参照してください。

ログファイルを使用して、自動クリーンアップのステータス、進行状況および統計情報を確認することもできます。

スタンバイインスタンスでの自動クリーンアップ中に監視する必要があるものは何ですか。

• 自動クリーンアップの実行中は、ディスクスペースを監視する必要があります。
• （ログを使用して）完了時間が 2 時間を超えていないことを確認します。
• 自動クリーンアップが実行された後のセグメントストアサイズ。スタンバイインスタンスでのセグメントストアのサイズは、プライマリインスタンスでのサイズとほぼ同じである必要があります。

• まず、ログエントリを確認します。
  
• ログの情報に基づいて、適切な操作を実行します。
  • ログに、5 回の失敗したコンパクションサイクルとforceCompactサイクルでのタイムアウトが示されている場合は、リポジトリへの書き込みが少ない、処理が少ない時間帯にメンテナンスウィンドウをスケジュールします。リポジトリーへの書き込みは、https://serveraddress:serverport/libs/granite/operations/content/monitoring/page.html にあるリポジトリー指標の監視ツールで確認できます。
  • メンテナンスウィンドウの終わりにクリーンアップが停止した場合は、メンテナンスタスクのユーザーインターフェイスで、メンテナンスウィンドウの長さの設定が十分であることを確認してください。
  • 使用可能なヒープメモリが不足している場合は、インスタンスに十分なメモリがあることを確認してください。
  • 応答が遅い場合は、セグメントストアが大きくなりすぎて、メンテナンスウィンドウを長くしてもオンラインでのリビジョンクリーンアップを完了できない可能性があります。例えば、先週、オンラインでのリビジョンクリーンアップが一度も正常に完了してない場合は、セグメントストアを対処可能なサイズに戻すために、オフラインでのメンテナンスを計画し、オフラインでのリビジョンクリーンアップを実行することをお勧めします。

SegmentNotFoundException は、TarMK がアクセスを試みたストレージユニット（セグメント）が見つからなかったときに、TarMK によってログに記録されます。次の 3 つのシナリオで、この問題が発生する可能性があります。

1. アプリケーションが、推奨されるアクセス方法（Sling や JCR API など）を使用せずに、下位レベルの API／SPI を使用してリポジトリにアクセスし、セグメントの保持時間を超えている場合。つまり、アプリケーションがオンラインでのリビジョンクリーンアップで許可される保持時間（デフォルトは 24 時間）よりも長くエンティティへの参照を保持している場合です。この状況は一時的で、データの破損にはつながりません。復旧するには、oak-run ツールを使用して、この例外が一時的なものである（oak-run チェックでエラーが報告されない）ことを確認する必要があります。このためには、インスタンスをオフラインにし、後で再起動する必要があります。
2. 外部イベントによってディスクのデータが破損している場合。これは、ディスクの障害、ディスク領域の不足または必要なデータファイルが誤って変更されたことが原因である可能性があります。この場合は、インスタンスをオフラインにして、oak-run チェックを使用して修復する必要があります。oak-run チェックの実行方法についての詳細は、以下の Apache ドキュメント を参照してください。
3. 他のすべての状況では、アドビカスタマーケア に連絡して対処する必要があります。

クリーンアップの実行時間は、リポジトリサイズとクリーンアップする必要があるリビジョンの数によって決まります。

• Oak リビジョン： Oak では、ノードとプロパティで構成される大規模なツリー階層ですべてのコンテンツを整理しています。このコンテンツツリーの各スナップショットまたはリビジョンは不変で、ツリーに対する変更は一連の新しいリビジョンとして表されます。通常は、コンテンツが変更されるたびに新しいリビジョンがトリガーされます。リンクをフォロー も参照してください。
• ページバージョン：バージョン管理では、特定の時点でのページの「スナップショット」が作成されます。通常は、ページがアクティベートされたときに新しいバージョンが作成されます。詳細情報に関しては、ページバージョンの処理 を参照してください。