修订清理

TarMK的持久性格式将随AEM 6.4一起更改。这些更改不需要主动迁移步骤。 现有存储库将进行滚动迁移，这对用户是透明的。 迁移过程是在AEM 6.4（或相关工具）首次访问存储库时启动的。

迁移到AEM 6.4持久性格式后，存储库将无法恢复为以前的AEM 6.3持久性格式。

在AEM 6.3中，需要更改存储格式，尤其是为了改进“在线修订清理”的性能和效能。 这些更改不向后兼容，必须使用旧的Oak Segment(AEM 6.2和先前版本)创建的存储库必须进行迁移。

更改存储格式的其他优势：

• 更好的可扩展性（优化的细分大小）。
• 更快的数据存储垃圾收集。
  
• 为未来的增强而进行地面工作。

“脱机修订清理”可以回收除最新一代之外的所有资源，而“联机修订清理”可以回收最新两代资源。 对于新的存储库，在脱机修订清理后首次执行时，联机修订清理不会回收任何空间，因为没有足够旧的空间可回收。

此外，请阅读本章的“脱机修订清理后运行联机修订清理”部分。

联机修订清理仅在AEM 6.3和更高版本中可用。 此外，如果您使用旧版AEM，则需要迁移到新的Oak区段Tar。

• 存储库大小
• 在系统上加载（每分钟请求，特别是写操作）
• 活动模式（读取与写入）
• 硬件规格（CPU性能、内存、IOPS）

在“在线修订清理”期间持续监视磁盘空间。 如果可用磁盘空间降至关键值以下，将取消该过程。 关键价值是存储库当前磁盘占用量的25%，并且不可配置。

建议磁盘大小至少比最初估计的存储库大小大两三倍。

在清理过程中持续监视空闲堆空间。 如果可用堆空间降至关键值以下，则取消该进程。 关键值通过org.apache.jackrabbit.oak.segment.SegmentNodeStoreService#MEMORY_THRESHOLD配置。 默认值为15%。

Recommendations的最小压缩堆大小调整建议不与AEM内存大小调整建议分开。 一般而言：如果AEM实例的大小足够大，足以应对使用情况及其预期负载，则清除过程将获得足够的内存。

• 确保每天执行。
  
• 通过相应地在“操作”活动中配置维护窗口，确保在最小存储库仪表板下执行它。
• 扩展系统资源（CPU、内存、I/O）。

“修订清理”依赖于评估阶段来确定是否有足够的垃圾进行清理。 估计器将上次压缩后的当前大小与存储库的大小进行比较。 如果大小超出配置的增量，将运行清理。 大小增量设置为1 GB。 这实际上意味着，如果自上次清理运行以来存储库大小没有增加1 GB，则将跳过新的修订清理小版本。

以下是估计阶段的相关日志条目：

• 版本GC将运行：大小增量为N%或N/N（N/N字节），因此运行压缩
• 修订版GC将不运行：大小增量为N%或N/N（N/N字节），因此现在跳过压缩

如果系统上存在写入并发，则在线修订清理可能需要独占写入访问才能在压缩周期结束时提交更改。 如oak文档中更详细的说明，系统将进入forceCompact模式。 在强制紧凑期间，获取独占写锁定以便最终提交更改而不会任何并发写入干扰。 要限制对响应时间的影响，可以定义超时值。 默认情况下，此值设置为1分钟，这意味着如果强制压缩在1分钟内未完成，则压缩过程将中止，有利于并发提交。

力紧的持续时间取决于以下因素：

• 硬件：特别是IOPS。 持续时间随IOPS的增加而减少。
• 区段存储大小：持续时间会随区段存储的大小而增加。

如何对待机实例执行联机修订清理？

在冷待机设置中，只需将主实例配置为运行联机修订清除。 在备用实例上，无需专门计划联机修订清理。

待机实例上的相应操作是自动清除——这与在线修订清除的清除阶段相对应。 在主实例上执行联机修订清理后，自动清理在备用实例上运行。

估计阶段和压缩阶段不会在备用实例上运行。

脱机修订清理可以立即删除旧修订，而联机修订清理需要考虑应用程序堆栈仍引用的旧修订。 因此，前者可以比后者更积极地去除垃圾，而后者在少数垃圾收集周期期间会对效果进行摊销。

此外，请阅读本章的“脱机修订清理后运行联机修订清理”部分。

• 在Windows环境中，始终强制执行常规文件访问，因此不使用内存映射访问。作为一般建议，应将所有可用的RAM分配给堆，并增加segmentCache大小。 通过向org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config添加segmentCache.size选项来增加segmentCache（例如，segmentCache.size=20480）。 请记住为操作系统和其他进程保留一些内存。
• 在非Windows环境，增加物理内存的大小以改进存储库的内存映射。

• 启用“联机修订清理”时，应监视磁盘空间。 清理将不运行，或在磁盘空间不足时以抢先方式终止。
• 检查联机修订清理完成时间的日志。 不得超过2小时。
• 检查点数。 如果压缩运行时有3个以上的检查点，建议清除这些检查点。

您可以通过检查日志来检查联机修订清理是否成功完成。

例如，“TarMK GC #{}: compaction completed in {} ({} ms), after {} cycles”表示压缩步骤成功完成，除非出现消息“TarMK GC #{}: compaction gave up compacting concurrent commits after {} cycles”，这意味着并发加载过多。

相应地，会显示一条消息“TarMK GC #{}: cleanup completed in {} ({} ms”，用于成功完成清除步骤。

状态、进度和统计信息通过JMX(SegmentRevisionGarbageCollection MBean)公开。 有关SegmentRevisionGarbageCollection MBean的详细信息，请阅读下面的段落。

可以通过EstimatedRevisionGCCompletion SegmentRevisionGarbageCollection MBean.

可以使用ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection”获取MBean的引用。

请注意，统计信息仅在上次系统开始后可用。 可以利用外部监控工具使数据超出AEM的正常运行时间。 请参阅将运行状况检查附加到Nagios的AEM文档，作为外部监视工具的示例。

• 联机修订清理已开始／停止
  • 在线修订清理包括三个阶段：估计、压缩和清理。 如果存储库未包含足够的垃圾，估计可能会强制压缩和清理以跳过。 在AEM的最新版本中，消息“TarMK GC #{}: estimation started”标记估计开始,“TarMK GC #{}: compaction started, strategy={}”标记压缩开始,“TarMK GC #{}: cleanup started. Current repository size is {} ({} bytes”标记清除开始。
• 修订清理获取的磁盘空间
  • 仅当清除阶段完成时才会回收空间。 清除阶段的完成由日志消息“TarMK GC #{}: cleanup completed in {} ({} ms”标记。 后清理大小为{}（{}字节）和已回收空间{}（{}字节）。 压缩映射权重/深度为{}/{}({} bytes/{})。”
• 修订清理期间出现问题
  • 故障情况很多，所有故障都标有WARN或ERROR日志消息，以“TarMK GC”开头。

另请参阅下面的基于错误消息的疑难解答部分。

联机修订清除后，不需要检查存储库完整性。

但是，您可以执行以下操作，在清除后检查存储库状态：

• 存储库遍历检查
• 在清理过程完成后，使用oak-run工具检查不一致。 有关如何执行此操作的详细信息，请查看Apache文档。 您无需关闭AEM即可运行工具。

修订版清理运行状况检查是操作仪表板的一部分。

如果上次执行联机修订清理维护任务成功完成，状态将为GREEN。

如果“在线修订清除”维护任务取消一次，则它将为YELLOW。

如果“在线修订清理”维护任务已连续取消三次，则它将为RED。 在这种情况下，需要手动 交互，否则联机修订清理可能再次失败。有关详细信息，请阅读下面的疑难解答部分。

另请注意，系统重新启动后将重置运行状况检查状态。 因此，新重新启动的实例在修订清理运行状况检查上显示绿色状态。 可以利用外部监控工具使数据超出AEM的正常运行时间。 请参阅将运行状况检查附加到Nagios的AEM文档，作为外部监视工具的示例。

如何监视待机实例的自动清理？

状态、进度和统计信息通过JMX使用SegmentRevisionGarbageCollection MBean来公开。 另请参见以下Oak文档。

可以使用ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection”获取MBean的引用。

请注意，统计信息仅在上次系统开始后可用。 可以利用外部监控工具使数据超出AEM的正常运行时间。 另请参阅将运行状况检查附加到Nagios的AEM文档，作为外部监视工具的示例。

日志文件还可用于检查自动清除的状态、进度和统计信息。

在待机实例的自动清理过程中需要监视什么？

• 运行“Automatic Cleanup（自动清理）”时，应监视磁盘空间。
• 完成时间（通过日志）确保不超过2小时。
• 运行“自动清理”后段存储大小。 备用实例上的segmentstore大小应与主实例上的segmentstore大小大致相同。

• 首先，检查日志条目
  
• 根据日志中的信息，采取相应的操作：
  • 如果日志显示5个丢失的压缩周期，并且forceCompact周期出现超时，则将维护窗口计划到存储库写入量低时的安静时间。 可以在位于https://serveraddress:serverport/libs/granite/operations/content/monitoring/page.html的存储库度量监视工具中检查存储库写入
  • 如果清理在维护窗口的末尾停止，请确保维护任务用户界面中维护窗口的配置足够大
  • 如果可用堆内存不足，请确保实例具有足够的内存。
  • 如果反应迟钝，则分段存储可能会增长过多，以致“在线修订清理”无法在较长的维护窗口中完成。 例如，如果上周没有成功完成在线修订清理，则建议计划脱机维护并执行脱机修订清理，以便将区段存储恢复为可管理的大小。

当TarMK尝试访问它找不到的存储单元（段）时，将记录SegmentNotFoundException。 有三种情形可能导致此问题：

1. 规避建议的访问机制（如Sling和JCR API）并使用较低级别的API/SPI访问存储库，然后超过段的保留时间的应用程序。 也就是说，它会将对实体的引用保留时间保持在“在线修订清除”允许的保留时间（默认为24小时）以上。 此案件是暂时的，不会导致数据损坏。 要恢复，应使用oak-run工具确认异常的临时性质（oak-run检查不应报告任何错误）。 为此，需要将实例设为脱机并在之后重新启动。
2. 外部事件导致磁盘上的数据损坏。 这可能是磁盘故障、磁盘空间不足或意外修改所需数据文件。 在这种情况下，该实例需要脱机并使用橡树运行支票进行修复。 有关如何执行oak-run检查的详细信息，请阅读以下Apache文档。
3. 所有其他事件都应通过Adobe客户关怀解决。

存储库大小和需要清理的修订量决定了清理的持续时间。

• Oak修订版： Oak将所有内容组织到一个由节点和属性组成的大树层次结构中。此内容树的每个快照或修订都是不可变的，对该树所做的更改将表示为新修订的序列。 通常，每次内容修改都会触发新的修订。 另请参阅跟踪链接。
• 页面版本： 版本控制可创建页面在特定时间点的“快照”。通常，在激活页面时会创建新版本。 有关详细信息，请参阅使用页面版本。