Nettoyage de révision revision-cleanup

Le format de persistance de TarMK change avec AEM 6.4. Ces modifications ne nécessitent aucune étape de migration proactive. Les référentiels existants font l’objet d’une migration progressive, un processus totalement transparent. Le processus de migration est lancé la première fois qu’AEM 6.4 (ou les outils associés) accède(nt) au référentiel.

Une fois que la migration vers le format de persistance AEM 6.4 a été lancée, le référentiel ne peut plus revenir au format de persistance AEM 6.3 précédent.

Dans AEM 6.3, des modifications au niveau du format de stockage étaient nécessaires, notamment pour améliorer les performances et l’efficacité du nettoyage des révisions en ligne. Ces modifications ne sont pas rétrocompatibles et les référentiels créés avec l’ancien segment Oak (AEM 6.2 et versions antérieures) doivent être migrés.

Autres avantages liés à la modification du format de stockage :

• Amélioration de l’évolutivité (taille du segment optimisée).
• Récupération de l’espace mémoire du magasin de données plus rapide.
• Travail de base pour les améliorations futures.

Le nettoyage des révisions hors ligne récupère tout sauf la dernière génération par rapport aux deux dernières générations de nettoyage des révisions en ligne. Dans le cas d’un nouveau référentiel, le nettoyage des révisions en ligne ne récupère aucun espace lorsqu’il est exécuté pour la première fois après le nettoyage des révisions hors ligne, car aucune génération n’est suffisamment ancienne pour être récupérée.

Lisez également la section « Exécution du nettoyage des révisions en ligne après le nettoyage des révisions hors ligne » de ce chapitre.

Les facteurs sont les suivants :

• Taille du référentiel
• Chargement sur le système (requêtes par minute, en particulier opérations d’écriture)
• Modèle d’activité (lectures et écritures)
• Spécifications matérielles (performances du processeur, mémoire, IOPS)

L’espace disque est surveillé en permanence lors du nettoyage des révisions en ligne. Si l’espace disque disponible tombe en dessous d’une valeur critique, le processus sera annulé. La valeur critique est de 25 % de l’empreinte disque actuelle du référentiel et elle n’est pas configurable.

Il est recommandé d’opter pour une taille de disque au moins deux à trois fois supérieure à celle estimée initialement pour le référentiel.

L’espace libre du tas est surveillé en permanence pendant le processus de nettoyage. Si l’espace libre du tas tombe sous une valeur critique, le processus est annulé. La valeur critique est configurée via org.apache.jackrabbit.oak.segment.SegmentNodeStoreService#MEMORY_THRESHOLD. La valeur par défaut est 15%.

Les recommandations pour le dimensionnement minimal du tas de compression ne sont pas séparées des recommandations de dimensionnement de la mémoire d’AEM. En règle générale : si une instance AEM est suffisamment bien dimensionnée pour gérer les cas d’utilisation et la charge utile attendue, le processus de nettoyage obtiendra suffisamment de mémoire.

• Assurez-vous qu’il est exécuté tous les jours.
• Assurez-vous qu’il est exécuté lorsque les activités du référentiel sont minimales en configurant les fenêtres de maintenance dans le tableau de bord des opérations de manière adéquate.
• Faites évoluer les ressources du système (processeur, mémoire, E/S).

Le nettoyage des révisions repose sur une phase d’estimation pour décider s’il y a suffisamment d’espace mémoire à libérer. L’estimateur compare la taille actuelle à la taille du référentiel après sa dernière compression. Si la taille dépasse le delta configuré, le nettoyage s’exécute. La taille du delta est définie sur 1 Go. Cela signifie que si la taille du référentiel n’a pas augmenté de 1 Go depuis le dernier nettoyage, la nouvelle itération du nettoyage des révisions sera ignorée.

Vous trouverez, ci-dessous, des entrées de journaux pertinentes pour la phase d’estimation :

• Revision GC will run: Size delta is N% or N/N (N/N bytes), so running compaction
• Revision GC will not run: Size delta is N% or N/N (N/N bytes), so skipping compaction for now

S’il y a des écritures simultanées sur le système, le nettoyage des révisions en ligne peut nécessiter un accès exclusif à l’écriture pour pouvoir effectuer les changements à la fin d’un cycle de compression. Le système passera en mode forceCompact, comme expliqué de manière détaillée dans la Documentation oak. Lors de la compression forcée, un verrou d’écriture exclusif est acquis afin de valider enfin les modifications sans interférence d’écriture simultanée. Pour limiter l’impact sur les temps de réponse, une valeur de délai d’expiration peut être définie. Cette valeur est définie sur une minute par défaut, ce qui signifie que si la compression forcée ne se termine pas dans un délai d’une minute, le processus de compression sera abandonné au profit de validations simultanées.

a durée de la compression forcée dépend des facteurs suivants :

• matériel : spécifiquement IOPS. La durée diminue avec davantage d’IOPS.
• taille de la banque de segments : la durée augmente avec la taille du magasin de segments.

Dans une configuration Cold Standby, seule l’instance principale doit être configurée pour exécuter le nettoyage des révisions en ligne. Sur l’instance de secours, le nettoyage des révisions en ligne n’a pas besoin d’être programmé de manière spécifique.

L’opération correspondante sur une instance de secours est le nettoyage automatique. Cela correspond à la phase de nettoyage du nettoyage des révisions en ligne. Le nettoyage automatique est exécuté sur l’instance secondaire après l’exécution du nettoyage des révisions en ligne sur l’instance principale.

Les phases d’estimation et de compression ne seront pas exécutées sur une instance secondaire.

Le nettoyage des révisions hors ligne peut supprimer immédiatement les anciennes révisions, tandis que le nettoyage des révisions en ligne doit tenir compte des anciennes révisions toujours référencées par la pile d’applications. Le premier peut ainsi libérer de l’espace de manière plus agressive que le second où l’effet est amorti au cours de quelques cycles de récupération de l’espace mémoire.

Lisez également la section « Exécution du nettoyage des révisions en ligne après le nettoyage des révisions hors ligne » de ce chapitre.

• Dans les environnements Windows, ’accès standard aux fichiers est toujours appliqué ; l’accès mappé par la mémoire n’est donc pas utilisé. n règle générale, il est conseillé d’allouer toute la mémoire vive (RAM) disponible au tas et d’augmenter la taille de segmentCache. Pour augmenter la taille de segmentCache, ajoutez l’option segmentCache.size à org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config (par exemple : segmentCache.size=20480). N’oubliez pas de laisser de la mémoire vive pour le système d’exploitation et d’autres processus.
• Dans les environnements non Windows, augmentez la taille de la mémoire physique pour améliorer le mappage de mémoire du référentiel.

• L’espace disque doit être surveillé lorsque le nettoyage des révisions en ligne est activé. S’il n’y a pas suffisamment d’espace disque, soit le processus de nettoyage ne sera pas lancé, soit il sera arrêté de manière préventive.
• Vérifiez les journaux pendant la durée d’exécution du nettoyage des révisions en ligne. Cela ne devrait pas durer plus de 2 heures.
• Nombre de points de contrôle. S’il existe plus de 3 points de contrôle durant l’exécution de la compression, il est recommandé de nettoyer les points de contrôle.

Vous pouvez vérifier si le nettoyage des révisions en ligne s’est terminé correctement en vérifiant les journaux.

Par exemple, « TarMK GC #{}: compaction completed in {} ({} ms), after {} cycles » signifie que l’étape de compression a été effectuée avec succès, sauf si elle a été précédée du message « TarMK GC #{}: compaction gave up compacting concurrent commits after {} cycles », ce qui signifie qu’il y avait trop de charge simultanée.

En conséquence, un message « TarMK GC #{}: cleanup completed in {} ({} ms » s’affiche lorsque l’étape de nettoyage est terminée.

Le statut, la progression et les statistiques sont présentés via JMX (SegmentRevisionGarbageCollection MBean). Pour plus d’informations sur le MBean SegmentRevisionGarbageCollection, lisez le paragraphe suivant.

Les progrès peuvent être suivis à partir de l’attribut EstimatedRevisionGCCompletion de SegmentRevisionGarbageCollection MBean.

Vous pouvez obtenir une référence du MBean à l’aide de la variable ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection”.

N’oubliez pas que les statistiques sont disponibles uniquement avec le dernier démarrage de système. L’outil de surveillance externe peut être utilisé pour conserver les données au-delà de la disponibilité d’AEM. Consultez la documentation AEM pour joindre les vérifications d’intégrité à Nagios en tant qu’exemple d’outil de surveillance externe.

• Le nettoyage des révisions en ligne a démarré/s’est arrêté
  • Le nettoyage des révisions en ligne se compose de trois phases : estimation, compression et nettoyage. La phase d’estimation peut forcer l’omission des phases de compression et de nettoyage si le référentiel ne contient pas suffisamment de résidus. Dans la dernière version d’AEM, le message « TarMK GC #{}: estimation started » marque le début de l’estimation, « TarMK GC #{}: compaction started, strategy={} » marque le début de la compression et « TarMK GC #{}: cleanup started. Current repository size is {} ({} bytes » marque le début du nettoyage.
• Espace disque gagné par le nettoyage de révision
  • L’espace n’est récupéré que lorsque la phase de nettoyage est terminée. La fin de la phase de nettoyage est marquée par le message du journal « TarMK GC #{}: cleanup completed in {} ({} ms ». La taille après nettoyage est {} ({} octets) et l’espace récupéré{} ({} octets). Le poids/la profondeur de la carte de compression est {}/{} ({} octets/{}).".
• Un problème s’est produit pendant le nettoyage de la révision.
  • Il existe de nombreuses conditions d’échec, toutes sont marquées par les messages AVERTISSEMENT ou ERREUR du journal commençant par « TarMK GC ».

Consultez également la section Dépannage basé sur les messages d’erreur ci-dessous.

Une vérification de l’intégrité du référentiel n’est pas nécessaire après le nettoyage des révisions en ligne.

Cependant, vous pouvez effectuer les actions suivantes pour vérifier le statut du référentiel après le nettoyage :

• Une vérification transversale du référentiel
• Utilisez l’outil oak-run une fois le processus de nettoyage terminé pour rechercher les incohérences. Pour plus d’informations sur la procédure à suivre, consultez la section Documentation Apache. Il n’est pas nécessaire de désactiver AEM pour exécuter l’outil.

Le contrôle de l’intégrité du nettoyage des révisions est intégré au Tableau de bord des opérations.

Le statut apparaîtra en VERT si la dernière exécution de la tâche de maintenance en ligne de nettoyage des révisions a été effectuée avec succès.

Il apparaîtra en JAUNE si la tâche de maintenance du nettoyage des révisions en ligne a été annulée une fois.

Le statut apparaîtra en ROUGE si la tâche de maintenance du nettoyage des révisions en ligne a été annulée trois fois d’affilée. Dans ce cas, une interaction manuelle est nécessaire ou le nettoyage des révisions en ligne va probablement continuer à échouer. Pour plus d’informations, reportez-vous à la section Dépannage ci-dessous.

Veuillez aussi noter que le statut de la vérification de l’intégrité sera réinitialisé après le redémarrage du système. Ainsi, une instance nouvellement redémarrée affichera un état vert sur le contrôle de l’intégrité du nettoyage des révisions. L’outil de surveillance externe peut être utilisé pour conserver les données au-delà de la disponibilité d’AEM. Consultez la documentation AEM pour joindre les vérifications d’intégrité à Nagios en tant qu’exemple d’outil de surveillance externe.

Le statut, la progression et les statistiques sont présentés via JMX à l’aide de la variable MBean SegmentRevisionGarbageCollection. Consultez également la Documentation Oak qui suit.

Vous pouvez obtenir une référence du MBean à l’aide de ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection”.

Notez que les statistiques sont disponibles uniquement à partir du dernier démarrage du système. L’outil de surveillance externe peut être utilisé pour conserver les données au-delà de la disponibilité d’AEM. Consultez également la documentation AEM pour joindre les contrôles d’intégrité à Nagios en tant qu’exemple d’outil de surveillance externe.

Les fichiers de journal peuvent aussi être utilisés pour vérifier le statut, le progrès et les statistiques du nettoyage automatique.

• L’espace disque doit être surveillé lors de l’exécution du nettoyage automatique.
• Le délai d’exécution (via les journaux) pour vous assurer que 2 heures ne sont pas dépassées.
• La taille de l’entrepôt de segments après l’exécution du nettoyage automatique. La taille de l’entrepôt de segments sur l’instance de secours doit être à peu près le même que celle de l’instance principale.

Vous pouvez prendre plusieurs mesures pour trouver et résoudre le problème :

• Tout d’abord, vérifiez les entrées du journal.

• Selon les informations contenues dans les journaux, prenez les mesures appropriées :

  • Si les journaux montrent cinq cycles de compression ratés ainsi qu’un long délai du cycle forceCompact, programmez une fenêtre de maintenance pendant une période calme durant laquelle la quantité d’écriture du référentiel est faible. Vous pouvez vérifier les écritures du référentiel dans l’outil de surveillance des mesures du référentiel via https://serveraddress:serverport/libs/granite/operations/content/monitoring/page.html.
  • Si le nettoyage s’est arrêté à la fin de la fenêtre de maintenance, assurez-vous que la configuration de la fenêtre de maintenance dans l’interface utilisateur Tâches de maintenance est suffisamment grande.
  • Si la mémoire de tas disponible n’est pas suffisante, assurez-vous que l’instance dispose de suffisamment de mémoire.
  • En cas de réaction tardive, le magasin de segments risque d’augmenter trop pour que le nettoyage des révisions en ligne se termine, même dans une fenêtre de maintenance plus longue. Par exemple, si aucun nettoyage des révisions en ligne n’a réussi au cours de la dernière semaine, il est recommandé de planifier une maintenance hors ligne et d’exécuter le nettoyage des révisions hors ligne afin de ramener le magasin de segments à une taille gérable.

Un SegmentNotFoundException est enregistré par TarMK lorsqu’il tente d’accéder à une unité de stockage (un segment) qu’il ne peut pas localiser. Trois scénarios peuvent provoquer ce problème :

1. Une application qui contourne les mécanismes d’accès recommandés (tels que Sling et l’API JCR) et utilise une API/SPI de niveau inférieur pour accéder au référentiel, puis dépasse la durée de conservation d’un segment. En d’autres termes, elle conserve une référence à une entité plus longue que la durée de conservation autorisée par le nettoyage des révisions en ligne (24 heures par défaut). Ce cas est transitoire et ne conduit pas à la corruption des données. Pour effectuer une restauration, l’outil exécuté par Oak doit être utilisé pour confirmer la nature transitoire de l’exception (la vérification exécutée par Oak ne doit signaler aucune erreur). Pour cela, cette instance doit être déconnectée et relancée plus tard.
2. Un événement externe a provoqué la corruption des données sur le disque. Il peut s’agir d’une défaillance du disque, d’un manque d’espace disque ou d’une modification accidentelle des fichiers de données requis. Dans ce cas, l’instance doit être mise hors ligne et réparée à l’aide de la vérification oak-run. Pour plus d’informations sur la façon de procéder à la vérification exécutée par Oak, lisez la documentation Apache suivante.
3. Pour tout autre cas, veuillez vous adresser au service clientèle d’Adobe.

• Révision Oak  : Oak organise tout le contenu dans une grande hiérarchie d’arborescence qui se compose de nœuds et de propriétés. Chaque instantané ou révision de cette arborescence de contenu est immuable et les modifications apportées à l’arborescence sont exprimées sous la forme d’une séquence de nouvelles révisions. En règle générale, chaque modification de contenu déclenche une nouvelle révision. Consultez également le Lien de suivi.
• Version de page  : le contrôle de version crée un « instantané » d’une page à un moment spécifique dans le temps. En règle générale, une nouvelle version est créée lorsqu’une page est activée. Pour plus d’informations, consultez la section Utilisation des versions de page.