Nettoyage de révision

Le format de persistance de TarMK change avec AEM 6.5. Ces modifications ne nécessitent aucune étape de migration proactive. Les référentiels existants font l’objet d’une migration progressive, un processus totalement transparent pour l’utilisateur. Le processus de migration est lancé la première fois qu’AEM 6.5 (ou les outils associés) accède(nt) au référentiel.

Une fois que la migration vers le format de persistance AEM 6.5 a été lancée, le référentiel ne peut plus être rétabli vers le format de persistance AEM 6.3 précédent.

Dans AEM 6.3, des modifications du format de stockage étaient nécessaires, en particulier pour améliorer les performances et l’efficacité du nettoyage des révisions en ligne. Ces modifications ne sont pas rétrocompatibles, et les référentiels créés avec l’ancien Oak Segment (AEM 6.2 et versions antérieures) doivent être migrés.

Autres avantages liés au changement de format du stockage :

• Meilleure évolutivité (taille de segment optimisée).
• Nettoyage plus rapide de la mémoire d’entrepôt de données.
  
• Travail de base pour les prochaines améliorations.

Alors que le nettoyage des révisions en ligne récupère les deux dernières générations, le processus hors ligne ne récupère que la dernière génération. Dans le cas d’un tout nouveau référentiel, le nettoyage en ligne ne récupère aucun espace lorsqu’il est exécuté pour la première fois après le nettoyage hors ligne, car il n’y a aucune génération suffisamment ancienne pour être récupérée.

Lisez également la section « Exécution du nettoyage des révisions en ligne après le nettoyage des révisions hors ligne » de ce chapitre.

Le nettoyage des révisions en ligne est disponible uniquement avec AEM version 6.3 et ultérieure. Aussi, si vous utilisez une ancienne version d’AEM, vous devrez effectuer une migration vers le nouvel Oak Segment Tar.

• Taille du référentiel
• Charge sur le système (demandes par minute, surtout les opérations d’écriture)
• Modèle d’activité (lectures et écritures)
• Spécifications matérielles (performances du processeur, mémoire, IOPS)

L’espace disque est surveillé en permanence lors du nettoyage des révisions en ligne. Si l’espace disque passe en dessous d’une certaine valeur, le processus est annulé. La valeur critique par défaut est de 25 % de l’encombrement sur le disque du référentiel, et elle n’est pas configurable.

Il est recommandé d’opter pour une taille de disque au moins deux à trois fois supérieure à celle estimée initialement pour le référentiel.

L’espace de tas libre est surveillé en permanence lors du processus de nettoyage. Si l’espace de tas disponible passe en dessous d’une certaine valeur, le processus est annulé. La valeur critique est configurée via org.apache.jackrabbit.oak.segment.SegmentNodeStoreService#MEMORY_THRESHOLD. La valeur par défaut est 15%.

Les recommandations sur le dimensionnement du tas de compression minimal ne sont pas séparées des recommandations sur le dimensionnement de la mémoire AEM. En règle générale : si une instance AEM est suffisamment bien dimensionnée pour gérer les cas d’utilisation et la charge utile attendue, le processus de nettoyage obtiendra suffisamment de mémoire.

• Assurez-vous qu’il est exécuté tous les jours.
  
• Assurez-vous qu’il est exécuté lors d’activités de référentiel minimales en configurant les fenêtres de maintenance dans le tableau de bord des opérations en conséquence.
• Faites évoluer les ressources du système (processeur, mémoire, E/S).

Le nettoyage des révisions requiert une phase d’estimation pour décider s’il y a suffisamment de contenu inutilisé à nettoyer. L’estimateur compare la taille actuelle à la taille du référentiel après la dernière compression. Si la taille dépasse le delta configuré, le nettoyage sera effectué. Le delta de taille est défini à 1 Go. Cela signifie que si la taille du référentiel n’a pas augmenté de 1 Go depuis la dernière exécution de nettoyage, la nouvelle itération de nettoyage des révisions sera ignorée.

Vous trouverez, ci-dessous, des entrées de journaux pertinentes pour la phase d’estimation :

• Le GC de révision s’exécute : Size delta is N% or N/N (N/N bytes), so running compaction
• Le GC de révision va ne pas s’exécuter : Le delta de taille est N% ou N/N (octets N/N), donc la compression est ignorée pour now

S’il y a des écritures simultanées sur le système, le nettoyage des révisions en ligne peut nécessiter un accès exclusif à l’écriture pour pouvoir effectuer les changements à la fin d’un cycle de compression. Le système passe en mode forceCompact, comme expliqué plus en détail dans la documentation oak. Pendant la compression forcée, un dispositif exclusif de verrouillage de l’écriture est acquis pour effectuer les modifications sans aucune écriture simultanée perturbatrice. Pour limiter l’impact sur les délais de réponse, une valeur de délai d’expiration peut être définie. Cette valeur est définie sur 1 minute par défaut, ce qui signifie que si la compression en force ne se termine pas dans un délai d’une minute, le processus de compression sera interrompu au profit d’autres commits simultanés.

La durée de la compression forcée dépend des facteurs suivants :

• matériel : spécifiquement IOPS. La durée décroît lorsqu’il y a plus d’IOPS.
• taille de l’entrepôt de segments : la durée augmente en fonction de la taille de l’entrepôt de segments.

Comment le nettoyage des révisions en ligne est-il exécuté sur une instance de secours ?

Dans une configuration Cold Standby, seule l’instance principale doit être configurée pour exécuter le nettoyage des révisions en ligne. Sur l’instance de secours, le nettoyage des révisions en ligne n’a pas besoin d’être programmé de manière spécifique.

L’opération correspondante sur une instance Secondaire est le nettoyage automatique, qui correspond à la phase de nettoyage du nettoyage des révisions en ligne. Le nettoyage automatique est exécuté sur l’instance de secours après l’exécution du nettoyage des révisions en ligne sur l’instance principale.

Les phase de compression et d’estimation ne sont pas exécutées sur l’instance de secours.

Le nettoyage des révisions hors ligne peut supprimer instantanément les anciennes révisions, alors que le nettoyage des révisions en ligne doit tenir compte des anciennes révisions qui sont toujours référencées par la pile de l’application. Le premier peut donc supprimer les résidus de manière plus agressive que le second, où l’effet est amortit au bout de quelques cycles de nettoyage de la mémoire.

Lisez également la section « Exécution du nettoyage des révisions en ligne après le nettoyage des révisions hors ligne » de ce chapitre.

• Dans les environnements Windows, un accès normal aux fichiers est toujours appliqué, de sorte que l’accès mappé en mémoire n’est pas utilisé. En règle générale, toute la RAM disponible doit être allouée au segmentCache et la taille de segmentCache doit être augmentée. Vous augmentez le segmentCache en ajoutant l’option segmentCache.size à org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config (par exemple, segmentCache.size=20480). N’oubliez pas de laisser de la mémoire vive pour le système d’exploitation et d’autres processus.
• Dans les environnements non Windows, augmentez la taille de la mémoire physique pour améliorer le mappage de mémoire du référentiel.

• L’espace disque doit être surveillé lorsque le nettoyage des révisions en ligne est activé. S’il n’y a pas sufisamment d’espace disque, soit le processus de nettoyage ne sera pas lancé, ou il sera arrêté de manière préventive.
• Vérifiez les journaux pendant la durée d’exécution du nettoyage des révisions en ligne. Cela ne devrait pas durer plus de 2 heures.
• Nombre de points de contrôle. S’il existe plus de 3 points de contôle durant l’exécution de la compression, il est recommandé de nettoyer les points de contôle.

Vous pouvez vérifier si le nettoyage des révisions en ligne s’est terminé correctement en vérifiant les journaux.

Par exemple, "TarMK GC #{}: compaction completed in {} ({} ms), after {} cycles" signifie que l’étape de compression s’est terminée avec succès, sauf si elle a été précédée du message "TarMK GC #{}: compaction gave up compacting concurrent commits after {} cycles", ce qui signifie qu’il y a eu trop de charge simultanée.

Il existe par conséquent un message "TarMK GC #{}: cleanup completed in {} ({} ms" pour la réussite de l’étape de nettoyage.

L’état, la progression et les statistiques sont présentés via JMX (SegmentRevisionGarbageCollection MBean). Pour plus d’informations sur le SegmentRevisionGarbageCollection MBean, lisez le paragraphe suivant.

Le progrès peut être suivi à partir de l'attribut EstimatedRevisionGCCompletion de la fonction SegmentRevisionGarbageCollection MBean.

Vous pouvez obtenir une référence du MBean à l’aide de ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection”.

N’oubliez pas que les statistiques sont dospnibles uniquement avec le dernier démarrage de système. L’outil de surveillance externe peut être utilisé pour conserver les données au-delà de la disponibilité d’AEM. Voir la documentation AEM pour joindre les vérifications d’intégrité à Nagios comme exemple d’outil de surveillance externe.

• Le nettoyage des révisions en ligne a démarré/s’est arrêté
  • Le nettoyage des révisions en ligne se compose de trois phases : estimation, compression et nettoyage. La phase d’estimation peut forcer l’omission des phases de compression et de nettoyager si le référentiel ne contient pas suffisament de résidus. Dans la dernière version d'AEM, le message "TarMK GC #{}: estimation started" marque le début de l'estimation, "TarMK GC #{}: compaction started, strategy={}" marque le début de la compression et "TarMK GC #{}: cleanup started. Current repository size is {} ({} bytes" marque le début du nettoyage.
• Espace disque gagné par le nettoyage de révision
  • L’espace n’est récupéré que lorsque la phase de nettoyage est terminée. La fin de la phase de nettoyage est marquée par le message du journal "TarMK GC #{}: cleanup completed in {} ({} ms". La dimension après nettoyage est {} ({} octets) et l’espace récupéré{} ({} octets). Le poids/la profondeur de la carte de compression est {}/{} ({} octets/{}).”.
• Un problème s’est produit pendant le nettoyage de la révision.
  • Il existe de nombreuses conditions d’échec, toutes sont marquées par les messages WARN ou ERROR du journal commençant par "TarMK GC".

Voir également la section Dépannage basé sur les messages d’erreur ci-dessous.

Une vérification de l’intégrité du référentiel n’est pas nécessaire après le nettoyage des révisions en ligne.

Cependant, vous pouvez effectuer les actions suivantes pour vérifier l’état du référentiel après le nettoyage :

• Un référentiel vérification transversale
• Utilisez l’outil oak-run une fois le processus de nettoyage terminé pour rechercher les incohérences. Pour plus d’informations sur la procédure à suivre, consultez la documentation Apache. Vous n’avez pas besoin d’arrêter AEM pour exécuter l’outil.

Le contrôle de l’intégrité du nettoyage des révisions fait partie du tableau de bord des opérations.

L’état est VERT si la dernière exécution de la tâche de maintenance du nettoyage des révisions en ligne est terminée avec succès.

Ce sera JAUNE si la tâche de maintenance du nettoyage des révisions en ligne a été annulée une fois.

Cela sera RED si la tâche de maintenance du nettoyage des révisions en ligne a été annulée trois fois de suite. Dans ce cas, une interaction manuelle est requise ou le nettoyage des révisions en ligne risque d’échouer à nouveau. Pour plus d’informations, consultez la section Dépannage ci-dessous.

Veuillez aussi noter que l’état de la vérification de l’intégrité sera réinitialisé après le redémarrage du système. Par conséquent, une instance fraîchement redémarrée affiche un état vert sur la vérification d’intégrité du nettoyage des révisions. L’outil de surveillance externe peut être utilisé pour conserver les données au-delà de la disponibilité d’AEM. Voir la documentation AEM pour joindre les vérifications d’intégrité à Nagios comme exemple d’outil de surveillance externe.

Comment surveiller le nettoyage automatique sur une instance Secondaire ?

L’état, le progrès et les statistiques sont exposés via JMX à l’aide du SegmentRevisionGarbageCollection MBean. Voir également la documentation Oak suivante.

Vous pouvez obtenir une référence du MBean à l’aide de ObjectName org.apache.jackrabbit.oak:name="Segment node store revision garbage collection",type="SegmentRevisionGarbageCollection”.

Notez que les statistiques sont disponibles uniquement à partir du dernier démarrage du système. L’outil de surveillance externe peut être utilisé pour conserver les données au-delà de la disponibilité d’AEM. Voir également la documentation AEM pour joindre les contrôles d’intégrité à Nagios comme exemple d’outil de surveillance externe.

Les fichiers de journal peuvent aussi être utilisés pour vérifier l’état, le progrès et les statistiques du nettoyage automatique.

Que doit-on surveiller pendant le nettoyage automatique sur une instance Secondaire ?

• L’espace disque doit être surveillé lors de l’exécution du nettoyage automatique.
• Le délai d’exécution (via les journaux) pour vous assurer que 2 heures ne sont pas dépassées.
• Taille de la banque de segments une fois le nettoyage automatique exécuté. La taille de l’entrepôt de segments sur l’instance de secours doit être à peu près le même que celle de l’instance principale.

• Tout d’abord, vérifiez les entrées du journal.
  
• En fonction des informations contenues dans les journaux, prenez une mesure appropriée :
  • Si les journaux indiquent cinq cycles de compression manqués et un délai d’expiration sur le cycle forceCompact , planifiez la fenêtre de maintenance à un moment calme lorsque la quantité d’écritures du référentiel est faible. Vous pouvez vérifier les écritures du référentiel dans l’outil de surveillance des mesures du référentiel situé à l’adresse https://serveraddress:serverport/libs/granite/operations/content/monitoring/page.html
  • Si le nettoyage est arrêté à la fin de la fenêtre de maintenance, assurez-vous que la configuration de la fenêtre de maintenance dans l’interface utilisateur des tâches de maintenance est suffisamment volumineuse.
  • Si la mémoire disponible est insuffisante, assurez-vous que l’instance contienne suffisament de mémoire.
  • En cas de délai de réponse, l’entrepôt de segments peut augmenter de façon excessive au point où il devient impossible d’effectuer un nettoyage des révisions en ligne, même avec une fenêtre de maintenance plus longue. Par exemple, si aucun nettoyage des révisions en ligne n’a réussi au cours de la dernière semaine, il est recommandé de planifier une maintenance hors ligne et d’effectuer le nettoyage des révisions hors ligne en vue de convertir la taille de l’entrepôt de segments à une dimension plus gérable.

Un SegmentNotFoundException est consigné par le TarMK lorsqu’il tente d’accéder à une unité de stockage (un segment) qu’il ne trouve pas. Il existe trois scénarios pouvant causer ce problème :

1. Une application qui contourne les systèmes d’accès recommandés (comme Sling et l’API JCR) et utilise un niveau API/SPI plus bas pour accéder au référentiel, puis dépasse la période de validité d’un segment. En d’autres termes, il conserve une référence à une entité plus longue que la durée de rétention octroyée par le nettoyage des révisions en ligne (24 heures par défaut). Ce cas est transitoire et ne conduit pas à la corruption des données. Pour récupérer, l’outil oak-run doit être utilisé pour confirmer la nature transitoire de l’exception (la vérification oak-run ne doit signaler aucune erreur). Pour ce faire, l’instance doit être mise hors ligne et redémarrée par la suite.
2. Un événement externe a causé la corruption des données sur le disque. Il peut s’agir d’une panne du disque, d’un espace disque saturé ou d’une modification accidentelle des fichiers de données requis. Dans ce cas, une instance doit être déconnectée et réparée avec la vérification exécutée par Oak. Pour plus d’informations sur l’exécution de la vérification oak, consultez la documentation Apache suivante.
3. Toutes les autres occurrences doivent être traitées par le service à la clientèle de l’Adobe.

La taille du référentiel et la quantité de révisions devant être nettoyées déterminent la durée du nettoyage.

• Révision Oak : Oak organise tout le contenu dans une grande hiérarchie d’arborescence composée de noeuds et de propriétés. Chaque aperçu ou révision de cet ensemble de contenus inaltérables, ainsi que les modifications de l’arborescence sont indiqués sous forme de séquence de nouvelles révisions. En règle générale, chaque modification de contenu déclenche une nouvelle révision. Voir aussi Lien de suivi.
• Version de page : le contrôle de version crée un "instantané" d’une page à un moment donné. En règle générale, une nouvelle version est créée lorsqu’une page est activée. Pour plus d’informations, voir Utilisation des versions de page.