Configurer les magasins de nœuds et les entrepôts de données dans AEM 6

Présentation

Dans Adobe Experience Manager (AEM), les données binaires peuvent être stockées indépendamment des noeuds de contenu. Les données binaires sont stockées dans un entrepôt de données, tandis que les noeuds de contenu sont stockés dans un magasin de noeuds.

Les entrepôts de données et les entrepôts de noeuds peuvent être configurés à l’aide de la configuration OSGi. Chaque configuration OSGi est référencée à l’aide d’un identifiant persistant (PID).

Etapes de configuration

Pour configurer l’entrepôt de noeuds et l’entrepôt de données, procédez comme suit :

1. Copiez le fichier JAR de démarrage rapide AEM dans son répertoire d’installation.

2. Créez un dossier crx-quickstart/install dans le répertoire d’installation.

3. Configurez tout d’abord le magasin de nœuds en créant un fichier de configuration avec le nom de l’option de magasin de nœuds que vous voulez utiliser dans le répertoire crx-quickstart/install.

   Par exemple, le magasin de nœuds Document (qui constitue la base de l’implémentation de MongoMK d’AEM) utilise le fichier org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.config.

4. Modifiez le fichier et définissez vos options de configuration.

5. Créez un fichier de configuration avec le PID de l’entrepôt de données que vous souhaitez utiliser. Modifiez le fichier pour définir les options de configuration.

   REMARQUE

   Consultez les Configurations des magasins de nœuds et Configurations des magasins de données pour les options de configuration.

6. Démarrez AEM.

Configurations de magasin de noeuds

Magasin de noeuds de segment

Le magasin de noeuds de segment est la base de l’implémentation de TarMK d’Adobe dans AEM6. Il utilise le PID org.apache.jackrabbit.oak.segment.SegmentNodeStoreService pour la configuration.

Vous pouvez configurer les options suivantes :

• repository.home : chemin vers le répertoire racine du référentiel dans lequel sont stockées les données associées au référentiel. Par défaut, les fichiers de segment sont stockés dans le répertoire crx-quickstart/segmentstore.

• tarmk.size : taille maximale d’un segment, en Mo. La valeur maximale par défaut étant de 256 Mo.

• customBlobStore : valeur booléenne indiquant qu’un magasin de données personnalisé est utilisé. La valeur par défaut est définie sur true pour AEM 6.3 et pour les versions ultérieures. Pour les versions antérieures à AEM 6.3, la valeur par défaut était false.

Voici un exemple de fichier org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config :

#Path to repo
repository.home="crx-quickstart/repository"

#Max segment size
tarmk.size=I"256"

#Custom data store
customBlobStore=B"true"

Magasin de nœuds de document

Le magasin de nœuds de document est la base de l’implémentation d’AEM MongoMK. Le * * PID org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService est utilisé. Les options de configuration suivantes sont disponibles :

• mongouri : MongoURI requis pour se connecter à la base donnée Mongo. La valeur par défaut est de mongodb://localhost:27017.

• db : nom de la base de données Mongo. La valeur par défaut est Oak. . However, new AEM 6 installations use **aem-author** comme nom de la base de données par défaut.

• cache : taille du cache, en Mo. Elle est distribuée entre différents caches utilisés dans DocumentNodeStore. La valeur par défaut est 256.

• changesSize : taille en Mo de la collection limitée utilisée dans Mongo pour la mise en cache de la sortie diff. La valeur par défaut est 256.

• customBlobStore : valeur booléenne indiquant qu’un magasin de données personnalisé sera utilisé. La valeur par défaut est de false.

Voici un exemple de fichier org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.config :

#Mongo server details
mongouri="mongodb://localhost:27017"

#Name of Mongo database to use
db="aem-author"

#Store binaries in custom BlobStore
customBlobStore=B"false"

Configurations de l’entrepôt de données

Lorsque vous traitez un grand nombre de fichiers binaires, il est recommandé d’utiliser un entrepôt de données externe au lieu des entrepôts de noeuds par défaut afin d’optimiser les performances.

Par exemple, si votre projet nécessite de nombreuses ressources multimédias, les stocker sous le File ou le S3 Data Store permet d’y accéder plus rapidement que de les stocker directement dans une MongoDB.

L’entrepôt de données basé sur les fichiers offre de meilleures performances que MongoDB. Les opérations de sauvegarde et de restauration Mongo sont également plus lentes avec un grand nombre de ressources.

Vous trouverez ci-dessous des informations détaillées sur les différents entrepôts de données et configurations.

Fichier Magasin de données

Il s’agit de l’implémentation de FileDataStore présent dans Jackrabbit 2, qui offre une méthode pour stocker les données binaires comme tout autre fichier sur le système de fichiers. Le PID org.apache.jackrabbit.oak.plugins.blob.datastore.FileDataStore est utilisé.

Voici les options de configuration disponibles :

• repository.home : chemin vers le répertoire racine du référentiel dans lequel sont stockées les différentes données associées au référentiel. Par défaut, les fichiers binaires sont stockés dans le répertoire crx-quickstart/repository/datastore.

• path : chemin d’accès au répertoire dans lequel les fichiers seront stockés. Si spécifié, la priorité est définie sur la valeur de repository.home.

• minRecordLength : taille minimale en octets d’un fichier stocké dans le magasin de données. Un contenu binaire inférieur à cette valeur est intégré.

Entrepôt de données Amazon S3

AEM peut être configuré pour stocker des donnés dans le service Simple Storage Service (S3) d’Amazon. Celui-ci utilise le PID org.apache.jackrabbit.oak.plugins.blob.datastore.S3DataStore.config pour la configuration.

Pour activer la fonctionnalité d’entrepôt de données S3, un Feature Pack contenant le connecteur d’entrepôt de données S3 doit être téléchargé et installé. Accédez au référentiel Adobe, puis téléchargez la dernière version des versions 1.10.x du pack de fonctionnalités (par exemple, com.adobe.granite.oak.s3connector-1.10.0.zip). En outre, vous devez télécharger et installer le dernier Service Pack d’AEM, comme indiqué sur la page Notes de mise à jour d’AEM 6.5 page.

java -jar <aem-jar-file>.jar -r crx3tar-nofds

À la fin du téléchargement, vous pouvez installer et configurer le connecteur S3 comme suit :

1. Extrayez le contenu du fichier ZIP du pack de fonctionnalités dans un dossier temporaire.

2. Accédez au dossier temporaire et accédez à l’emplacement suivant :

   jcr_root/libs/system/install
   

   Copiez l’intégralité du contenu de l’emplacement ci-dessus vers <aem-install>/crx-quickstart/install..

3. Si AEM est déjà configuré pour fonctionner avec le stockage Tar ou MongoDB, supprimez tous les fichiers de configuration existants du <aem-install>/crx-quickstart/install avant de continuer. Les fichiers qui doivent être supprimés sont les suivants :

   • For MongoMK: org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.config
   • For TarMK: org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config

4. Retournez à l’emplacement temporaire où le pack de fonctionnalités a été extrait, puis copiez le contenu du dossier suivant :

   • jcr_root/libs/system/config

   vers

   • <aem-install>/crx-quickstart/install

   Veillez à copier uniquement les fichiers de configuration nécessaires pour votre configuration actuelle. Que ce soit pour une configuration de magasin de données partagé et dédié, copiez le fichier org.apache.jackrabbit.oak.plugins.blob.datastore.S3DataStore.config.

   REMARQUE

   Dans une configuration en grappe, effectuez les étapes ci-dessus sur tous les noeuds de la grappe un par un. Veillez également à utiliser les mêmes paramètres S3 pour tous les noeuds.

5. Modifiez le fichier et ajoutez les options de configuration requises par votre configuration.

6. Démarrez AEM.

Mise à nouveau vers une nouvelle version du connecteur S3 1.10.x

Pour effectuer la mise à niveau vers une nouvelle version du connecteur S3 1.10.x (par exemple, de 1.10.0 à 1.10.4), procédez comme suit :

1. Désactivez l’instance AEM.

2. Accédez à <aem-install>/crx-quickstart/install/15 dans le dossier d’installation d’AEM et effectuez une sauvegarde du contenu.

3. Après la sauvegarde, supprimez l’ancienne version du connecteur S3 et ses dépendances en supprimant tous les fichiers jar dans le dossier <aem-install>/crx-quickstart/install/15, par exemple :

   • oak-blob-cloud-1.6.1.jar
   • aws-java-sdk-osgi-1.10.76.jar
   REMARQUE

   Les noms de fichier présentés ci-dessus sont utilisés à titre d’illustration uniquement.

4. Téléchargez la dernière version du pack de fonctionnalités 1.10.x à partir du référentiel Adobe.

5. Décompressez le contenu dans un dossier séparé, puis accédez à jcr_root/libs/system/install/15.

6. Copiez les fichiers jar dans le dossier d’installation AEM <aem-install>/crx-quickstart/install/15.

7. Démarrez AEM et vérifiez les fonctionnalités du connecteur.

Vous pouvez utiliser le fichier de configuration avec les options présentées ci-dessous.

Options du fichier de configuration du connecteur S3

Mise en cache du magasin de données

Lors d’une mise à niveau à partir d’une mise en oeuvre de cache plus ancienne (avant Oak 1.6), il existe une différence de structure du répertoire de cache du système de fichiers local. Dans l’ancienne structure de cache, les fichiers téléchargés et téléchargés étaient placés directement sous le chemin d’accès au cache. La nouvelle structure permet d’isoler les chargements des téléchargements afin de les stocker dans deux répertoires nommés upload et download dans le chemin du cache. Le processus de mise à niveau doit être transparent et les chargements en attente doivent être programmés pour le chargement et tous les fichiers précédemment téléchargés dans le cache sont placés dans le cache lors de l’initialisation.

Il est également possible de mettre le cache à niveau hors ligne à l’aide de la commande oak-run datastorecacheupgrade. Pour plus d’informations sur l’exécution de la commande, consultez le fichier lisez-moi du module oak-run.

Le cache est soumis à une limite de taille qui peut être configurée à l’aide du paramètre cacheSize.

Téléchargements

Le cache local est vérifié pour l’enregistrement du fichier/blob demandé avant d’y accéder à partir de DataStore. Lorsque le cache dépasse la limite configurée (voir cacheSize ) lors de l’ajout d’un fichier dans le cache, certains fichiers sont expulsés pour libérer de l’espace.

Téléchargement asynchrone

Le cache prend en charge les téléchargements asynchrones vers DataStore. Les fichiers sont mis en scène localement, dans le cache (sur le système de fichiers) et une tâche asynchrone commence à télécharger le fichier. Le nombre de téléchargements asynchrones est limité par la taille du cache intermédiaire. La taille du cache intermédiaire est configurée à l’aide du paramètre stagingSplitPercentage. Ce paramètre définit le pourcentage de taille de cache à utiliser pour le cache intermédiaire. En outre, le pourcentage de cache disponible pour les téléchargements est calculé comme suit : (100 - stagingSplitPercentage) *cacheSize.

Les chargements asynchrones sont multithread et le nombre de thread est configuré à l’aide du paramètre uploadThreads.

Les fichiers sont déplacés vers le cache de téléchargement principal une fois les chargements terminés. Lorsque la taille du cache intermédiaire dépasse sa limite, les fichiers sont téléchargés de manière synchrone vers le DataStore jusqu’à ce que les téléchargements asynchrones précédents soient terminés et que de l’espace soit à nouveau disponible dans le cache intermédiaire. Les fichiers chargés sont supprimés de la zone de transit par une tâche périodique dont l’intervalle est configuré par le paramètre stagingPurgeInterval.

Les chargements ayant échoué (en raison d’une interruption du réseau, par exemple) sont placés dans une file d’attente pour effectuer régulièrement de nouvelles tentatives. L’intervalle de nouvelle tentative est configuré à l’aide du stagingRetryInterval parameter.

Configuration de la réplication sans binaires avec Amazon S3

Pour configurer la réplication sans binaires avec S3, les étapes suivantes sont requises :

1. Installez les instances de création et de publication et assurez-vous qu’elles sont correctement démarrées.

2. Accédez aux paramètres de l’agent de réplication, en ouvrant une page sur https://localhost:4502/etc/replication/agents.author/publish.html.

3. Appuyez sur le bouton Modifier dans la section Paramètres.

4. Modifiez l’option Type de sérialisation en Sans fichier binaire.

5. Ajoutez le paramètre « true=binaryless » dans l’URI de transport. Après la modification, l’URI doit ressembler à ce qui suit :

   https://localhost:4503/bin/receive?sling:authRequestLogin=1&binaryless=true

6. Redémarrez toutes les instances de création et de publication pour que les modifications soient prises en compte.

Création d’une grappe à l’aide de S3 et de MongoDB

1. Décompressez le démarrage rapide de CQ à l’aide de la commande suivante :

   java -jar cq-quickstart.jar -unpack

2. Après la décompression d’AEM, créez un dossier à l’intérieur du répertoire d’installation crx-quickstart/install.

3. Créez ces deux fichiers à l’intérieur du dossier crx-quickstart :

   • org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.config

   • org.apache.jackrabbit.oak.plugins.blob.datastore.S3DataStore.config

   Une fois les fichiers créés, ajoutez les options de configuration nécessaires.

4. Installez les deux lots requis pour l’entrepôt de données S3, comme expliqué ci-dessus.

5. Vérifiez que MongoDB est installé et qu’une instance de mongod est en cours d’exécution.

6. Démarrez AEM à l’aide de la commande suivante :

   java -Xmx1024m -jar cq-quickstart.jar -r crx3,crx3mongo

7. Répétez les étapes 1 à 4 pour la deuxième instance AEM.

8. Démarrez la seconde instance AEM.

Configuration d’un entrepôt de données partagé

1. Créez tout d’abord le fichier de configuration de l’entrepôt de données sur chaque instance requise pour partager l’entrepôt de données :

   • Si vous utilisez FileDataStore, créez un fichier nommé org.apache.jackrabbit.oak.plugins.blob.datastore.FileDataStore.config, puis placez-le dans le dossier <aem-install>/crx-quickstart/install.

   • Si vous utilisez S3 comme magasin de données, créez un fichier nommé rg.apache.jackrabbit.oak.plugins.blob.datastore.S3DataStore.config dans le dossier <aem-install>/crx-quickstart/install, comme ci-dessus.

2. Modifiez les fichiers de configuration de l’entrepôt de données sur chaque instance afin qu’ils pointent vers le même entrepôt de données. Pour plus d’informations, voir cet article.

3. Si l’instance a été clonée à partir d’un serveur existant, vous devez supprimer la variable clusterId de la nouvelle instance en utilisant le dernier outil oak-run alors que le référentiel est hors ligne. La commande que vous devez exécuter est la suivante :

   java -jar oak-run.jar resetclusterid < repository path | Mongo URI >
   

   REMARQUE

   Si un magasin de noeuds de segment est configuré, le chemin du référentiel doit être spécifié. Par défaut, le chemin est <aem-install-folder>/crx-quickstart/repository/segmentstore. Si un magasin de nœuds de document est configuré, vous pouvez utiliser une URI de chaîne de connexion Mongo.

   REMARQUE

   L’outil Oak-run peut être téléchargé à partir de cet emplacement :

   https://mvnrepository.com/artifact/org.apache.jackrabbit/oak-run/

   Différentes versions de l’outil doivent être utilisées en fonction de la version Oak que vous utilisez avec votre installation AEM. Consultez la liste des exigences de version ci-dessous avant d’utiliser l’outil :

   * Pour les versions **1.2.x** d’Oak, utilisez Oak-run **1.2.12 ou une version ultérieure**.
   * Pour des versions d’Oak **plus récentes que celle ci-dessus**, utilisez la version d’Oak-run qui correspond au système Oak de votre installation AEM.
   

4. Enfin, validez la configuration. Pour valider, recherchez un fichier unique ajouté à l’entrepôt de données par chaque référentiel qui le partage. Le format des fichiers est repository-[UUID], où l’UUID est l’identifiant unique de chaque référentiel.

   Par conséquent, une configuration appropriée doit comporter autant de fichiers uniques que de référentiels partageant l’entrepôt de données.

   Les fichiers sont stockés différemment selon l’entrepôt de données :

   • Pour le FileDataStore, les fichiers sont créés sous le chemin racine du dossier du magasin de données.
   • Pour S3DataStore, les fichiers sont créés dans le compartiment S3 configuré sous le dossier META.

Entrepôt de données Azure

AEM peut être configuré pour stocker des données dans le service de stockage Azure de Microsoft®. Celui-ci utilise le PID org.apache.jackrabbit.oak.plugins.blob.datastore.AzureDataStore.config pour la configuration.

Pour activer la fonctionnalité de magasin de données Azure, un Feature Pack contenant le connecteur Azure doit être téléchargé et installé. Accédez au référentiel Adobe, puis téléchargez la dernière version des versions 1.6.x du pack de fonctionnalités (par exemple, com.adobe.granite.oak.azureblobconnector-1.6.3.zip).

java -jar <aem-jar-file>.jar -r crx3tar-nofds

Une fois téléchargé, vous pouvez installer et configurer le connecteur Azure comme suit :

1. Extrayez le contenu du fichier zip du pack de fonctionnalités dans un dossier temporaire.

2. Accédez au dossier temporaire et copiez le contenu de jcr_root/libs/system/install vers le dossier <aem-install>crx-quickstart/install.

3. Si AEM est déjà configuré pour fonctionner avec le stockage Tar ou MongoDB, supprimez tous les fichiers de configuration existants du dossier /crx-quickstart/install avant de continuer. Les fichiers qui doivent être supprimés sont les suivants :

   ForMongoMK :

   org.apache.jackrabbit.oak.plugins.document.DocumentNodeStoreService.config

   Pour TarMK :

   org.apache.jackrabbit.oak.segment.SegmentNodeStoreService.config

4. Retournez à l’emplacement temporaire où a été extrait le pack de fonctionnalités, puis copiez le contenu de jcr_root/libs/system/config vers le dossier <aem-install>/crx-quickstart/install.

5. Modifiez le fichier de configuration et ajoutez les options de configuration requises par votre configuration.

6. Démarrez AEM.

Vous pouvez utiliser le fichier de configuration avec les options suivantes :

• azureSas="" : dans la version 1.6.3 du connecteur, la signature d’accès partagé Azure (SAS) est pris en charge. Si les informations d’identification SAS et de stockage figurent dans le fichier de configuration, SAS a la priorité. Pour plus d’informations sur SAS, consultez la documentation officielle. Assurez-vous que le caractère ’=’ est placé dans une séquence d’échappement telle que ’=’.

• azureBlobEndpoint="" : point d’entrée Blob Azure. Par exemple, https://<storage-account>.blob.core.windows.net.

• accessKey="" : nom du compte de stockage. Pour plus d’informations sur les informations d’identification de l’authentification Microsoft® Azure, reportez-vous à la section documentation officielle.

• secretKey="" : clé d’accès au stockage. Assurez-vous que le caractère ’=’ est placé dans une séquence d’échappement telle que ’=’.

• container=""": Nom du conteneur de stockage blob Microsoft® Azure. Le conteneur est un groupe d’un ensemble de objets Blob. Pour plus d’informations, lisez le documentation officielle.

• maxConnections="": Nombre simultané de requêtes simultanées par opération. La valeur par défaut est 1.

• maxErrorRetry="" : nombre de nouvelles tentatives par demande. La valeur par défaut est 3.

• socketTimeout="" : intervalle d’expiration, en millisecondes, utilisé pour la demande. la valeur par défaut est de 5 minutes.

En plus des paramètres ci-dessus, les paramètres suivants peuvent également être configurés :

• path : chemin d’accès du magasin de données. La valeur par défaut est <aem-install>/repository/datastore..
• RecordLength : taille minimale d’un objet devant être enregistré dans le magasin de données. La valeur par défaut est de 16 Ko.
• maxCachedBinarySize : Les fichiers binaires dont la taille est inférieure ou égale à cette taille sont stockés dans le cache mémoire. La taille est en octets. La valeur par défaut est 1 7408 (17 Ko).
• cacheSize : taille du cache. La valeur est exprimée en octets. La valeur par défaut est 64 Go.
• secret : à utiliser uniquement si la réplication sans binaire est utilisée pour la configuration du magasin de données partagé.
• stagingSplitPercentage : pourcentage de la taille du cache configuré afin d’être utilisé pour les chargements asynchrones intermédiaires. La valeur par défaut est 10.
• uploadThreads : nombre de threads de chargement utilisés pour les chargements asynchrones. La valeur par défaut est 10.
• stagingPurgeInterval : intervalle en secondes pour purger les chargements terminés à partir du cache intermédiaire. La valeur par défaut est 300 secondes (5 minutes).
• stagingRetryInterval : intervalle en secondes entre les nouvelles tentatives pour les chargements ayant échoué. La valeur par défaut est de 600 secondes (10 minutes).

accessKey="ASDASDERFAERAER"
secretKey="28932hfjlkwdo8fufsdfas\=\="

Nettoyage de la mémoire du magasin de données

Le processus de nettoyage de la mémoire du magasin de données est utilisé pour supprimer tous les fichiers inutilisés dans le magasin de données en vue de libérer de l’espace disque.

Vous pouvez exécuter le nettoyage de la mémoire du magasin de données en :

1. Accédez à la console JMX à l’adresse https://<serveraddress:port>/system/console/jmx

2. Recherchant RepositoryManagement. Une fois que vous aurez trouvé le gestionnaire de référentiel MBean, cliquez dessus pour afficher les options disponibles.

3. Faites défiler la page jusqu’à la fin, puis cliquez sur le bouton startDataStoreGC(boolean markOnly) lien.

4. Dans la boîte de dialogue suivante, saisissez false pour le paramètre markOnly, puis cliquez sur Invoquer :

   

   REMARQUE

   Le markOnly indique si la phase de balayage du nettoyage s’exécute ou non.

Nettoyage de la mémoire d’entrepôt de données pour un entrepôt de données partagé

Avec des versions plus récentes d’AEM, le nettoyage de la mémoire du magasin de données peut également être effectué sur des magasins de données partagés par plusieurs référentiels. Pour pouvoir exécuter le nettoyage de la mémoire d’entrepôt de données sur un entrepôt de données partagé, procédez comme suit :

1. Vérifiez que les tâches de maintenance configurées pour le nettoyage de la mémoire du magasin de données sont désactivées sur toutes les instances de référentiel partageant le magasin de données.

2. Exécutez les étapes mentionnées dans Nettoyage de la mémoire binaire sur toutes les instances de référentiel partageant le magasin de données. Veillez toutefois à saisir true pour le paramètre markOnly avant de cliquer sur le bouton Invoquer :

   

3. Après avoir exécuté la procédure ci-dessus sur toutes les instances, exécutez à nouveau le nettoyage de la mémoire d’entrepôt de données depuis any des instances :

   1. Accédez à la console JMX, puis sélectionnez le gestionnaire de référentiel MBean.
   2. Cliquez sur le bouton Cliquez sur startDataStoreGC(boolean markOnly) lien.
   3. Dans la boîte de dialogue suivante, saisissez à nouveau false pour le paramètre markOnly.

   Tous les fichiers trouvés sont rassemblés à l’aide de la phase de marquage utilisée avant et supprimez les autres fichiers inutilisés de l’entrepôt de données.

Ressources Business.Adobe.com

Multichannel Communication Automated Onboarding Style System Personalized Experiences Customer Communications Customer Experience Management