Configuration de Solr pour SRP

Solr pour la plateforme AEM

Une installation Apache Solr peut être partagée entre le magasin de noeuds (Oak) et le magasin commun (SRP) en utilisant différentes collections.

Si les deux collections Oak et SRP sont utilisées de façon intensive, un second Solr peut être installé pour des raisons de performances.

Pour les environnements de production, le mode SolrCloud offre de meilleures performances par rapport au mode autonome (une seule configuration Solr locale).

Conditions requises

Téléchargez et installez Apache Solr :

Mode SolrCloud

Le mode SolrCloud est recommandé pour les environnements de production. Lors de l’exécution en mode SolrCloud, SolrCloud doit être installé et configuré avant d’installer la recherche multilingue (MLS).

Il est recommandé de suivre les instructions d’installation de SolrCloud :

  • 3 noeuds SolrCloud sur un même serveur
  • Un ZooKeeper Apache externe

Il est également recommandé de configurer la JVM pour régler l’utilisation de la mémoire et la collecte des déchets.

Exemple de configuration JVM

JVM_OPTS="-server -Xmx2048m -XX:MaxPermSize=768M -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -Xloggc:../logs/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Djava.awt.headless=true"  

Commandes de configuration de SolrCloud

Lors de l’exécution en mode SolrCloud, avant l’installation de MLS, il est nécessaire d’utiliser et de connaître les commandes de configuration suivantes de SolrCloud.

1. Téléchargez une configuration sur ZooKeeper.

Référence:
https://cwiki.apache.org/confluence/display/solr/Command+Line+Utilities

Utilisation:
sh ./scripts/cloud-scripts/zkcli.sh \
-cmd upconfig \
-zkhost server:port \
-confname *nom_configuration *\
-solrhome- solr-home-path \
-confdir config-dir

2. Create a collection

Référence:
https://cwiki.apache.org/confluence/display/solr/Solr+Start+Script+Reference#SolrStartScriptReference-Create

Utilisation:
./bin/solr créer \
-c mycollection-name\
-d config-dir \
-n myconfig-name \
-p port\
-s nombre de éclats \
-rf nombre de répliques

Liez une collection à une configuration déjà téléchargée sur ZooKeeper.

Référence:
https://cwiki.apache.org/confluence/display/solr/Command+Line+Utilities

Utilisation:
sh ./scripts/cloud-scripts/zkcli.sh \
-cmd linkconfig \
-zkhost server:port \
-collection mycollection-name \
-confname myconfig-name

Comparaison des MLS standard et avancés

La recherche multilingue (MLS) pour l’AEM Communities est conçue pour la plate-forme Solr afin de fournir une recherche améliorée dans toutes les langues prises en charge, y compris l’anglais.

MLS pour les communautés AEM est disponible en tant que MLS standard ou MLS avancé. Standard MLS inclut uniquement les paramètres de configuration Solr et exclut tous les modules externes ou fichiers de ressources. Advanced MLS est la solution la plus complète et inclut des paramètres de configuration Solr ainsi que des modules externes et les ressources connexes.

Standard MLS inclut des améliorations pour la recherche de contenu dans les langues suivantes :

  • Anglais : amélioration de la chaîne pour tenter de faire correspondre les dérivations de mot
  • Japonais : amélioration de la segmentation en jetons japonais pour les caractères demi-largeur

MLS avancé comprend des améliorations pour la recherche de contenu dans les langues suivantes :

  • Anglais : briquet remplacé par un lemmatiseur
  • Allemand : décompositeur ajouté
  • Français : gestion de l’élision ajoutée
  • Chinois (simplifié) : ajout d’un jeton plus intelligent
  • Différentes langues : ajout d’un radical, d’une liste de mots d’arrêt et d’un normalisateur.

Au total, les 33 langues suivantes sont prises en charge dans Advanced MLS.

Arabe Allemand Norvégien
Bulgare Grec Polonais
Chinois (simplifié) Créole haïtien Portugais
Chinois (traditionnel) Hébreu Roumain
Tchèque Hongrois Russe
Danois Indonésien Slovaque
Néerlandais Italien Slovène
Anglais Japonais Espagnol
Estonien Coréen Suédois
Finnois Letton Thaï
Français Lituanien Turc

Comparaison de l'AEM 6.1 Solr Search, Standard MLS et Advanced MLS

Remarque: aem 6.1 se rapporte à AEM 6.1 Communautés FP3 et versions antérieures.

chlimage_1-283

Installation de MLS standard

Pour la collection SRP (MSRP ou DSRP), pour prendre en charge la recherche multilingue standard (MLS), il est nécessaire de modifier deux des fichiers de configuration de Solr :

  • schéma.xml
  • solrconfig.xml

Fichiers MLS standard (schéma.xml, solrconfig.xml) pour Solaris 4.10

Fichiers MLS standard (schéma.xml, solrconfig.xml) pour Solaris 5

Les fichiers MLS standard sont stockés dans le référentiel AEM.

Remarque: Bien que les fichiers Solr soient stockés dans le dossier msrp/, ils sont également pour DSRP (aucune modification nécessaire).

Télécharger les instructions: remplacer solrX par solr4 ou solr5 selon le cas

  1. Utilisation de CRXDE|Lite, localiser

    • /libs/social/config/datastore/msrp/solrX/schéma.xml
    • /libs/social/config/datastore/msrp/solrX/solrconfig.xml
  2. Téléchargement sur le serveur local sur lequel Solr est déployé

    • Localisation de la jcr:content propriété du noeud jcr:data
    • Sélectionnez view pour début le téléchargement
    • Assurez-vous que les fichiers sont enregistrés avec les noms et le codage appropriés (UTF8).
  3. Suivez les instructions d’installation pour le mode autonome ou SolrCloud.

Mode SolrCloud - MLS standard

  1. Installation et configuration de Solr en mode SolrCloud

  2. Préparer une nouvelle configuration :

    1. Créez new-config-dir comme solr-install-dir/myconfig/

    2. Copiez le contenu du répertoire de configuration Solr existant dans new-config-dir

      • Pour Solr4 : copy solr-install-dir/exemple/solr/collection1/conf/*
      • Pour Solr5 : copy solr-install-dir/server/solr/configsets/data_led_schéma_configs/*
    3. Copiez les fichiers téléchargés schéma.xml et solrconfig.xml dans new-config-dir pour remplacer les fichiers existants.

  3. Téléchargement de la nouvelle configuration vers ZooKeeper

  4. Créez une collection spécifiant les paramètres nécessaires, tels que le nombre de shards, le nombre de réplicas et le nom de configuration.

  5. Si le nom de la configuration n’a *pas été *fourni lors de la création de la collection, liez cette nouvelle collection à la configuration téléchargée sur ZooKeeper.

  6. Pour MSRP, exécutez l’outil de réindexationMSRP, sauf s’il s’agit d’une nouvelle installation.

Mode autonome - MLS standard

  1. Installer Solr en mode autonome

  2. Si vous exécutez Solr5, créez une collection1 (semblable à Solr4) :

    • .début /bin/solr
    • ./bin/solr create_core -c collection1 -d sample_techproducts_configs
  3. Sauvegardez schéma.xml et solrconfig.xml dans le répertoire de configuration Solr, par exemple :

    • Pour Solr4 : rép_installation_solr/exemple/solr/collection1/conf/
    • Créé pour Solr5 : solr-install-dir/server/solr/collection1/conf/
  4. Copiez les fichiers schéma.xml et solrconfig.xml téléchargés dans ce même répertoire.

  5. Redémarrer Solr

  6. Pour MSRP, exécutez l’outil de réindexationMSRP, sauf s’il s’agit d’une nouvelle installation.

Installation de MLS avancé

Pour que la collection SRP (MSRP ou DSRP) prenne en charge les MLS avancés, de nouveaux modules externes Solr sont requis en plus d'un schéma personnalisé et d'une configuration Solr. Tous les éléments requis sont compressés dans un fichier zip téléchargeable. En outre, un script d’installation est inclus pour une utilisation lorsque Solr est déployé en mode autonome.

Pour obtenir le pack MLS avancé, voir AEM Advanced MLS dans la section déploiement de la documentation.

Pour commencer l’installation en mode SolrCloud ou autonome :

  • Télécharger l'archive zip AEM-SOLR-MLS sur le serveur hébergeant Solr
  • Décompresser l'archive

Mode SolrCloud - MLS avancé

Instructions d'installation - Notez les quelques différences pour Solr4 et Solr5 :

  1. Installation et configuration de Solr en mode SolrCloud

  2. Extrayez le contenu du package Advanced MLS sur le disque. Le contenu doit inclure :

    • schéma.xml
    • solrconfig.xml
    • mot de passe/dossier
    • profils/dossier
    • dossier libs/ supplémentaires
  3. Préparer une nouvelle configuration :

    1. Création d’un répertoire new-config-dir

      • Par exemple, solr-install-dir/myconfig/
      • Créer des sous-dossiers de mots de passe/ et lang/
    2. Copiez le contenu du répertoire de configuration Solr existant dans new-config-dir

      • Pour Solr4 : Copiez solr-install-dir/exemple/solr/collection1/conf/&amp ; ast;
      • Pour Solr5 : Copiez solr-install-dir/server/solr/configsets/data_led_schéma_configs/*
    3. Copiez les fichiers schéma.xml et solrconfig.xml extraits dans new-config-dir pour remplacer les fichiers existants.

    4. Pour Solr5 : Copiez solr_install_dir/server/solr/configsets/sample_techproducts_configs/conf/lang/*.txt" dans new-config-dir/lang/

    5. Copiez le dossier/ mots de passe extraits dans new-config-dir , ce qui entraîne la création de new-config-dir **/stopwords/*.txt.

  4. Téléchargement de la nouvelle configuration vers ZooKeeper

  5. Copiez le nouveau profil/ dossier …

    • Pour Solr4 : Copier dans les ressources/dossiers de chaque noeud
    • Pour Solr5 : Copiez dans le dossier server/resources/ de chaque installation Solr. Si tous les noeuds se trouvent dans le même répertoire d’installation Solr, cette étape n’est effectuée qu’une seule fois.
  6. Créez un dossier lib/ dans le répertoire solr-home (contient solr.xml) de chaque noeud dans SolrCloud. Copiez les fichiers JAR des emplacements suivants dans le nouveau dossier lib/ de chaque noeud :

    • Extralibs/ extrait du package MLS avancé
    • rép_installation_solr/contrib/extraction/lib/.jar
    • solr-install-dir/dist/solr-cell.jar
    • rép_installation_solr/contrib/clustering/lib/.jar
    • solr-install-dir/dist/solr-clustering.jar
    • solr-install-dir/contrib/langid/lib/.jar
    • solr-install-dir/dist/solr-langid.jar
    • rép_installation_solr/contrib/velocity/lib/.jar
    • solr-install-dir/dist/solr-velocity.jar
    • solr-install-dir/contrib/analyse-extras/lib/.jar
    • solr-install-dir/contrib/analyse-extras/lucene-libs/.jar
  7. Créez une collection spécifiant les paramètres nécessaires, tels que le nombre de shards, le nombre de réplicas et le nom de configuration.

  8. Si le nom de la configuration n’a pas été fourni lors de la création de la collection, liez cette nouvelle collection à la configuration téléchargée sur ZooKeeper.

  9. Pour MSRP, exécutez l’outil de réindexationMSRP, sauf s’il s’agit d’une nouvelle installation.

Mode autonome - MLS avancé

Un script d’installation est inclus dans le package MLS avancé.

Après avoir extrait le contenu du package sur le serveur hébergeant le serveur Solr autonome, exécutez simplement le script d'installation afin d'installer les ressources et les fichiers de configuration nécessaires.

  • Installer Solr en mode autonome

  • Si vous exécutez Solr5, créez une collection1 (semblable à Solr4) :

    • .début /bin/solr
    • ./bin/solr create_core -c collection1 -d sample_techproducts_configs
  • Exécutez le script d’installation : Installer [-v 4|5] [-d solrhome] [-c collectionpath]où :

    • -d solrhome

      Répertoire d’installation Solr

    • -c collectionpath

      Chemin de collecte en solitaire

    • –help

      Imprimer les options de ligne de commande

    • -v [4|5]

      Définition de la version pour solr

  • Exemple pour Solr 4.10.4 :

    • Install.bat -v 4 -d c:/solr-4.10.4 -c:/solr-4.10.4/example/solr/collection1
  • Exemple pour Solr 5.4.0 :

    • Install.sh -v 5 -d /tmp/solr-5.4.0 -c /tmp/solr-5.4.0/server/solr/collection1

Remarque :

  • Le script d’installation sauvegardera schéma.xml et solrconfig.xml avant d’installer de nouvelles versions en ajoutant ".orig"

A propos de solrconfig.xml

Le fichier solrconfig.xml contrôle l’intervalle de validation automatique et la visibilité de la recherche et nécessite des tests et des réglages.

<autoCommit> : Par défaut, l’intervalle de validation automatique, qui est une validation difficile à un enregistrement stable, est défini sur 15 secondes. La visibilité de la recherche utilise par défaut l’index de pré-validation.

Pour modifier la recherche afin d’utiliser un index mis à jour pour refléter les modifications dues à la validation, définissez la variable <openSearcher> contenue sur true.

<autoSoftCommit> : Une validation "soft" garantit que les modifications sont visibles (l'index est mis à jour), mais ne garantit pas que les modifications sont synchronisées avec un enregistrement stable (hard commit). Il en résulte une amélioration des performances. Par défaut, <autoSoftCommit> est désactivé avec le paramètre <maxTime> contenu défini sur -1.

Sur cette page