Configuração Solr para SRP

Solr para AEM plataforma

Uma instalação Apache Solr pode ser compartilhada entre o armazenamento de nó (Oak) e o armazenamento comum (SRP) usando coleções diferentes.

Se as coleções Oak e SRP forem usadas intensamente, uma segunda Solr poderá ser instalada por motivos de desempenho.

Para ambientes de produção, o modo SolrCloud fornece desempenho aprimorado em relação ao modo independente (uma configuração única e local Solr).

Requisitos

Baixe e instale o Apache Solr:

• Versão 4.10 ou versão 5

• A Solr requer o Java 1.7 ou superior

• Nenhum serviço é necessário

• Escolha dos modos de execução:

  • Modo autônomo
  • Modo SolrCloud (recomendado para ambientes de produção)

• Escolha da pesquisa multilíngue (MLS)

  • Instalação do MLS padrão
  • Instalação do MLS avançado

Modo SolrCloud

🔗 O SolrCloudmode é recomendado em ambientes de produção. Ao executar no modo SolrCloud, o SolrCloud deve ser instalado e configurado antes de instalar o MLS (Multilingual Search).

A recomendação é seguir as instruções da SolrCloud para instalar:

• 3 Nós do SolrCloud no mesmo servidor
• Um ZooKeeper externo do Apache

Também é recomendável configurar a JVM para ajustar o uso de memória e a coleta de lixo.

Exemplo de configuração da JVM

JVM_OPTS="-server -Xmx2048m -XX:MaxPermSize=768M -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -Xloggc:../logs/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Djava.awt.headless=true"  

Comandos de configuração do SolrCloud

Ao executar no modo SolrCloud, antes da instalação do MLS, é necessário o uso e o conhecimento dos seguintes comandos de configuração do SolrCloud.

1. Carregue uma configuração no ZooKeeper

Referência:
https://cwiki.apache.org/confluence/display/solr/Command+Line+Utilities

Uso:
sh ./scripts/cloud-scripts/zkcli.sh \
-cmd upconfig \
-zkhost server:port \
-confname *myconfig-name *\
-solrhome solr-home-path \
-confdir config-dir

2. Crie uma coleção

Referência:
https://cwiki.apache.org/confluence/display/solr/Solr+Start+Script+Reference#SolrStartScriptReference-Create

Uso:
./bin/solr criar \
-c mycollection-name\
-d config-dir \
-n myconfig-name \
-p porta\
-s número de fragmentos \
-rf número de réplicas

3. Vincule uma coleção a um conjunto de configurações

Vincule uma coleção a uma configuração já carregada no ZooKeeper.

Referência:
https://cwiki.apache.org/confluence/display/solr/Command+Line+Utilities

Uso:
sh ./scripts/cloud-scripts/zkcli.sh \
-cmd linkconfig \
-zkhost server:port \
-collection mycollection-name \
-confname myconfig-name

Comparação do MLS padrão e avançado

A Pesquisa multilíngue (MLS) para AEM Communities foi criada para a plataforma Solr para fornecer uma pesquisa aprimorada em todos os idiomas compatíveis, incluindo o inglês.

O MLS para comunidades de AEM está disponível como MLS padrão ou MLS avançado. O MLS padrão inclui apenas configurações de Solr e exclui todos os plug-ins ou arquivos de recursos. O MLS avançado é a solução mais abrangente e inclui configurações de Solr, bem como plug-ins e recursos relacionados

O MLS padrão inclui aprimoramentos para pesquisa de conteúdo para os seguintes idiomas:

• Inglês: aprimoramento do remetente para tentar corresponder derivações de palavras
• Japonês: tokenização japonesa aprimorada para caracteres de meia largura

O MLS avançado inclui aprimoramentos para pesquisa de conteúdo para os seguintes idiomas:

• Inglês: lagarta substituída por limmatizador
• Alemão: decompositor adicionado
• Francês: adição de tratamento de iluminação
• Chinês (Simplificado): adição de um tokenizer mais inteligente
• Vários idiomas: adição de um remetente, lista de palavras de parada e um normalizador.

No total, os 33 idiomas a seguir são compatíveis com o MLS avançado.

Comparação entre AEM 6.1 Pesquisa Solr, MLS Padrão e MLS Avançado

Observação: AEM 6.1 refere-se ao AEM 6.1 FP3 das Comunidades e anterior.

Instalar o MLS padrão

Para a coleção SRP (MSRP ou DSRP), para ser compatível com o Standard Multilingual Search (MLS), é necessário modificar dois dos arquivos de configuração do Solr:

• schema.xml
• solrconfig.xml

Arquivos MLS padrão (schema.xml, solrconfig.xml) para Solr 4.10

Arquivos MLS padrão (schema.xml, solrconfig.xml) para Solr 5

Os arquivos MLS padrão são armazenados no repositório AEM.

Observação: Embora os arquivos Solr sejam armazenados na pasta msrp/ , eles também são para DSRP (nenhuma alteração necessária).

Instruções de download: substitua solrX por solr4 ou solr5 conforme apropriado

1. Usando o CRXDE|Lite, localize

   • /libs/social/config/datastore/msrp/solrX/schema.xml
   • /libs/social/config/datastore/msrp/solrX/solrconfig.xml

2. Baixe para o servidor local no qual o Solr é implantado

   • Localize a propriedade jcr:content do nó jcr:data
   • Selecione view para iniciar o download
   • Verifique se os arquivos foram salvos com os nomes e a codificação apropriados (UTF8)

3. Siga as instruções de instalação para o modo independente ou o modo SolrCloud

Modo SolrCloud - MLS padrão

1. Instalar e configurar o Solr no modo SolrCloud

2. Prepare uma nova configuração:

   1. Crie new-config-dir como solr-install-dir/myconfig/

   2. Copie o conteúdo do diretório de configuração Solr existente para new-config-dir

      • Para Solr4: copiar solr-install-dir/example/solr/collection1/conf/*
      • Para Solr5: copiar solr-install-dir/server/solr/configsets/data_led_schema_configs/*

   3. Copie o schema.xml e solrconfig.xml baixados para new-config-dir para substituir arquivos existentes

3. Carregar a nova configuração no ZooKeeper

4. Crie uma coleção especificando os parâmetros necessários, como número de fragmentos, número de réplicas e nome da configuração.

5. Se o nome da configuração foi *não *fornecido durante a criação da coleção, vincule esta coleção recém-criada com a configuração carregada no ZooKeeper

6. Para MSRP, execute Ferramenta de reindexação MSRP, a menos que esta seja uma nova instalação

Modo independente - MLS padrão

1. Instale o Solr no modo independente

2. Se estiver executando o Solr5, crie uma coleção1 (semelhante a Solr4):

   • ./bin/solr start
   • ./bin/solr create_core -c collection1 -d sample_techproducts_configs

3. Faça backup de schema.xml e solrconfig.xml no diretório de configuração Solr, como:

   • Para Solr4: solr-install-dir/example/solr/collection1/conf/
   • Criado para Solr5: solr-install-dir/server/solr/collection1/conf/

4. Copie o schema.xml e solrconfig.xml baixados para o mesmo diretório

5. Reinicie o Solr

6. Para MSRP, execute Ferramenta de reindexação MSRP, a menos que esta seja uma nova instalação

Instalar o MLS avançado

Para que a coleção SRP (MSRP ou DSRP) ofereça suporte a MLS avançado, são necessários novos plug-ins Solr além de um esquema personalizado e uma configuração Solr. Todos os itens necessários são empacotados em um arquivo zip que pode ser baixado. Além disso, um script de instalação é incluído para uso quando Solr é implantado no modo independente.

Para obter o pacote MLS avançado, consulte AEM MLS avançado na seção de implantação da documentação.

Para começar a instalar o SolrCloud ou o modo independente:

• Faça o download do arquivo zip AEM-SOLR-MLS para a Solr de hospedagem de servidor
• Descompacte o arquivo

Modo SolrCloud - MLS avançado

Instruções de instalação - observe as poucas diferenças para Solr4 e Solr5:

1. Instalar e configurar o Solr no modo SolrCloud

2. Extraia o conteúdo do pacote MLS avançado para o disco. O conteúdo deve incluir:

   • schema.xml
   • solrconfig.xml
   • stopwords/ folder
   • perfis/ pasta
   • extra-libs/ folder

3. Prepare uma nova configuração:

   1. Criar um new-config-dir

      • Como solr-install-dir/myconfig/
      • Crie subpastas palavras / e lang/

   2. Copie o conteúdo do diretório de configuração Solr existente para new-config-dir

      • Para Solr4: Copiar solr-install-dir/example/solr/collection1/conf/*
      • Para Solr5: Copiar solr-install-dir/server/solr/configsets/data_led_schema_configs/*

   3. Copie o schema.xml e solrconfig.xml extraído para new-config-dir para substituir arquivos existentes

   4. Para Solr5: Copie solr_install_dir/server/solr/configsets/sample_techproducts_configs/conf/lang/*.txt" para new-config-dir/lang/

   5. Copie a pasta stopwords/ extraída para new-config-dir, resultando em new-config-dir/stopwords/*.txt

4. Carregar a nova configuração no ZooKeeper

5. Copie a nova pasta profiles/ …

   • Para Solr4: Copiar para a pasta/recursos de cada nó
   • Para Solr5: Copie para cada pasta de servidor/recursos/ da instalação Solr. Se todos os nós estiverem no mesmo diretório de instalação Solr, essa etapa será executada apenas uma vez.

6. Crie uma pasta lib/ no diretório solr-home (contém solr.xml) de cada nó no SolrCloud. Copie jars dos seguintes locais para a nova biblioteca/ pasta em cada nó:

   • extra-libs/ extraído do pacote MLS avançado
   • solr-install-dir/contrib/extraction/lib/.jar
   • solr-install-dir/dist/solr-cell.jar
   • solr-install-dir/contrib/clustering/lib/.jar
   • solr-install-dir/dist/solr-clustering.jar
   • solr-install-dir/contrib/langid/lib/.jar
   • solr-install-dir/dist/solr-langid.jar
   • solr-install-dir/contrib/velocity/lib/.jar
   • solr-install-dir/dist/solr-velocity.jar
   • solr-install-dir/contrib/analysis-extras/lib/.jar
   • solr-install-dir/contrib/analysis-extras/lucene-libs/.jar

7. Crie uma coleção especificando os parâmetros necessários, como número de fragmentos, número de réplicas e nome da configuração.

8. Se o nome da configuração for not fornecido durante a criação da coleção, vincule esta coleção recém-criada com a configuração carregada no ZooKeeper

9. Para MSRP, execute Ferramenta de reindexação MSRP, a menos que esta seja uma nova instalação

Modo independente - MLS avançado

Um script de instalação é incluído no pacote MLS avançado.

Depois que o conteúdo do pacote for extraído para o servidor que hospeda o servidor Solr independente, basta executar o script de instalação para instalar os recursos e os arquivos de configuração necessários.

• Instale o Solr no modo independente

• Se estiver executando o Solr5, crie uma coleção1 (semelhante a Solr4):

  • ./bin/solr start
  • ./bin/solr create_core -c collection1 -d sample_techproducts_configs

• Execute o script de instalação: Instalar [-v 4|5] [-d solrhome] [-c collectionpath]
  em que:

  • -d solrhome

    Diretório de instalação do Solr

  • -c collectionpath

    Caminho da coleção em solr

  • –ajuda

    Imprimir opções de linha de comando

  • -v [4|5]

    Definir versão para solr

• Exemplo para Solr 4.10.4:

  • Install.bat -v 4 -d c:/solr-4.10.4 -c:/solr-4.10.4/example/solr/collection1

• Exemplo para Solr 5.4.0:

  • Install.sh -v 5 -d /tmp/solr-5.4.0 -c /tmp/solr-5.4.0/server/solr/collection1

Nota:

• O script de instalação fará o backup do schema.xml e do solrconfig.xml antes de instalar novas versões, anexando ".oring"

Sobre solrconfig.xml

O arquivo solrconfig.xml controla o intervalo de confirmação automática e a visibilidade da pesquisa e exigirá testes e ajuste.

<autocommit>: Por padrão, o intervalo AutoCommit, que é um compromisso rígido com o armazenamento estável, é definido como 15 segundos. O padrão da visibilidade da pesquisa é usar o índice de pré-confirmação.

Para alterar a pesquisa para usar um índice atualizado para refletir as alterações devido à confirmação, altere o <openSearcher> contido para verdadeiro.

<autosoftcommit>: Uma confirmação "suave" garante que as alterações sejam visíveis (o índice é atualizado), mas não garante que as alterações sejam sincronizadas com o armazenamento estável (confirmação rígida). O resultado é uma melhoria no desempenho. Por padrão, <autoSoftCommit> é desabilitado com o <maxTime> contido definido como -1.