Configuração Solr para SRP

Solr para AEM plataforma

Uma instalação Apache Solr pode ser compartilhada entre o armazenamento de nó (Oak) e o armazenamento comum (SRP) usando coleções diferentes.

Se as coleções Oak e SRP forem usadas intensamente, uma segunda Solr poderá ser instalada por motivos de desempenho.

Para ambientes de produção, o modo SolrCloud fornece desempenho aprimorado em relação ao modo independente (uma configuração única e local Solr).

Requisitos

Baixe e instale o Apache Solr:

Modo SolrCloud

🔗 O SolrCloudmode é recomendado em ambientes de produção. Ao executar no modo SolrCloud, o SolrCloud deve ser instalado e configurado antes de instalar o MLS (Multilingual Search).

A recomendação é seguir as instruções da SolrCloud para instalar:

  • 3 Nós do SolrCloud no mesmo servidor
  • Um ZooKeeper externo do Apache

Também é recomendável configurar a JVM para ajustar o uso de memória e a coleta de lixo.

Exemplo de configuração da JVM

JVM_OPTS="-server -Xmx2048m -XX:MaxPermSize=768M -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -Xloggc:../logs/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Djava.awt.headless=true"  

Comandos de configuração do SolrCloud

Ao executar no modo SolrCloud, antes da instalação do MLS, é necessário o uso e o conhecimento dos seguintes comandos de configuração do SolrCloud.

1. Carregue uma configuração no ZooKeeper

Referência:
https://cwiki.apache.org/confluence/display/solr/Command+Line+Utilities

Uso:
sh ./scripts/cloud-scripts/zkcli.sh \
-cmd upconfig \
-zkhost server:port \
-confname *myconfig-name *\
-solrhome solr-home-path \
-confdir config-dir

2. Crie uma coleção

Referência:
https://cwiki.apache.org/confluence/display/solr/Solr+Start+Script+Reference#SolrStartScriptReference-Create

Uso:
./bin/solr criar \
-c mycollection-name\
-d config-dir \
-n myconfig-name \
-p porta\
-s número de fragmentos \
-rf número de réplicas

Vincule uma coleção a uma configuração já carregada no ZooKeeper.

Referência:
https://cwiki.apache.org/confluence/display/solr/Command+Line+Utilities

Uso:
sh ./scripts/cloud-scripts/zkcli.sh \
-cmd linkconfig \
-zkhost server:port \
-collection mycollection-name \
-confname myconfig-name

Comparação do MLS padrão e avançado

A Pesquisa multilíngue (MLS) para AEM Communities foi criada para a plataforma Solr para fornecer uma pesquisa aprimorada em todos os idiomas compatíveis, incluindo o inglês.

O MLS para comunidades de AEM está disponível como MLS padrão ou MLS avançado. O MLS padrão inclui apenas configurações de Solr e exclui todos os plug-ins ou arquivos de recursos. O MLS avançado é a solução mais abrangente e inclui configurações de Solr, bem como plug-ins e recursos relacionados

O MLS padrão inclui aprimoramentos para pesquisa de conteúdo para os seguintes idiomas:

  • Inglês: aprimoramento do remetente para tentar corresponder derivações de palavras
  • Japonês: tokenização japonesa aprimorada para caracteres de meia largura

O MLS avançado inclui aprimoramentos para pesquisa de conteúdo para os seguintes idiomas:

  • Inglês: lagarta substituída por limmatizador
  • Alemão: decompositor adicionado
  • Francês: adição de tratamento de iluminação
  • Chinês (Simplificado): adição de um tokenizer mais inteligente
  • Vários idiomas: adição de um remetente, lista de palavras de parada e um normalizador.

No total, os 33 idiomas a seguir são compatíveis com o MLS avançado.

Arábico Alemão Norueguês
Búlgaro Grego Polaco
Chinês (simplificado) Crioulo haitiano Português
Chinês (Tradicional) Hebraico Romeno
Tcheco Húngaro Russo
Dinamarquês Indonês Eslovaco
Holandês Italiano Esloveno
Inglês Japonês Espanhol
Estônio Coreano Sueco
Finlandês Letão Tailandês
Francês Lituano Turco

Comparação entre AEM 6.1 Pesquisa Solr, MLS Padrão e MLS Avançado

Observação: AEM 6.1 refere-se ao AEM 6.1 FP3 das Comunidades e anterior.

chlimage_1-283

Instalar o MLS padrão

Para a coleção SRP (MSRP ou DSRP), para ser compatível com o Standard Multilingual Search (MLS), é necessário modificar dois dos arquivos de configuração do Solr:

  • schema.xml
  • solrconfig.xml

Arquivos MLS padrão (schema.xml, solrconfig.xml) para Solr 4.10

Arquivos MLS padrão (schema.xml, solrconfig.xml) para Solr 5

Os arquivos MLS padrão são armazenados no repositório AEM.

Observação: Embora os arquivos Solr sejam armazenados na pasta msrp/ , eles também são para DSRP (nenhuma alteração necessária).

Instruções de download: substitua solrX por solr4 ou solr5 conforme apropriado

  1. Usando o CRXDE|Lite, localize

    • /libs/social/config/datastore/msrp/solrX/schema.xml
    • /libs/social/config/datastore/msrp/solrX/solrconfig.xml
  2. Baixe para o servidor local no qual o Solr é implantado

    • Localize a propriedade jcr:content do nó jcr:data
    • Selecione view para iniciar o download
    • Verifique se os arquivos foram salvos com os nomes e a codificação apropriados (UTF8)
  3. Siga as instruções de instalação para o modo independente ou o modo SolrCloud

Modo SolrCloud - MLS padrão

  1. Instalar e configurar o Solr no modo SolrCloud

  2. Prepare uma nova configuração:

    1. Crie new-config-dir como solr-install-dir/myconfig/

    2. Copie o conteúdo do diretório de configuração Solr existente para new-config-dir

      • Para Solr4: copiar solr-install-dir/example/solr/collection1/conf/*
      • Para Solr5: copiar solr-install-dir/server/solr/configsets/data_led_schema_configs/*
    3. Copie o schema.xml e solrconfig.xml baixados para new-config-dir para substituir arquivos existentes

  3. Carregar a nova configuração no ZooKeeper

  4. Crie uma coleção especificando os parâmetros necessários, como número de fragmentos, número de réplicas e nome da configuração.

  5. Se o nome da configuração foi *não *fornecido durante a criação da coleção, vincule esta coleção recém-criada com a configuração carregada no ZooKeeper

  6. Para MSRP, execute Ferramenta de reindexação MSRP, a menos que esta seja uma nova instalação

Modo independente - MLS padrão

  1. Instale o Solr no modo independente

  2. Se estiver executando o Solr5, crie uma coleção1 (semelhante a Solr4):

    • ./bin/solr start
    • ./bin/solr create_core -c collection1 -d sample_techproducts_configs
  3. Faça backup de schema.xml e solrconfig.xml no diretório de configuração Solr, como:

    • Para Solr4: solr-install-dir/example/solr/collection1/conf/
    • Criado para Solr5: solr-install-dir/server/solr/collection1/conf/
  4. Copie o schema.xml e solrconfig.xml baixados para o mesmo diretório

  5. Reinicie o Solr

  6. Para MSRP, execute Ferramenta de reindexação MSRP, a menos que esta seja uma nova instalação

Instalar o MLS avançado

Para que a coleção SRP (MSRP ou DSRP) ofereça suporte a MLS avançado, são necessários novos plug-ins Solr além de um esquema personalizado e uma configuração Solr. Todos os itens necessários são empacotados em um arquivo zip que pode ser baixado. Além disso, um script de instalação é incluído para uso quando Solr é implantado no modo independente.

Para obter o pacote MLS avançado, consulte AEM MLS avançado na seção de implantação da documentação.

Para começar a instalar o SolrCloud ou o modo independente:

  • Faça o download do arquivo zip AEM-SOLR-MLS para a Solr de hospedagem de servidor
  • Descompacte o arquivo

Modo SolrCloud - MLS avançado

Instruções de instalação - observe as poucas diferenças para Solr4 e Solr5:

  1. Instalar e configurar o Solr no modo SolrCloud

  2. Extraia o conteúdo do pacote MLS avançado para o disco. O conteúdo deve incluir:

    • schema.xml
    • solrconfig.xml
    • stopwords/ folder
    • perfis/ pasta
    • extra-libs/ folder
  3. Prepare uma nova configuração:

    1. Criar um new-config-dir

      • Como solr-install-dir/myconfig/
      • Crie subpastas palavras / e lang/
    2. Copie o conteúdo do diretório de configuração Solr existente para new-config-dir

      • Para Solr4: Copiar solr-install-dir/example/solr/collection1/conf/*
      • Para Solr5: Copiar solr-install-dir/server/solr/configsets/data_led_schema_configs/*
    3. Copie o schema.xml e solrconfig.xml extraído para new-config-dir para substituir arquivos existentes

    4. Para Solr5: Copie solr_install_dir/server/solr/configsets/sample_techproducts_configs/conf/lang/*.txt" para new-config-dir/lang/

    5. Copie a pasta stopwords/ extraída para new-config-dir, resultando em new-config-dir/stopwords/*.txt

  4. Carregar a nova configuração no ZooKeeper

  5. Copie a nova pasta profiles/

    • Para Solr4: Copiar para a pasta/recursos de cada nó
    • Para Solr5: Copie para cada pasta de servidor/recursos/ da instalação Solr. Se todos os nós estiverem no mesmo diretório de instalação Solr, essa etapa será executada apenas uma vez.
  6. Crie uma pasta lib/ no diretório solr-home (contém solr.xml) de cada nó no SolrCloud. Copie jars dos seguintes locais para a nova biblioteca/ pasta em cada nó:

    • extra-libs/ extraído do pacote MLS avançado
    • solr-install-dir/contrib/extraction/lib/.jar
    • solr-install-dir/dist/solr-cell.jar
    • solr-install-dir/contrib/clustering/lib/.jar
    • solr-install-dir/dist/solr-clustering.jar
    • solr-install-dir/contrib/langid/lib/.jar
    • solr-install-dir/dist/solr-langid.jar
    • solr-install-dir/contrib/velocity/lib/.jar
    • solr-install-dir/dist/solr-velocity.jar
    • solr-install-dir/contrib/analysis-extras/lib/.jar
    • solr-install-dir/contrib/analysis-extras/lucene-libs/.jar
  7. Crie uma coleção especificando os parâmetros necessários, como número de fragmentos, número de réplicas e nome da configuração.

  8. Se o nome da configuração for not fornecido durante a criação da coleção, vincule esta coleção recém-criada com a configuração carregada no ZooKeeper

  9. Para MSRP, execute Ferramenta de reindexação MSRP, a menos que esta seja uma nova instalação

Modo independente - MLS avançado

Um script de instalação é incluído no pacote MLS avançado.

Depois que o conteúdo do pacote for extraído para o servidor que hospeda o servidor Solr independente, basta executar o script de instalação para instalar os recursos e os arquivos de configuração necessários.

  • Instale o Solr no modo independente

  • Se estiver executando o Solr5, crie uma coleção1 (semelhante a Solr4):

    • ./bin/solr start
    • ./bin/solr create_core -c collection1 -d sample_techproducts_configs
  • Execute o script de instalação: Instalar [-v 4|5] [-d solrhome] [-c collectionpath]
    em que:

    • -d solrhome

      Diretório de instalação do Solr

    • -c collectionpath

      Caminho da coleção em solr

    • –ajuda

      Imprimir opções de linha de comando

    • -v [4|5]

      Definir versão para solr

  • Exemplo para Solr 4.10.4:

    • Install.bat -v 4 -d c:/solr-4.10.4 -c:/solr-4.10.4/example/solr/collection1
  • Exemplo para Solr 5.4.0:

    • Install.sh -v 5 -d /tmp/solr-5.4.0 -c /tmp/solr-5.4.0/server/solr/collection1

Nota:

  • O script de instalação fará o backup do schema.xml e do solrconfig.xml antes de instalar novas versões, anexando ".oring"

Sobre solrconfig.xml

O arquivo solrconfig.xml controla o intervalo de confirmação automática e a visibilidade da pesquisa e exigirá testes e ajuste.

<autocommit>: Por padrão, o intervalo AutoCommit, que é um compromisso rígido com o armazenamento estável, é definido como 15 segundos. O padrão da visibilidade da pesquisa é usar o índice de pré-confirmação.

Para alterar a pesquisa para usar um índice atualizado para refletir as alterações devido à confirmação, altere o <openSearcher> contido para verdadeiro.

<autosoftcommit>: Uma confirmação "suave" garante que as alterações sejam visíveis (o índice é atualizado), mas não garante que as alterações sejam sincronizadas com o armazenamento estável (confirmação rígida). O resultado é uma melhoria no desempenho. Por padrão, <autoSoftCommit> é desabilitado com o <maxTime> contido definido como -1.

Nesta página