Solr-Konfiguration für SRP

Solr für AEM Plattform

Eine Apache Solr-Installation kann zwischen dem Node Store (Oak) und dem common store (SRP) freigegeben werden, indem verschiedene Sammlungen verwendet werden.

Wenn sowohl die Oak- als auch die SRP-Kollektionen intensiv verwendet werden, kann aus Leistungsgründen ein zweiter Solr installiert werden.

Bei Produktions-Umgebung bietet SolrCloud-Modus eine verbesserte Leistung im Standalone-Modus (ein einzelnes, lokales Solr-Setup).

Voraussetzungen

Laden Sie Apache Solr herunter und installieren Sie es:

• Version 4.10 oder Version 5

• Solr erfordert Java 1.7 oder höher

• Es ist kein Dienst erforderlich

• Auswahl der Ausführungsmodi:

  • Standalone-Modus
  • SolrCloud-Modus (empfohlen für Produktionsumgebungen)

• Auswahl der mehrsprachigen Suche (MLS)

  • Installieren von Standard MLS
  • Installieren von erweiterten MLS

SolrCloud-Modus

Für Umgebung in der Produktion wird SolrCloudmode empfohlen. Bei Ausführung im SolrCloud-Modus muss SolrCloud installiert und konfiguriert werden, bevor die mehrsprachige Suche (MLS) installiert werden kann.

Es wird empfohlen, die Installationsanweisungen der SolrCloud zu befolgen:

• 3 SolrCloud-Knoten auf demselben Server
• Ein externer Apache ZooKeeper

Es wird außerdem empfohlen, JVM zu konfigurieren, um die Speicherbelegung und die Garbage Collection einzustellen.

JVM-Konfigurationsbeispiel

JVM_OPTS="-server -Xmx2048m -XX:MaxPermSize=768M -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -Xloggc:../logs/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Djava.awt.headless=true"  

SolrCloud-Setup-Befehle

Bei Ausführung im SolrCloud-Modus ist vor der MLS-Installation die Verwendung und Kenntnis der folgenden SolrCloud-Setupbefehle erforderlich.

1. Hochladen einer Konfiguration zu ZooKeeper

Verweis:
https://cwiki.apache.org/confluence/display/solr/Command+Line+Utilities

Nutzung:
sh ./scripts/cloud-scripts/zkcli.sh \
-cmd upconfig \
-zkhost server:port \
-confname *myconfig-name *\
-solrhome solr-home-path \
-confdir config-dir

2. Erstellen einer Sammlung

Verweis:
https://cwiki.apache.org/confluence/display/solr/Solr+Start+Script+Reference#SolrStartScriptReference-Create

Nutzung:
./bin/solr erstellen \
-c mycollection-name\
-d config-dir \
-n myconfig-name \
-p port\
-s number-of-shards \
-rf number-of-replicas

3. Verknüpfen einer Sammlung mit einem Konfigurationssatz

Verknüpfen Sie eine Sammlung mit einer Konfiguration, die bereits zu ZooKeeper hochgeladen wurde.

Verweis:
https://cwiki.apache.org/confluence/display/solr/Command+Line+Utilities

Nutzung:
sh ./scripts/cloud-scripts/zkcli.sh \
-cmd linkconfig \
-zkhost server:port \
-collection mycollection-name \
-confname myconfig-name

Vergleich von Standard und Advanced MLS

Die mehrsprachige Suche (MLS) für AEM Communities wurde für die SOL-Plattform entwickelt, um eine verbesserte Suche in allen unterstützten Sprachen, einschließlich Englisch, zu ermöglichen.

MLS für AEM Communities ist als Standard MLS oder Advanced MLS verfügbar. Standard-MLS enthält nur Solr-Konfigurationseinstellungen und schließt alle Plug-Ins oder Ressourcendateien aus. Erweitertes MLS ist eine umfassendere Lösung und enthält SOAR-Konfigurationseinstellungen sowie Plugins und zugehörige Ressourcen

Standard MLS umfasst Verbesserungen bei der Inhaltssuche in den folgenden Sprachen:

• Englisch: verbesserter Stil für den Versuch, Wortfolgen zuzuordnen
• Japanisch: Verbesserte japanische Tokenisierung für Zeichen mit halber Breite

Erweitertes MLS umfasst Verbesserungen bei der Inhaltssuche in den folgenden Sprachen:

• Englisch: Stift durch lemmatizer ersetzt
• Deutsch: Hinzugefügter Dekompostier
• Französisch: Verarbeitung zusätzlicher Präzision
• Chinesisch (vereinfacht): hat einen intelligenteren Tokenizer hinzugefügt
• Verschiedene Sprachen: Es wurde ein Stier, eine Liste zum Stoppen des Wortes und ein Normalisierer hinzugefügt.

Die folgenden 33 Sprachen werden in Advanced MLS unterstützt.

Arabisch	Deutsch	norwegisch
Bulgarisch	Griechisch	Polnisch
Chinesisch (vereinfacht)	Haitianisches Kreol	Portugiesisch
Chinesisch (traditionell)	Hebräisch	Rumänisch
Tschechisch	Ungarisch	Russisch
Dänisch	Indonesisch	Slowakisch
Niederländisch	Italienisch	Slowenisch
Englisch	Japanisch	Spanisch
Estnisch	Koreanisch	Schwedisch
Finnisch	Lettisch	Thailändisch
Französisch	Litauisch	Türkisch

Vergleich AEM 6.1 Solr-Suche, Standard MLS und Advanced MLS

Hinweis: AEM 6.1 bezieht sich auf AEM 6.1 Communities FP3 und früher.

Installieren von Standard MLS

Für die SRP-Sammlung (entweder MSRP oder DSRP) muss zur Unterstützung der standardmäßigen mehrsprachigen Suche (MLS) zwei der Solr-Konfigurationsdateien geändert werden:

• Schema.xml
• solrconfig.xml

Standard-MLS-Dateien (Schema.xml, solrconfig.xml) für Solaris 4.10

Standard-MLS-Dateien (Schema.xml, solrconfig.xml) für Solaris 5

Die Standard-MLS-Dateien werden im AEM Repository gespeichert.

Hinweis: Die Solr-Dateien werden zwar im Ordner msrp/ gespeichert, aber auch für DSRP (keine Änderungen erforderlich).

Download-Anweisungen: ersetzen solrX durch solr4 oder solr5 gegebenenfalls

1. Verwenden von CRXDE|Lite, suchen Sie

   • /libs/social/config/datastore/msrp/solrX/Schema.xml
   • /libs/social/config/datastore/msrp/solrX/solrconfig.xml

2. Auf lokalen Server herunterladen, auf dem Solr bereitgestellt wird

   • Suchen Sie die Eigenschaft jcr:content des Knotens jcr:data
   • Wählen Sie view aus, um den Download Beginn
   • Sicherstellen, dass die Dateien mit den entsprechenden Namen und der entsprechenden Kodierung (UTF8) gespeichert werden

3. Befolgen Sie die Installationsanweisungen für den eigenständigen oder den SolrCloud-Modus

SolrCloud-Modus - Standard MLS

1. Installieren und Konfigurieren von Solr im SolrCloud-Modus

2. Vorbereitung einer neuen Konfiguration:

   1. Erstellen Sie new-config-dir wie solr-install-dir/myconfig/

   2. Kopieren Sie den Inhalt des vorhandenen SOLR-Konfigurationsordners nach new-config-dir

      • Für Solr4: copy solr-install-dir/example/solr/collection1/conf/*
      • Für Solr5: copy solr-install-dir/server/solr/configuring/data_Drigsets_Schema_configs/*

   3. Kopieren Sie die heruntergeladenen Dateien Schema.xml und solrconfig.xml in new-config-dir, um vorhandene Dateien zu überschreiben.

3. Laden Sie die neue Konfiguration in ZooKeeper hoch

4. Erstellen Sie eine Sammlung, die die erforderlichen Parameter wie die Anzahl der Shades, die Anzahl der Replikate und den Konfigurationsnamen angibt.

5. Wenn der Konfigurationsname während der Erstellung der Sammlung *nicht *angegeben war, verknüpfen Sie diese neu erstellte Sammlung mit der Konfiguration, die in ZooKeeper hochgeladen wurde

6. Führen Sie für MSRP MSRP Reindex Tool aus, es sei denn, es handelt sich um eine neue Installation

Eigenständiger Modus - Standard MLS

1. Installieren von Solr im eigenständigen Modus

2. Wenn Sie Solr5 ausführen, erstellen Sie eine Collection1 (ähnlich wie bei Solr4):

   • ./bin/solr Beginn
   • ./bin/solr create_core -c collection1 -d sample_techproducts_configs

3. Backup Schema.xml und solrconfig.xml im Solr-Konfigurationsverzeichnis, z. B.:

   • Für Solr4: solr-install-dir/example/solr/collection1/conf/
   • Für Solr5 erstellt: solr-install-dir/server/solr/collection1/conf/

4. Kopieren Sie die heruntergeladenen Dateien Schema.xml und solrconfig.xml in denselben Ordner

5. Solr neu starten

6. Führen Sie für MSRP MSRP Reindex Tool aus, es sei denn, es handelt sich um eine neue Installation

Installieren von erweitertem MLS

Damit die SRP-Sammlung (MSRP oder DSRP) erweiterte MLS unterstützen kann, sind zusätzlich zu einer benutzerdefinierten Schema- und Solr-Konfiguration neue Solr-Plug-Ins erforderlich. Alle erforderlichen Elemente werden in einer herunterladbaren ZIP-Datei zusammengefasst. Darüber hinaus wird ein Installationsskript zur Verwendung bereitgestellt, wenn Solr im eigenständigen Modus bereitgestellt wird.

Informationen zum Abrufen des erweiterten MLS-Pakets finden Sie unter AEM Erweitertes MLS im Abschnitt "Bereitstellen"der Dokumentation.

Erste Schritte mit der Installation für die SolrCloud oder den eigenständigen Modus:

• Laden Sie AEM-SOLR-MLS-ZIP-Archiv auf den Server herunter, auf dem Solr gehostet wird.
• Archiv entpacken

SolrCloud-Modus - Erweiterter MLS

Installationsanweisungen - Beachten Sie die folgenden Unterschiede für Solr4 und Solr5:

1. Installieren und Konfigurieren von Solr im SolrCloud-Modus

2. Extrahieren Sie den Inhalt des erweiterten MLS-Pakets auf die Festplatte. Der Inhalt sollte Folgendes umfassen:

   • Schema.xml
   • solrconfig.xml
   • stopwords/ folder
   • Profile/ Ordner
   • extra-libs/ folder

3. Vorbereitung einer neuen Konfiguration:

   1. new-config-dir erstellen

      • Beispiel: solr-install-dir/myconfig/
      • Erstellen von Unterordnern, Stoppwörter/ und lang/

   2. Kopieren Sie den Inhalt des vorhandenen Solr-Konfigurationsdir nach new-config-dir

      • Für Solr4: Kopieren Sie solr-install-dir/example/solr/collection1/conf/*
      • Für Solr5: Kopieren Sie solr-install-dir/server/solr/configuring/data_Drigsets_Schema_configs/*

   3. Kopieren Sie die extrahierten Dateien Schema.xml und solrconfig.xml in new-config-dir, um vorhandene Dateien zu überschreiben.

   4. Für Solr5: Kopieren Sie solr_install_dir/server/solr/configuring/sample_techproducts_configs/conf/lang/*.txt nach new-config-dir/lang/

   5. Kopieren Sie den extrahierten Ordner stopwords/ in new-config-dir, was zu new-config-dir/stopwords/*.txt führt.

4. Laden Sie die neue Konfiguration in ZooKeeper hoch

5. Kopieren Sie den neuen Ordner Profile/ …

   • Für Solr4: In den Ordner "resources/"der einzelnen Knoten kopieren
   • Für Solr5: Kopieren Sie in den Server-/Ressourcen-/Ordner der einzelnen Solr-Installationen. Wenn sich alle Knoten im selben Ordner befinden, wird dieser Schritt nur einmal ausgeführt.

6. Erstellen Sie einen Ordner lib/ im Ordner "solr-home"(enthält solr.xml) jedes Knotens in der SolrCloud. Kopieren Sie die JAR-Dateien von den folgenden Speicherorten in den neuen Ordner lib/ auf jedem Knoten:

   • extra-libs/ extrahiert aus dem erweiterten MLS-Paket
   • solr-install-dir/Contrib/Extraktion/lib/.jar
   • solr-install-dir/dist/solr-cell.jar
   • solr-install-dir/Contrib/clustering/lib/.jar
   • solr-install-dir/dist/solr-clustering.jar
   • solr-install-dir/Contrib/langid/lib/.jar
   • solr-install-dir/dist/solr-langid.jar
   • solr-install-dir/Contrib/Velocity/lib/.jar
   • solr-install-dir/dist/solr-speed.jar
   • solr-install-dir/Contrib/Analyse-extras/lib/.jar
   • solr-install-dir/Contrib/Analyse-extras/lucene-libs/.jar

7. Erstellen Sie eine Sammlung, die die erforderlichen Parameter wie die Anzahl der Shades, die Anzahl der Replikate und den Konfigurationsnamen angibt.

8. Wenn der Konfigurationsname bei der Erstellung der Sammlung nicht angegeben war, verknüpfen Sie diese neu erstellte Sammlung mit der Konfiguration, die in ZooKeeper hochgeladen wurde

9. Führen Sie für MSRP MSRP Reindex Tool aus, es sei denn, es handelt sich um eine neue Installation

Eigenständiger Modus - Erweitertes MLS

Im erweiterten MLS-Paket ist ein Installationsskript enthalten.

Nachdem der Inhalt des Pakets auf den Server, der den eigenständigen Solr-Server hostet, extrahiert wurde, führen Sie einfach das Installationsskript aus, um die erforderlichen Ressourcen und Konfigurationsdateien zu installieren.

• Installieren von Solr im eigenständigen Modus

• Wenn Sie Solr5 ausführen, erstellen Sie eine Collection1 (ähnlich wie bei Solr4):

  • ./bin/solr Beginn
  • ./bin/solr create_core -c collection1 -d sample_techproducts_configs

• Führen Sie das Installationsskript aus: [-v 4|5] [-d solrhome] [-c sammlungspfad]
  wobei:

  • -d solrhome

    Solr-Installationsordner

  • -c sammlungspath

    Sammlungspfad in Solo

  • –help

    Optionen für Druckbefehle

  • -v [4|5]

    Version für Solo festlegen

• Beispiel für Solr 4.10.4:

  • Install.bat -v 4 -d c:/solr-4.10.4 -c:/solr-4.10.4/example/solr/collection1

• Beispiel für Solr 5.4.0:

  • Install.sh -v 5 -d /tmp/solr-5.4.0 -c /tmp/solr-5.4.0/server/solr/collection1

Hinweis:

• Das Installationsskript sichert "Schema.xml"und "solrconfig.xml", bevor neue Versionen durch Anhängen von ".orig"installiert werden

Über solrconfig.xml

Die Datei solrconfig.xml steuert das Intervall für die automatische Übertragung und die Sichtbarkeit der Suche und erfordert Tests und Anpassungen.

<autocommit>: Standardmäßig ist das AutoCommit-Intervall, das eine feste Bindung zur stabilen Datenspeicherung ist, auf 15 Sekunden eingestellt. Bei der Sichtbarkeit der Suche wird standardmäßig der Index vor der Übertragung verwendet.

Um die Suche so zu ändern, dass ein Index verwendet wird, der auf Änderungen aufgrund der Übertragung aktualisiert wird, ändern Sie den enthaltenen <openSearcher> in true.

<autosoftcommit>: Ein 'Soft'-Commit stellt sicher, dass Änderungen sichtbar sind (der Index wird aktualisiert), stellt jedoch nicht sicher, dass Änderungen mit einer stabilen Datenspeicherung synchronisiert werden (harte Übertragung). Das Ergebnis ist eine Leistungsverbesserung. Standardmäßig ist <autoSoftCommit> deaktiviert, wobei die enthaltene <maxTime> auf -1 eingestellt ist.