本文的主題是在AEM 6中設定索引。 有關優化查詢和索引效能的最佳實踐,請參見查詢和索引的最佳實踐。
與Jackrabbit 2不同,Oak預設不會為內容建立索引。 自訂索引需要在需要時建立,就像使用傳統的關聯式資料庫。 如果沒有特定查詢的索引,則可能會遍歷許多節點。 查詢可能仍然有效,但可能非常慢。
如果Oak遇到沒有索引的查詢,則會列印WARN級別的記錄訊息:
*WARN* Traversed 1000 nodes with filter Filter(query=select ...) consider creating an index or changing the query
Oak查詢引擎支援下列語言:
基於Apache Oak的後端允許將不同的索引器插入儲存庫。
一個索引器是屬性索引,其索引定義儲存在儲存庫本身中。
預設情況下,Apache Lucene和Solr的實現也可用,這兩種實現都支援全文索引。
如果沒有其他索引器可用,則使用遍歷索引。 這表示未對內容建立索引,並且會遍歷內容節點以查找與查詢的匹配項。
如果一個查詢有多個索引器,則每個可用索引器估計執行查詢的成本。 然後,Oak以最低的估計成本選擇索引器。
上圖是Apache Oak查詢執行機制的高級表示。
首先,將查詢解析為抽象語法樹。 然後,將查詢檢查並轉換為SQL-2,SQL-2是Oak查詢的原生語言。
接著,參考每個索引來估計查詢的成本。 一旦完成,就會擷取最便宜的指數結果。 最後,篩選結果,以確保當前用戶具有對結果的讀取訪問權,並確保結果與完整查詢匹配。
如果在非常大的儲存庫中需要重新編製索引,特別是在使用MongoDB和對全文索引時,請考慮文本預抽取,並使用oak-run構建初始索引和重新編製索引。
索引在oak:index節點下配置為儲存庫中的節點。
索引節點的類型必須為oak:QueryIndexDefinition。 對於每個索引器,有幾個配置選項作為節點屬性。如需詳細資訊,請參閱下方每個索引器類型的設定詳細資訊。
屬性索引通常適用於具有屬性約束但非全文的查詢。 它可依下列程式進行設定:
轉至http://localhost:4502/crx/de/index.jsp
以開啟CRXDE
在oak:index下建立新節點
將節點命名為PropertyIndex,並將節點類型設定為oak:QueryIndexDefinition
為新節點設定以下屬性:
property
(類型為字串)jcr:uuid
(of type Name)此特定示例將為jcr:uuid
屬性編製索引,其作業是公開其所連接節點的通用唯一標識符(UUID)。
儲存變更。
屬性索引具有以下配置選項:
type屬性將指定索引類型,在此例中,必須將其設為property
propertyNames屬性指示將儲存在索引中的屬性清單。 如果缺少,則節點名稱將用作屬性名稱引用值。 在此示例中,jcr:uuid屬性將添加到索引中,其作業是公開其節點的唯一標識符(UUID)。
如果設定為true,則unique標籤會在屬性索引上添加唯一性約束。
arclibingNodeTypes屬性允許您指定索引將僅應用於的特定節點類型。
如果設為true,則reindex標幟將觸發完整內容重新索引。
Ordered索引是屬性索引的擴展。 不過,它已過時。 此類型的索引需要替換為Lucene屬性索引。
AEM 6中提供以Apache Lucene為基礎的全文索引器。
如果配置了全文索引,則所有具有全文條件的查詢都使用全文索引,無論是否有其他條件已編製索引,也無論是否存在路徑限制。
如果未配置全文索引,則具有全文條件的查詢將無法如預期般運作。
由於索引是透過不同步的背景執行緒來更新,因此在一小段時間內,部分全文搜尋將無法使用,直到背景處理完成為止。
您可以按照以下過程配置Lucene全文索引:
開啟CRXDE並在oak:index下建立新節點。
將節點命名為LuceneIndex,並將節點類型設定為oak:QueryIndexDefinition
將以下屬性添加到節點:
lucene
(類型為字串)async
(字串類型)儲存變更。
Lucene Index具有以下配置選項:
由於Oak 1.0.8,因此Lucene可用來建立包含非全文的屬性約束的索引。
為了實現Lucene屬性索引,fulltextEnabled屬性必須始終設定為false。
以下列查詢為例:
select * from [nt:base] where [alias] = '/admin'
為了為上述查詢定義Lucene屬性索引,可通過在oak:index:下建立新節點來添加以下定義
LucenePropertyIndex
oak:QueryIndexDefinition
建立節點後,添加以下屬性:
類型:
lucene (of type String)
非同步處理:
async (of type String)
fulltextEnabled:
false (of type Boolean)
includePropertyNames: [alias]
(類型為字串)
與常規屬性索引相比,Lucene屬性索引始終以非同步模式配置。 因此,索引返回的結果不一定總是反映儲存庫的最新狀態。
有關Lucene屬性索引的更多特定資訊,請參閱Apache Jackrabbit Oak Lucene檔案頁面。
自1.2.0版起,Oak支援Lucene分析器。
分析器在建立檔案索引時和在查詢時都使用。 分析器會檢查欄位文字並產生代號串流。 Lucene分析器由一系列的Tokenizer和過濾器類組成。
分析器可通過oak:index
定義內的analyzers
節點(類型nt:unstructured
)進行配置。
索引的預設分析器配置在分析器節點的default
子項中。
如需可用分析器的清單,請參閱您所使用之Lucene版本的API檔案。
如果希望使用任何現成可用的分析器,可以按照以下過程進行配置:
在oak:index
節點下找到要使用Analyzer的索引。
在索引下,建立名為default
的子節點,該子節點類型為nt:unstructured
。
使用以下屬性將屬性添加到預設節點:
class
String
org.apache.lucene.analysis.standard.StandardAnalyzer
該值是您要使用的分析器類的名稱。
您也可以使用可選的luceneMatchVersion
字串屬性,將分析器與特定lucene版本一起使用。 與Lucene 4.7搭配使用的有效合成產品為:
luceneMatchVersion
String
LUCENE_47
如果未提供luceneMatchVersion
,Oak將使用隨附的Lucene版本。
如果要向Analyzer配置中添加stopwords檔案,可以在default
配置下建立一個具有以下屬性的新節點:
stopwords
nt:file
分析器也可以基於Tokenizers
、TokenFilters
和CharFilters
來構成。 通過指定分析器並建立其可選令牌和篩選器的子節點(按清單順序應用),可以執行此操作。 另請參閱https://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters#Specifying_an_Analyzer_in_the_schema
以此節點結構為例:
名稱: analyzers
名稱: default
名稱: charFilters
類型: nt:unstructured
HTMLStrip
Mapping
名稱: tokenizer
屬性名稱: name
String
Standard
名稱: filters
類型: nt:unstructured
名稱: LowerCase
名稱: Stop
屬性名稱: words
String
stop1.txt, stop2.txt
名稱: stop1.txt
nt:file
名稱: stop2.txt
nt:file
篩選器、charFilters和Tokenizers的名稱是透過移除工廠字尾來形成的。 因此:
org.apache.lucene.analysis.standard.StandardTokenizerFactory
becomes standard
org.apache.lucene.analysis.charfilter.MappingCharFilterFactory
becomes Mapping
org.apache.lucene.analysis.core.StopFilterFactory
becomes Stop
工廠所需的任何配置參數都指定為相關節點的屬性。
例如,如果需要載入來自外部檔案的內容的停止字詞,則可為相關檔案建立nt:file
類型的子節點來提供內容。
Solr索引的目的主要是全文搜索,但也可以用於按路徑、屬性限制和主要類型限制進行索引搜索。 這表示Oak中的Solr索引可用於任何類型的JCR查詢。
AEM中的整合會在儲存庫層級進行,因此Solr是可能的索引之一,可用於AEM隨附的新儲存庫實作Oak。
它可設定為使用AEM例項的內嵌伺服器,或當做遠端伺服器。
請勿在生產環境中使用內嵌的Solr伺服器。 它只應用於開發環境。
AEM可與內嵌的Solr伺服器搭配使用,可透過Web Console進行設定。 在此情況下,Solr伺服器會在與其內嵌至的AEM例項相同的JVM中執行。
通過以下方式,可以配置嵌入式Solr伺服器:
前往https://serveraddress:4502/system/console/configMgr
的Web控制台
搜索「Oak Solr伺服器提供商」。
按下編輯按鈕,然後在下列視窗中,將下拉式清單中的伺服器類型設定為內嵌Solr。
接著,編輯「Oak Solr嵌入式伺服器配置」並建立配置。 有關配置選項的詳細資訊,請訪問Apache Solr網站。
Solr首頁目錄(solr.home.path)組態會在AEM安裝資料夾中尋找名稱相同的資料夾。
開啟CRXDE並以管理員身分登入。
在oak:index下新增sollndex類型oak:QueryIndexDefinition的節點,其屬性如下:
solr
(類型為字串)async
(字串類型)true
(of type boolean)儲存變更。
AEM也可設定為與遠端Solr伺服器例項搭配使用:
下載並摘取最新版Solr。 有關如何執行此操作的詳細資訊,請參閱Apache Solr安裝文檔。
現在,建立兩個索爾碎片。 通過為Solr已備份的資料夾中的每個分片建立資料夾,可以執行此操作:
<solrunpackdirectory>\aemsolr1\node1
<solrunpackdirectory>\aemsolr2\node2
在Solr包中找到示例實例。 它通常位於軟體包根目錄中名為" example
"的資料夾中。
將以下資料夾從示例實例複製到兩個共用資料夾(aemsolr1\node1
和aemsolr2\node2
):
contexts
etc
lib
resources
scripts
solr-webapp
webapps
start.jar
在兩個分片資料夾中,分別建立一個名為" cfg
"的新資料夾。
將Solr和Zookeeper配置檔案放在新建立的cfg
資料夾中。
有關Solr和ZooKeeper配置的詳細資訊,請參閱Solr配置文檔和ZooKeeper入門指南。
前往aemsolr1\node1
並執行下列命令,即可啟動第一個具有ZooKeeper支援的分區:
java -Xmx2g -Dbootstrap_confdir=./cfg/oak/conf -Dcollection.configName=myconf -DzkRun -DnumShards=2 -jar start.jar
前往aemsolr2\node2
並執行下列命令,以啟動第二個分片:
java -Xmx2g -Djetty.port=7574 -DzkHost=localhost:9983 -jar start.jar
啟動兩個分片後,通過連接到http://localhost:8983/solr/#/
的Solr介面來測試所有分片都已啟動並運行
啟動AEM並前往位於http://localhost:4502/system/console/configMgr
的「Web Console」(網頁主控台)
在Oak Solr遠程伺服器配置下設定以下配置:
http://localhost:8983/solr/
在Oak Solr伺服器供應商下方的下拉式清單中,選擇遠端Solr。
前往CRXDE,以管理員身分登入。
在oak:index下建立名為solrIndex的新節點,並設定以下屬性:
儲存變更。
下面是基本配置的示例,可用於本文中描述的所有三種Solr部署。 它包含AEM中已存在且不應與其他應用程式搭配使用的專屬屬性索引。
為了正確使用它,您需要將存檔的內容直接放在Solr Home Directory中。 如果是多節點部署,則應直接位於每個節點的根資料夾下。
建議的Solr配置檔案
AEM 6.1也整合了AEM 6.0中提供的兩種索引工具,做為Adobe Consulting Services Commons工具集的一部分:
您現在可以從「AEM歡迎畫面」前往「工具——作業——儀表板——診斷」,以取得他們。
有關如何使用它們的詳細資訊,請參閱操作儀表板文檔。
ACS Commons軟體包還公開了可用於建立屬性索引的OSGi配置。
您可以從Web主控台中搜尋「Ensure Oak Property Index」來存取它。
出現查詢執行時間較長,且一般系統響應時間較慢的情況。
本節就需要採取哪些行動來追蹤這些問題的原因提出一組建議,並就如何解決這些問題提出建議。
要獲取正在執行的查詢所需資訊,最簡單的方法是通過解釋查詢工具。 這可讓您收集需要的精確資訊,以除錯慢速查詢,而不需查詢記錄檔層級資訊。 如果您知道要除錯的查詢,這是可取的。
如果由於任何原因無法做到這一點,您可以在單一檔案中收集索引記錄檔,並使用它來疑難排解您的特定問題。
若要啟用記錄功能,您必須針對與Oak索引和查詢相關的類別啟用DEBUG層級記錄檔。 這些類別包括:
com.day.cq.search類別僅適用於您使用AEM提供的QueryBuilder公用程式。
請務必在執行您要疑難排解的查詢期間,將記錄檔設為DEBUG,否則日誌中會隨著時間產生大量事件。 因此,在收集到所需記錄檔後,會切換回上述類別的INFO層級記錄檔。
您可以按照以下過程啟用記錄:
將瀏覽器指向https://serveraddress:port/system/console/slinglog
按一下控制台下部的Add new Logger按鈕。
在新建立的行中,添加上述類別。 您可以使用+符號,將多個類別新增至單一記錄器。
從日誌級別下拉清單中選擇DEBUG。
將輸出檔案設定為logs/queryDebug.log
。 這會將所有DEBUG事件關聯至單一記錄檔。
執行查詢或演算使用您要除錯之查詢的頁面。
執行查詢後,返回日誌控制台,並將新建立的日誌程式的日誌級別更改為INFO。
查詢的評估方式在很大程度上受索引配置的影響。 為了分析或發送給支援,必須獲取索引配置。 您可以以內容套件的形式取得設定,或取得JSON轉譯。
由於在大多數情況下,索引設定會儲存在CRXDE的/oak:index
節點下,因此您可以在以下網址取得JSON版本:
https://serveraddress:port/oak:index.tidy.-1.json
如果索引配置在不同的位置,請相應地更改路徑。
在某些情況下,提供索引相關MBean的輸出有助於調試。 您可以透過下列方式執行此動作:
前往JMX主控台,網址為:
https://serveraddress:port/system/console/jmx
搜尋下列MBean:
按一下每個MBean以獲取效能統計資訊。 建立螢幕擷取或記下畫面,以備需要提交支援時使用。
您也可以在下列URL取得這些統計資料的JSON變體:
https://serveraddress:port/system/sling/monitoring/mbeans/org/apache/jackrabbit/oak/%2522LuceneIndex%2522.tidy.-1.json
https://serveraddress:port/system/sling/monitoring/mbeans/org/apache/jackrabbit/oak/%2522LuceneIndex%2522.tidy.-1.json
https://serveraddress:port/system/sling/monitoring/mbeans/org/apache/jackrabbit/oak/%2522LuceneIndex%2522.tidy.-1.json
https://serveraddress:port/system/sling/monitoring/mbeans/org/apache/jackrabbit/oak/%2522LuceneIndex%2522.tidy.-1.json
您也可以透過https://serveraddress:port/system/sling/monitoring/mbeans/org/apache/jackrabbit/oak.tidy.3.json
提供整合的JMX輸出。 這將包含所有JSON格式的Oak相關MBean詳細資訊。
您可以收集其他詳細資訊以協助疑難排解問題,例如:
org.apache.jackrabbit.oak-core
套件的版本,以瞭解此點。https://serveraddress:port/libs/cq/search/content/querydebug.html