設定Web編目程式的最佳做法
This article provides best practices for using robots.txt
and sitemap.xml
files in Adobe Commerce, including configuration and security. These files instruct web crawlers (typically search engine robots) how to crawl pages on a website. Configuring these files can improve site performance and search engine optimization.
受影響的產品和版本
- 雲端基礎結構上的Adobe Commerce
- Adobe Commerce內部部署
雲端基礎結構上的Adobe Commerce
預設Adobe Commerce專案包含階層,其中包含單一網站、商店和商店檢視。 對於更複雜的實作,您可以為 多網站 店面建立其他網站、商店和商店檢視。
Single-site storefronts
Follow these best practices when configuring the robots.txt
and sitemap.xml
files for single-site storefronts:
-
Make sure that your project is using
ece-tools
version 2002.0.12 or later. -
Use the Admin application to add content to the
robots.txt
file.note tip TIP 在 <domain.your.project>/robots.txt
檢視您商店的自動產生robots.txt
檔案。 -
使用Admin應用程式產生
sitemap.xml
檔案。note important IMPORTANT 由於Adobe Commerce在雲端基礎結構專案上的檔案系統為唯讀,您必須在產生檔案之前指定 pub/media
路徑。 -
使用自訂Fastly VCL程式碼片段,將兩個檔案從網站的根重新導向至
pub/media/
位置:code language-vcl { "name": "sitemaprobots_rewrite", "dynamic": "0", "type": "recv", "priority": "90", "content": "if ( req.url.path ~ \"^/?sitemap.xml$\" ) { set req.url = \"pub/media/sitemap.xml\"; } else if (req.url.path ~ \"^/?robots.txt$\") { set req.url = \"pub/media/robots.txt\";}" }
-
在網頁瀏覽器中檢視檔案,以測試重新導向。 例如,
<domain.your.project>/robots.txt
和<domain.your.project>/sitemap.xml
。 請確定您使用的是設定重新導向的根路徑,而不是不同的路徑。
Multi-site storefronts
您可以在雲端基礎結構上透過單一實施Adobe Commerce來設定和執行數個存放區。 請參閱設定多個網站或商店。
The same best practices for configuring the robots.txt
and sitemap.xml
files for single-site storefronts applies to multi-site storefronts with two important differences:
-
請確定
robots.txt
和sitemap.xml
檔案名稱包含對應網站的名稱。 例如:domaineone_robots.txt
domaintwo_robots.txt
domainone_sitemap.xml
domaintwo_sitemap.xml
-
使用稍作修改的自訂Fastly VCL程式碼片段,將兩個檔案從網站的根重新導向至
pub/media
位置:code language-vcl { "name": "sitemaprobots_rewrite", "dynamic": "0", "type": "recv", "priority": "90", "content": "if ( req.url.path == \"/robots.txt\" ) { if ( req.http.host ~ \"(domainone|domaintwo).com$\" ) { set req.url = \"pub/media/\" re.group.1 \"_robots.txt\"; }} else if ( req.url.path == \"/sitemap.xml\" ) { if ( req.http.host ~ \"(domainone|domaintwo).com$\" ) { set req.url = \"pub/media/\" re.group.1 \"_sitemap.xml\"; }}" }
Adobe Commerce內部部署
使用管理應用程式來設定robots.txt
和sitemap.xml
檔案,以防止機器人掃描和索引不必要的內容(請參閱搜尋引擎機器人)。
/path/to/commerce/pub/media/
或/path/to/commerce/media
(選擇適合您安裝的專案)。安全性
Do not expose your Admin path in your robots.txt
file. Having the Admin path exposed is a vulnerability for site hacking and potential loss of data. Remove the Admin path from the robots.txt
file.
For steps to edit the robots.txt
file and remove all entries of the Admin path, see Marketing User Guide > SEO and Search > Search Engine Robots.