Web web クローラーの設定に関するベストプラクティス

最終更新日： 2026年8月20日

トピック：
Best Practices

作成対象：

Experienced
Developer

この記事では、Adobe Commerceでrobots.txtおよびsitemap.xml ファイルを使用するためのベストプラクティス（設定とセキュリティを含む）について説明します。これらのファイルは、web web クローラー（通常は検索エンジンロボット）がweb サイト上のページをクロールする方法を指示します。これらのファイルを設定することで、サイトパフォーマンスと検索エンジンの最適化を向上させることができます。

NOTE

これらのベストプラクティスは、ネイティブのAdobe Commerce ストアフロントのみを使用するプロジェクトに適用されます。他のストアフロントソリューション（Adobe Experience Manager、ヘッドレスなど）を使用するAdobe Commerce プロジェクトには適用されません。

影響を受ける製品とバージョン

サポートされているすべてのバージョン /:

Adobe Commerce on cloud infrastructure
Adobe Commerce オンプレミス

Adobe Commerce on cloud infrastructure

デフォルトのAdobe Commerce プロジェクトには、単一のweb サイト、ストア、ストアビューを含む階層が含まれています。より複雑な実装を行う場合は、マルチサイトのストアフロント用に、追加のweb サイト、ストア、ストアビューを作成できます。

シングルサイトストアフロント

シングルサイトストアフロント用にrobots.txtおよびsitemap.xml ファイルを設定する場合は、次のベストプラクティスに従ってください。

プロジェクトがece-tools バージョン 2002.0.12以降を使用していることを確認してください。

Admin アプリケーションを使用して、robots.txt ファイルにコンテンツを追加します。

note tip
TIP
ストアの自動生成された`robots.txt` ファイルを`<domain.your.project>/robots.txt`で表示します。

Admin アプリケーションを使用して、sitemap.xml ファイルを生成します。

note important
IMPORTANT
Adobe Commerce クラウドインフラストラクチャプロジェクト上の読み取り専用ファイルシステムのため、ファイルを生成する前に`pub/media` パスを指定する必要があります。

カスタム Fastly VCL スニペットを使用して、サイトのルートから両方のファイルのpub/media/の場所にリダイレクトします。

code language-vcl

{
  "name": "sitemaprobots_rewrite",
  "dynamic": "0",
  "type": "recv",
  "priority": "90",
  "content": "if ( req.url.path ~ \"^/?sitemap.xml$\" ) { set req.url = \"pub/media/sitemap.xml\"; } else if (req.url.path ~ \"^/?robots.txt$\") { set req.url = \"pub/media/robots.txt\";}"
}

Web ブラウザーでファイルを表示して、リダイレクトをテストします。例：<domain.your.project>/robots.txtと<domain.your.project>/sitemap.xml リダイレクトを設定したルートパスを使用しており、別のパスを使用していないことを確認してください。

INFO

詳しい手順については、サイトマップと検索エンジンロボットの追加を参照してください。

マルチサイトのストアフロント

Adobe Commerce on cloud infrastructureを1回実装して、複数のストアを設定および実行できます。「複数のweb サイトまたはストアを設定する」を参照してください。

シングルサイトストアフロントのrobots.txtおよびsitemap.xml ファイルを設定する場合と同じベストプラクティスが、2つの重要な違いを伴うマルチサイトストアフロントに適用されます。

robots.txtおよびsitemap.xml ファイル名に、対応するサイトの名前が含まれていることを確認してください。例：
- domaineone_robots.txt
- domaintwo_robots.txt
- domainone_sitemap.xml
- domaintwo_sitemap.xml

少し変更されたカスタム Fastly VCL スニペットを使用して、サイトのルートから、サイト全体の両方のファイルのpub/mediaの場所にリダイレクトします。

code language-vcl

{
  "name": "sitemaprobots_rewrite",
  "dynamic": "0",
  "type": "recv",
  "priority": "90",
  "content": "if ( req.url.path == \"/robots.txt\" ) { if ( req.http.host ~ \"(domainone|domaintwo).com$\" ) { set req.url = \"pub/media/\" re.group.1 \"_robots.txt\"; }} else if ( req.url.path == \"/sitemap.xml\" ) { if ( req.http.host ~ \"(domainone|domaintwo).com$\" ) {  set req.url = \"pub/media/\" re.group.1 \"_sitemap.xml\"; }}"
}

Adobe Commerce オンプレミス

管理者アプリケーションを使用して、robots.txtおよびsitemap.xml ファイルを設定し、ボットが不要なコンテンツをスキャンおよびインデックス作成しないようにします（検索エンジンロボットを参照）。

TIP

オンプレミスのデプロイメントの場合、ファイルの書き込み場所は、Adobe Commerceのインストール方法によって異なります。インストールに適した/path/to/commerce/pub/media/または/path/to/commerce/mediaのいずれかにファイルを書き込みます。

セキュリティ

robots.txt ファイル内の管理者パスを公開しないでください。管理パスを公開すると、サイトハッキングの脆弱性やデータの損失の可能性があります。 robots.txt ファイルから管理者パスを削除します。

robots.txt ファイルを編集し、管理パスのすべてのエントリを削除する手順については、マーケティングユーザーガイド > SEOおよび検索>検索エンジンロボットを参照してください。

TIP

サポートが必要な場合は、Adobe Commerce サポートチケットを送信してください。

追加情報

recommendation-more-help

commerce-operations-help-implementation-playbook