Robots voor site-toewijzing en zoekprogramma's toevoegen

Een poging om het sitemap.xml -bestand te genereren en naar de hoofdmap te schrijven, resulteert in de volgende fout:

Please make sure that "/" is writable by the web-server.

Met Adobe Commerce op cloudinfrastructuur kunt u alleen naar specifieke mappen schrijven, zoals var , pub/media , pub/static of app/etc . Wanneer u het sitemap.xml -bestand genereert met het deelvenster Beheer, moet u het /media/ -pad opgeven.

U hoeft geen robots.txt -bestand te genereren omdat robots.txt -inhoud op aanvraag wordt gegenereerd en in de database wordt opgeslagen. U kunt de inhoud in uw browser weergeven met de koppeling <domain.your.project>/robots.txt of <domain.your.project>/robots .

Hiervoor is ECE-Tools versie 2002.0.12 en hoger vereist met een bijgewerkt .magento.app.yaml -bestand. Zie een voorbeeld van deze regels in de magento-wolkenbewaarplaats.

om een sitemap.xml dossier in versie 2.2 en later te produceren:

om inhoud aan het robots.txt dossier toe te voegen:

Herschrijven met VCL-fragment snel

Als u verschillende domeinen hebt en u afzonderlijke site-overzichten nodig hebt, kunt u een VCL maken om naar de juiste sitemap te leiden. Genereer het bestand sitemap.xml in het deelvenster Beheer zoals hierboven beschreven en maak vervolgens een aangepast, snel VCL-fragment om het omleiden te beheren. Zie {de fragmenten van 0} Snelle VCL van de Douane {🔗.

Een VCL-fragment snel gebruiken voor omleiding

Maak een aangepast VCL-fragment om het pad voor sitemap.xml naar /media/sitemap.xml te herschrijven met de paren type en content key-value.

{
  "name": "sitemapxml_rewrite",
  "dynamic": "0",
  "type": "recv",
  "priority": "90",
  "content": "if ( req.url.path ~ \"^/?sitemap.xml$\" ) { set req.url = \"/media/sitemap.xml\"; }"
}

In het volgende voorbeeld wordt getoond hoe u het pad voor robots.txt en sitemap.xml to /media/robots.txt en /media/sitemap.xml herschrijft

{
  "name": "sitemaprobots_rewrite",
  "dynamic": "0",
  "type": "recv",
  "priority": "90",
  "content": "if ( req.url.path ~ \"^/?sitemap.xml$\" ) { set req.url = \"/media/sitemap.xml\"; } else if (req.url.path ~ \"^/?robots.txt$\") { set req.url = \"/media/robots.txt\";}"
}

om een VCL fragment van het type Fastly te gebruiken voor bepaald domein opnieuw richt:

Maak een pub/media/domain_robots.txt -bestand, waarbij het domein domain.com is, en gebruik het volgende VCL-fragment:

{
  "name": "domain_robots",
  "dynamic": "0",
  "type": "recv",
  "priority": "90",
  "content": "if ( req.url.path == \"/robots.txt\" ) { if ( req.http.host ~ \"(domain).com$\" ) { set req.url = \"/media/\" re.group.1 \"_robots.txt\"; }}"
}

Het VCL-fragment routeert http://domain.com/robots.txt en geeft het pub/media/domain_robots.txt -bestand weer.

Als u een omleiding voor robots.txt en sitemap.xml in één fragment wilt configureren, maakt u pub/media/domain_robots.txt - en pub/media/domain_sitemap.xml -bestanden, waarbij het domein domain.com is, en gebruikt u het volgende VCL-fragment:

{
  "name": "domain_sitemaprobots",
  "dynamic": "0",
  "type": "recv",
  "priority": "90",
  "content": "if ( req.url.path == \"/robots.txt\" ) { if ( req.http.host ~ \"(domain).com$\" ) { set req.url = \"/media/\" re.group.1 \"_robots.txt\"; }} else if ( req.url.path == \"/sitemap.xml\" ) { if ( req.http.host ~ \"(domain).com$\" ) {  set req.url = \"/media/\" re.group.1 \"_sitemap.xml\"; }}"
}

In de sitemap admin config, moet u de plaats van het dossier specificeren gebruikend pub/media/ eerder dan /.

Indexeren via zoekprogramma configureren

Om robots.txt aanpassingen te activeren, moet u Indexeren door onderzoeksmotoren toelaten voor<environment-name> optie in uw projectmontages is.

te beheren