Robots voor site-toewijzing en zoekprogramma's toevoegen
Een poging om het sitemap.xml -bestand te genereren en naar de hoofdmap te schrijven, resulteert in de volgende fout:
Please make sure that "/" is writable by the web-server.
Met Adobe Commerce op cloudinfrastructuur kunt u alleen naar specifieke mappen schrijven, zoals var , pub/media , pub/static of app/etc . Wanneer u het sitemap.xml -bestand genereert met het deelvenster Beheer, moet u het /media/ -pad opgeven.
U hoeft geen robots.txt -bestand te genereren omdat robots.txt -inhoud op aanvraag wordt gegenereerd en in de database wordt opgeslagen. U kunt de inhoud in uw browser weergeven met de koppeling <domain.your.project>/robots.txt of <domain.your.project>/robots .
Hiervoor is ECE-Tools versie 2002.0.12 en hoger vereist met een bijgewerkt .magento.app.yaml -bestand. Zie een voorbeeld van deze regels in de magento-wolkenbewaarplaats .
om een sitemap.xml dossier in versie 2.2 en later te produceren:
-
Open de beheerder.
-
Op het Op de markt brengen menu, klik Kaart van de Plaats in de SEO & sectie van het Onderzoek.
-
In de mening van de Kaart van de Plaats, klik Sitemap toevoegen.
-
In de Nieuwe mening van de Kaart van de Plaats, ga de volgende waarden in:
- filename:
sitemap.xml - Weg:
/media/
- filename:
-
Klik sparen & produceer. De nieuwe plaatstoewijzing wordt beschikbaar in het Net van de Kaart van de Plaats.
-
Klik de weg in de Verbinding voor de kolom van Google.
om inhoud aan het robots.txt dossier toe te voegen:
- Open de beheerder.
- Voor het menu van de Inhoud, klik Configuratie in de sectie van het Ontwerp.
- In de mening van de Configuratie van het Ontwerp, geeft de klik voor de website in de kolom van de Actie uit.
- In de Belangrijkste mening van de Website, klik Robots van de Motor van het Onderzoek.
- Werk uit geeft douaneinstructie van robots.txt gebied uit.
- Klik sparen Configuratie.
- Controleer het bestand
<domain.your.project>/robots.txtof de URL<domain.your.project>/robotsin uw browser.
<domain.your.project>/robots.txt dossier a 404 error produceert, legt een kaartje van de Steun van Adobe Commerce voor om het omleiden van /robots.txt aan /media/robots.txt te verwijderen.Herschrijven met VCL-fragment snel
Als u verschillende domeinen hebt en u afzonderlijke site-overzichten nodig hebt, kunt u een VCL maken om naar de juiste sitemap te leiden. Genereer het bestand sitemap.xml in het deelvenster Beheer zoals hierboven beschreven en maak vervolgens een aangepast, snel VCL-fragment om het omleiden te beheren. Zie {de fragmenten van 0} Snelle VCL van de Douane {🔗.
Een VCL-fragment snel gebruiken voor omleiding
Maak een aangepast VCL-fragment om het pad voor sitemap.xml naar /media/sitemap.xml te herschrijven met de paren type en content key-value.
{
"name": "sitemapxml_rewrite",
"dynamic": "0",
"type": "recv",
"priority": "90",
"content": "if ( req.url.path ~ \"^/?sitemap.xml$\" ) { set req.url = \"/media/sitemap.xml\"; }"
}
In het volgende voorbeeld wordt getoond hoe u het pad voor robots.txt en sitemap.xml to /media/robots.txt en /media/sitemap.xml herschrijft
{
"name": "sitemaprobots_rewrite",
"dynamic": "0",
"type": "recv",
"priority": "90",
"content": "if ( req.url.path ~ \"^/?sitemap.xml$\" ) { set req.url = \"/media/sitemap.xml\"; } else if (req.url.path ~ \"^/?robots.txt$\") { set req.url = \"/media/robots.txt\";}"
}
om een VCL fragment van het type Fastly te gebruiken voor bepaald domein opnieuw richt:
Maak een pub/media/domain_robots.txt -bestand, waarbij het domein domain.com is, en gebruik het volgende VCL-fragment:
{
"name": "domain_robots",
"dynamic": "0",
"type": "recv",
"priority": "90",
"content": "if ( req.url.path == \"/robots.txt\" ) { if ( req.http.host ~ \"(domain).com$\" ) { set req.url = \"/media/\" re.group.1 \"_robots.txt\"; }}"
}
Het VCL-fragment routeert http://domain.com/robots.txt en geeft het pub/media/domain_robots.txt -bestand weer.
Als u een omleiding voor robots.txt en sitemap.xml in één fragment wilt configureren, maakt u pub/media/domain_robots.txt - en pub/media/domain_sitemap.xml -bestanden, waarbij het domein domain.com is, en gebruikt u het volgende VCL-fragment:
{
"name": "domain_sitemaprobots",
"dynamic": "0",
"type": "recv",
"priority": "90",
"content": "if ( req.url.path == \"/robots.txt\" ) { if ( req.http.host ~ \"(domain).com$\" ) { set req.url = \"/media/\" re.group.1 \"_robots.txt\"; }} else if ( req.url.path == \"/sitemap.xml\" ) { if ( req.http.host ~ \"(domain).com$\" ) { set req.url = \"/media/\" re.group.1 \"_sitemap.xml\"; }}"
}
In de sitemap admin config, moet u de plaats van het dossier specificeren gebruikend pub/media/ eerder dan /.
Indexeren via zoekprogramma configureren
Als u robots.txt aanpassingen in Productie wilt activeren, moet u de optie Indexeren door zoekmachines is ingeschakeld voor<environment-name> in uw projectinstellingen in de Cloud Console:
U kunt de CLI van magento-cloud ook gebruiken om deze instelling bij te werken:
magento-cloud environment:info -p <project_id> -e production restrict_robots false
-
Indexering door zoekmachines kan alleen worden ingeschakeld in Productie, maar niet in een van de lagere omgevingen.
-
Als u PWA Studio gebruikt en tot uw gevormd
robots.txtdossier niet kunt toegang hebben, voegrobots.txtaan de Voorste Lijst van gewenste personen van de Naam bij Opslag > Configuratie > Algemeen > Web toe > de Configuratie van PWA UPWARD.