DokumentationExperience Cloud KCS

AEM-Lösung zur Verhinderung der Suchmaschinenindizierung mit Robots.txt und X-Robots-Tag-Headern

Letzte Aktualisierung: 6. Juli 2026

Adobe Experience Manager as a Cloud Service-Umgebungen, -Seiten, -Assets und generierte Endpunkte können in Suchergebnissen angezeigt werden, wenn crawlen Anweisungen fehlen oder auf der falschen Ebene angewendet werden. Sie können die Indizierung verhindern, indem Sie robots.txt konfigurieren, X-Robots-Tag Antwort-Header anwenden und Dispatcher- oder CDN-Regeln für bestimmte Pfade, Dateitypen oder *.plain.html Endpunkte verwenden.

Beschreibung description

Umgebung

Adobe Experience Manager as a Cloud Service

Problem/Symptome

Einige Adobe Experience Manager-Umgebungen, -Seiten, -Assets oder systemgenerierte Endpunkte können in den Suchmaschinenergebnissen angezeigt werden, wenn Suchmaschinenblockieranweisungen fehlen, unvollständig sind oder auf der falschen Ebene angewendet werden. Dies tritt häufig in Nicht-Produktionsumgebungen oder dann auf, wenn bestimmte Ressourcen wie PDF-Dateien oder generierte Endpunkte noch crawlbar sind.

  • Nicht-Produktions-Domains werden in Suchergebnissen angezeigt.
  • Bestimmte Seiten oder Assets, z. B. PDF-Dateien, werden indiziert, obwohl Indizierungsbeschränkungen erwartet wurden.
  • Bei einigen URLs fehlt die X-Robots-Tag-Antwortkopfzeile.
  • Systemgenerierte Endpunkte wie *.plain.html geben nicht die beabsichtigten Suchmaschinenanweisungen zurück.

Sie können das Problem sicher bestätigen, indem Sie die betroffenen URLs und Antwort-Header überprüfen:

  • Öffnen Sie die /robots.txt der Site und bestätigen Sie, dass die erwarteten crawlen-Anweisungen vorhanden sind.
  • Verwenden Sie eine Kopfzeilenprüfung, z. B. curl -I https://<domain>/<path>, um zu überprüfen, ob die Antwort X-Robots-Tag enthält.
  • Testen Sie repräsentative URLs für jeden betroffenen Ressourcentyp, z. B. Standardseiten, PDF-Dateien, formularbezogene Pfade und *.plain.html-Endpunkte.
  • Vergleichen Sie die Ergebnisse über die URLs hinweg, die blockiert werden sollen, und über die URLs, die Crawlbar bleiben sollen.

Lösung resolution

Führen Sie die folgenden Schritte aus, um das Problem zu lösen:

  1. Identifizieren Sie, was für die Indizierung blockiert werden muss, z. B. eine gesamte Nicht-Produktionsumgebung, ausgewählte Seiten, PDF-Assets, formularbezogene Pfade oder *.plain.html-Endpunkte. Das erwartete Ergebnis ist eine klare Liste betroffener URL-Typen, die Sie überprüfen können, welche URLs in den Suchergebnissen angezeigt werden oder nicht indiziert werden sollten.
  2. Konfigurieren Sie bei Bedarf robots.txt für die umgebungsweite Blockierung. Als Ergebnis wird erwartet, dass https://<environment-domain>/robots.txt die beabsichtigten crawlen-Anweisungen zurückgibt, die Sie überprüfen können, indem Sie die Live-Datei öffnen und ihren Inhalt überprüfen.
  3. Wenden Sie einen X-Robots-Tag-Header über die Dispatcher- oder CDN-Konfiguration an, wenn Sie die Steuerung auf Antwortebene für bestimmte Domains, Pfade oder Ressourcentypen benötigen. Betroffene Antworten sollten eine Anweisung wie X-Robots-Tag: noindex, nofollow enthalten, die Sie mit einer Kopfzeilenprüfung der betroffenen URLs überprüfen können.
  4. Verwenden Sie pfadbasierte Regeln, wenn nur ausgewählte Seiten, Ordner oder Dateitypen aus den Suchergebnissen ausgeschlossen werden sollen, anstatt die gesamte Umgebung zu blockieren. Als Ergebnis wird erwartet, dass nur die Zielressourcen die Sperranweisung zurückgeben, die Sie überprüfen können, indem Sie die Antworten für zielgerichtete und nicht zielgerichtete URLs vergleichen.
  5. Wenden Sie X-Robots-Tag Regeln auf PDF-Dateien oder andere herunterladbare Assets an, wenn diese Ressourcen noch indiziert werden. Das erwartete Ergebnis ist, dass übereinstimmende Asset-URLs durchgängig die Kopfzeile ohne Index zurückgeben, die Sie überprüfen können, indem Sie mehrere Asset-URLs direkt testen.
  6. Schließen Sie formularbezogene Pfade mit robots.txt-Anweisungen und unterstützenden Dispatcher- oder CDN-Regeln aus, wenn diese URLs nicht crawlen werden sollen. Suchmaschinen werden angewiesen, diese Formular-URLs nicht crawlen. Dies können Sie überprüfen, indem Sie die Live robots.txt-Regeln und alle zugehörigen Antwort-Header lesen.
  7. Verwenden Sie CDN-Antwortregeln für *.plain.html-Endpunkte, wenn diese generierten URLs Suchmaschinensperranweisungen benötigen. Es wird erwartet, dass diese Endpunkte den beabsichtigten X-Robots-Tag zurückgeben, den Sie überprüfen können, indem Sie die Antwort-Header nach der Bereitstellung überprüfen.
  8. Stellen Sie die Konfiguration erneut bereit und testen Sie die betroffenen URLs erneut. Das erwartete Ergebnis ist, dass die aktualisierten Anweisungen in Live-Antworten sichtbar sind und dem beabsichtigten Blockierungsverhalten entsprechen, das Sie überprüfen können, indem Sie sowohl die Live-robots.txt-Ausgabe als auch die Antwort-Header erneut überprüfen.

Wenn die folgenden Symptome auftreten und die Schritte zur Fehlerbehebung zu den folgenden Ergebnissen führen, senden Sie eine Support-Anfrage an den Adobe-Support:

  • Der richtige robots.txt wird bereitgestellt, die Live-Umgebung dient jedoch weiterhin verschiedenen crawlen Anweisungen.
  • Der erwartete X-Robots-Tag-Header ist konfiguriert, wird jedoch nach der erneuten Bereitstellung nicht in Live-Antworten angezeigt.
  • Nur einige URLs erhalten die erwartete Kopfzeile, obwohl dieselbe Regel für den vollständigen Pfad oder das Dateimuster gelten sollte.
  • *.plain.html oder andere generierte Endpunkte geben nach CDN-Konfigurationsaktualisierungen weiterhin unerwartete Suchmaschinenanweisungen zurück.

Geben Sie bei der Kontaktaufnahme mit dem Adobe-Support die betroffene URL, die Live-Antwort-Header, den aktuellen robots.txt-Inhalt und das entsprechende Dispatcher- oder CDN-Konfigurations-Snippet an.

Verwandtes Lesen

recommendation-more-help
experience-cloud-kcs-help-kbarticles