阻止搜索引擎为AEM管理的URL编制索引

与Adobe Experience Manager (AEM)管理的域关联的URL会显示在搜索引擎结果中,从而导致显示应保持未索引状态的页面。 要解决此问题,请配置排除规则并通过搜索工具请求删除。

描述 description

环境

Adobe Experience Manager 6.5与Managed Services

问题/症状

  • AEM管理的URL会显示在Bing和其他搜索引擎结果中。
  • 尽管存在内部限制,敏感页面或不需要的页面仍会编制索引。
  • robots.txtsitemap.xml缺少适当的排除规则。

解决方法 resolution

按照以下步骤从搜索引擎索引中删除不需要的URL:

  1. 不允许爬网robots.txt文件中的特定URL或目录。
  2. sitemap.xml配置中排除敏感页面或不需要的页面。
  3. 使用Bing网站管理员工具等工具请求删除URL或更新索引首选项。
  4. 验证服务器设置,并确保为排除的页面正确设置X-Robots-Tag标头。
  5. 定期监控搜索引擎结果,以确认成功删除了目标URL。

相关阅读

AEM — SEO | robots.txt | Sitemap.xml |URL索引疑难解答 | 阻止通过服务器配置索引下面的环境URL

recommendation-more-help
3d58f420-19b5-47a0-a122-5c9dab55ec7f