阻止搜索引擎为AEM管理的URL编制索引
与Adobe Experience Manager (AEM)管理的域关联的URL会显示在搜索引擎结果中,从而导致显示应保持未索引状态的页面。 要解决此问题,请配置排除规则并通过搜索工具请求删除。
描述 description
环境
Adobe Experience Manager 6.5与Managed Services
问题/症状
- AEM管理的URL会显示在Bing和其他搜索引擎结果中。
- 尽管存在内部限制,敏感页面或不需要的页面仍会编制索引。
robots.txt和sitemap.xml缺少适当的排除规则。
解决方法 resolution
按照以下步骤从搜索引擎索引中删除不需要的URL:
- 不允许爬网
robots.txt文件中的特定URL或目录。 - 从
sitemap.xml配置中排除敏感页面或不需要的页面。 - 使用Bing网站管理员工具等工具请求删除URL或更新索引首选项。
- 验证服务器设置,并确保为排除的页面正确设置
X-Robots-Tag标头。 - 定期监控搜索引擎结果,以确认成功删除了目标URL。
相关阅读
AEM — SEO | robots.txt | Sitemap.xml |URL索引疑难解答 | 阻止通过服务器配置索引下面的环境URL
recommendation-more-help
3d58f420-19b5-47a0-a122-5c9dab55ec7f