代理流量错误

抓取您网站的AI代理会遇到与人类浏览器相同的HTTP错误，但结果会有所不同。 当AI代理点击404、403或5xx错误时，它无法访问或引用该内容，直接降低了您的品牌在AI生成的响应中的可见性。

代理流量错误机会可监控CDN日志中返回给AI代理的HTTP错误，并显示受影响的URL及其点击量并修复建议。 它涵盖了三种错误类型 — 每种错误在功能板中都有自己的机会：

根据检测到的网站错误，每种错误类型都可能会作为单独的机会显示在仪表板中。

此机会还会显示每种错误类型的两个关键量度：

工作原理

LLM Optimizer通过Athena查询您的CDN日志，以识别向AI代理用户代理返回404、403或5xx状态代码的URL。 用户代理包括ChatGPT、Claude、Perplexity和Gemini。 每次审核最多可分析500个URL，并按流量排名。 默认情况下，审核每周运行。

URL在出现之前会被验证，以过滤掉误报和陈旧数据。 LLM Optimizer会重新测试每个URL以确认其当前状态，并将AI代理响应与人工浏览器响应进行比较，以确定爬虫特定问题。

对于​404错误，建议为AI提供支持。 因此，LLM Optimizer会分析断开的URL的结构和内容，以推荐保留用户意图的替代URL，以及说明推荐的置信度分数和理由。

对于​403和5xx错误，建议是基于模板的，为每种错误类型提供目标指导。

错误详细信息表

错误详细信息表列出了按​用户代理、国家/地区代码​和​ 类别 ​过滤的所有受影响的URL。 对于它显示的每个URL：

建议详细信息

单击任何建议会打开​ 建议详细信息 ​面板，其中显示：

带有统计信息图表的404的

对于某些​5xx（以及类似的）情况，面板可能会注意到没有相同的域替代URL可用，并解释推荐如何遵循域和列表规则。 例如，建议在无法提供更密切匹配项时保留基本域URL的SEO值。

如何修复

修复取决于错误类型：

404错误 — 建议包括AI基于损坏的URL结构和内容推荐的一个或多个替代URL，以及置信度分数和理由。 实施从损坏的URL到建议的替代方案的服务器端重定向，以恢复AI代理访问并保留内容可发现性。

403错误 — 查看访问权限以确保不会阻止AI爬虫访问他们应该能够访问的内容。 具体情况如下：

5xx错误 — 调查影响已标记页面的服务器端问题。 具体情况如下：

在演示中尝试

使用Frescopa演示环境查看正在运行的代理流量错误机会。

常见问题解答

为什么HTTP错误对AI可见性很重要？

在检索增强的系统中，人工智能爬虫发现链接，并尝试获取页面内容以包含在其响应中。 如果页面缺失、返回错误或无法访问，则无法检索或引用其内容。 修复这些技术错误会直接提高AI系统成功索引和引用您的内容的可能性。

404错误和403错误之间有何区别？

404错误表示请求的URL上不存在该页面 — 已将其删除或移动时未进行重定向。 403错误表示页面存在，但所有爬虫或特定于AI代理的访问都遭到拒绝。 这两种方法都会阻止AI代理访问您的内容，但每种方法的修复方法各不相同。

为什么403错误只影响AI代理，而不影响人类访客？

某些安全配置或访问控制设置可能会阻止人工智能代理用户代理访问人类访客可以正常访问的内容。 LLM Optimizer通过比较人工智能代理响应与人工浏览器响应来专门标记这些情况。

如何过滤掉误报？

LLM Optimizer会重新测试URL以确认其当前状态，然后再将URL显示为建议，并将AI代理响应与人工浏览器响应进行比较，以识别爬虫特定的问题。 不再返回错误的URL将不会显示。

分析更新的频率如何？

默认情况下，审核每周运行，从上周的CDN日志中提取错误数据。 错误详细信息表显示每周点击计数，以便您跟踪随时间变化的趋势。

监视哪些AI代理？

LLM Optimizer监控来自所有检测到的AI代理用户代理模式的错误响应，包括：ChatGPT、Claude、Perplexity和Gemini爬虫。