代理式流量錯誤

抓取您網站的 AI 代理會遇到與真人瀏覽器相同的 HTTP 錯誤,但造成的影響不同。 當 AI 代理遇到 404、403 或 5xx 錯誤時,便無法存取或引用該內容,這會直接降低您的品牌在 AI 生成回答中的能見度。

「代理式流量錯誤」機會監控您的內容傳遞網路記錄中傳回 AI 代理的 HTTP 錯誤,並顯示受影響的 URL、其點擊數量及修正建議。 其中涵蓋三種錯誤類型,每種錯誤在儀表板中都有對應的機會:

  • 404 Not Found:失效連結,導致 AI 代理無法存取已不存在於預期 URL 之內容。
  • 403 Forbidden:存取限制,使 AI 爬蟲無法存取原本應可存取的內容。
  • 5xx Server Errors:伺服器端不穩定,導致 AI 代理暫時或持續無法存取內容。

根據您的網站所偵測到的錯誤而定,每種錯誤類型皆可能在儀表板中顯示為個別機會。

機會也會針對每種錯誤類型顯示兩項關鍵量度:

  • URL 總數:對 AI 代理傳回錯誤的不重複 URL 數量。
  • 點擊總數:所有 AI 代理要求中記錄到的錯誤回答總數。

顯示摘要量度與錯誤詳細資訊的代理式流量錯誤儀表板

運作方式

LLM Optimizer 會透過 Athena 查詢您的內容傳遞網路記錄,以識別對 AI 代理使用者代理傳回 404、403 或 5xx 狀態代碼的 URL。 使用者代理包括 ChatGPT、Claude、Perplexity 和 Gemini。 每次稽核最多會分析 500 個 URL,並依流量排序。 依預設,稽核會每週執行。

系統會在顯示 URL 前先進行驗證,以篩除誤判與過時資料。 LLM Optimizer 會重新測試每個 URL,確認其目前狀態,並比較 AI 代理與人類瀏覽器的回答,以識別爬蟲特定問題。

針對 404 錯誤,相關建議皆是 AI 驅動的。 因此,LLM Optimizer 會分析失效 URL 的結構與內容,並推薦可保留使用者意圖的替代 URL,同時提供信賴分數並說明建議理由。

針對 403 和 5xx 錯誤,系統會根據範本提供建議,為每種錯誤類型提供對應指引。

錯誤詳細資料表格

錯誤詳細資料表格列出所有受影響的 URL,依​「使用者代理」「國家代碼」​和​ 「類別」 ​進行篩選。 每個 URL 皆會顯示以下項目:

  • URL:受影響的頁面。
  • 總計:AI 代理的錯誤點擊總數。
  • 最近幾週的每週點擊次數,以便追蹤問題是否持續存在或已有改善。

含篩選器和每週點擊欄位的錯誤詳細資料表格

建議詳細資料

按一下任何建議會開啟​ 「建議詳細資料」 ​面板,其中顯示:

  • 受影響的 URL 和建議採取的動作,例如「應為有效的 URL,或重新導向至替代 URL」。
  • 顯示 AI 代理使用者代理每週總點擊數的​ 「統計資料」 ​圖表,讓您了解流量影響,以及問題是否持續存在或已有改善。
  • 用於管理建議的​ 「共用」 ​和​ 「關閉」 ​動作。

404 錯誤的建議詳細資訊面板含統計資料圖表

針對某些 5xx (及類似) 情況,面板可能會指出沒有可用的相同網域替代 URL,並說明建議如何遵循網域與清單規則。 例如,在無法提供更接近的相符 URL 時,建議使用基礎網域 URL 以保留搜尋引擎最佳化的價值。

伺服器錯誤的建議詳細資訊面板含說明訊息

如何修正

修正方式取決於錯誤類型:

404 錯誤:建議會包含 AI 根據失效 URL 的結構與內容提出的一或多個建議替代 URL,以及對應的信賴分數與理由。 實施伺服器端重新導向,將失效 URL 導向建議的替代 URL,以還原 AI 代理的存取權限,並保留內容可搜尋性。

403 錯誤:審閱存取權限,確保 AI 爬蟲未遭封鎖致使無法存取原本應可存取的內容。 特別是:

  • 審閱存取權限:AI 爬蟲遭封鎖。
  • 確認安全性設定並未封鎖合法的爬蟲。

5xx 錯誤:調查影響已標記頁面的伺服器端問題。 特別是:

  • 調查高流量頁面的伺服器穩定性。
  • 檢查應用程式記錄檔中是否有重複出現的錯誤。
  • 監視基礎結構健康情況和容量。

在示範中試用

使用 Frescopa 示範環境查看代理式流量錯誤機會的實際運作情形。

常見問題

為何 HTTP 錯誤對 AI 能見度很重要?

在檢索增強系統中,AI 爬蟲會搜尋各個連結,並嘗試擷取頁面內容以納入回答中。 如果頁面遺失、傳回錯誤或無法存取,則無法擷取或引用其內容。 修正這些技術錯誤,可直接提高您的內容成功被 AI 系統索引及引用的可能性。

404 和 403 錯誤之間有何差異?

404 錯誤表示該頁面不存在於請求的 URL 中,可能已被刪除,或在移動後未設定重新導向。 403 錯誤表示頁面存在但存取遭到拒絕,無論是所有爬蟲或特別針對 AI 代理。 兩者都會導致 AI 代理無法存取您的內容,但修正方式各有不同。

為何 403 錯誤只會影響 AI 代理,而不會影響真人訪客?

某些安全性設定或存取控制設定可能會封鎖 AI 代理使用者代理,使其無法存取真人訪客可正常存取的內容。 LLM Optimizer 會比較 AI 代理與真人瀏覽器的回答,並特別標示這些情況。

如何篩選出誤判項目?

LLM Optimizer 會重新測試 URL,確認其目前狀態,再將其顯示為建議,並比較 AI 代理與真人瀏覽器的回答,以識別 AI 爬蟲特定問題。 不再傳回錯誤的 URL 將不會顯示。

分析多久會更新一次?

依預設,稽核會每週執行,並從上週的內容傳遞網路記錄中提取錯誤資料。 錯誤詳細資訊表格會顯示每週點擊次數,以便您追蹤長期趨勢。

系統會監視哪些 AI 代理?

LLM Optimizer 會監視所有已偵測到的 AI 代理使用者代理模式所產生的錯誤回答,包括 ChatGPT、Claude、Perplexity 和 Gemini 爬蟲。

recommendation-more-help
llm-optimizer-help-main-toc