エージェントトラフィックエラー
サイトをクロールする AI エージェントでは、人間のブラウザーと同じ HTTP エラーが発生しますが、その結果は異なります。 AI エージェントで 404、403、5xx エラーが発生すると、そのコンテンツにアクセスすること、または引用することができなくなり、AI 生成の応答でのブランドの可視性が直接低下します。
エージェントトラフィックエラーのオポチュニティは、CDN ログを監視して AI エージェントに返される HTTP エラーを検出し、影響を受ける URL とそのヒット数および修正方法の提案を表示します。 このオポチュニティは 3 つのエラータイプを対象とし、それぞれダッシュボードに専用のオポチュニティが用意されています。
- 404 Not Found - 期待される URL に存在しなくなったコンテンツへの AI エージェントのアクセスを防ぐ破損したリンク。
- 403 Forbidden - 到達できる必要があるコンテンツから AI クローラーをブロックするアクセス制限。
- 5xx Server Errors - サーバーサイドの不安定性により、コンテンツが一時的または永続的に AI エージェントから使用できなくなる状態。
サイトで検出されたエラーに応じて、各エラータイプがダッシュボードに個別のオポチュニティとして表示される場合があります。
また、このオポチュニティでは、各エラータイプに対して次の 2 つの主要指標を確認できます。
- 合計 URL 数 - AI エージェントにエラーを返す一意の URL の数。
- 合計ヒット数 - すべての AI エージェントリクエストをまたいで記録されたエラー応答の合計数。
仕組み
LLM Optimizer は、Athena 経由で CDN ログのクエリを実行し、AI エージェントユーザーエージェントに 404、403、5xx ステータスコードを返す URL を特定します。 ユーザーエージェントには、ChatGPT、Claude、Perplexity、Gemini が含まれます。 監査ごとに最大 500 個の URL が分析され、トラフィック量別にランク付けされます。 監査はデフォルトで毎週実行されます。
URL は、誤検出や古いデータを除外するために、表示される前に検証されます。 LLM Optimizer は、各 URL を再テストして現在のステータスを確認し、AI エージェントの応答と人間のブラウザー応答を比較して、web クローラー固有の問題を特定します。
404 エラーの場合、候補には AI が活用されます。 そのため、LLM Optimizer は、破損した URL の構造とコンテンツを分析し、ユーザーの意図を維持する代替 URL を、信頼性スコアとレコメンデーションを説明する根拠と共に推奨します。
403 および 5xx エラーの場合、テンプレートに基づいた候補が表示され、各エラータイプに対してターゲットにしたガイダンスが提供されます。
エラーの詳細テーブル
エラーの詳細テーブルには、ユーザーエージェント、国コード、カテゴリ別にフィルタリングされ、影響を受けたすべての URL がリストされます。 各 URL について、次のように表示されます。
- URL - 影響を受けるページ。
- 合計 - AI エージェントからのエラーヒットの合計数。
- 過去数週間の毎週のヒット数も表示されるので、問題が永続的か改善しているかを追跡できます。
提案の詳細
任意の候補をクリックすると、候補の詳細パネルが開き、次の内容が表示されます。
- 影響を受ける URL と推奨されるアクション（例：「有効な URL にするか、別の URL にリダイレクトする」）。
- AI エージェントユーザーエージェント別の週ごとの合計ヒット数を示す 統計 グラフ。これにより、トラフィックへの影響や、問題が永続的か改善しているかを把握できます。
- 候補を管理するための 共有 と 却下 のアクション。
5xx（および類似の）ケースの場合、パネルには、同じドメインの代替 URL が使用できない場合にその旨が示され、レコメンデーションがドメインおよびリストのルールに従う仕組みの説明が示されることがあります。 例えば、より近い一致を提供できない場合に、SEO 値を保持するためにベースドメイン URL を提案します。
修正方法
修正は、次のエラータイプに応じて異なります。
404 エラー - 候補には、破損した URL の構造とコンテンツに基づいて AI が推奨する 1 つ以上の代替 URL が、信頼性スコアおよび根拠と共に含まれます。 AI エージェントへのアクセスを復元し、コンテンツの検出性を保持するために、破損した URL から推奨される代替手段へのサーバーサイドリダイレクトを実装します。
403 エラー - アクセス権を確認して、アクセスできる必要があるコンテンツから AI クローラーがブロックされていないことを確認します。 具体的には以下のとおりです。
- アクセス権を確認 - ブロックされている AI web クローラー。
- セキュリティ設定により正当なクローラーがブロックされていないことを確認します。
5xx エラー - フラグ付きページに影響を与えるサーバーサイドの問題を調査します。 具体的には以下のとおりです。
- トラフィックの多いページのサーバー安定性を調査します。
- 繰り返し発生するエラーがないか、アプリケーションログを確認します。
- インフラストラクチャの健全性と処理能力を監視します。
デモで試す
Frescopa デモ環境を使用したエージェントトラフィックエラーの実際のオポチュニティについて詳しくは、次を参照してください。
よくある質問
AI の可視性で HTTP エラーが重要なのはなぜですか？
検索機能を強化したシステムでは、AI クローラーがリンクを発見し、応答に含めるページコンテンツを取得しようとします。 ページが存在しない場合、エラーが返される場合、アクセスできない場合は、そのコンテンツを取得または引用できません。 これらの技術的なエラーを修正すると、コンテンツが AI システムに正常にインデックス作成および引用される可能性が直接改善されます。
404 エラーと 403 エラーの違いは何ですか？
404 エラーは、リクエストされた URL にページが存在しないこと（ページが削除されたか、リダイレクトなしで移動されたこと）を意味します。 403 エラーは、ページは存在しますが、すべてのクローラーまたは特定の AI エージェントによるアクセスが拒否されていることを意味します。 どちらの場合も AI エージェントによるコンテンツへのアクセスを防ぎますが、修正はそれぞれ異なります。
403 エラーが AI エージェントにのみ影響し、人間の訪問者に影響しないのはなぜですか？
セキュリティ設定やアクセス制御設定によっては、AI エージェントのユーザーエージェントが、人間が通常アクセスできるコンテンツにアクセスできなくなる場合があります。 LLM Optimizer は、AI エージェントの応答と人間のブラウザーの応答を比較することで、これらのケースに対して具体的にフラグを付けます。
誤検出はどのように除外されますか？
LLM Optimizer は、URL を再テストして現在のステータスを確認してから候補として表示し、AI エージェントの応答と人間のブラウザー応答を比較して、web クローラー固有の問題を特定します。 エラーを返さなくなった URL は表示されません。
分析が更新される頻度はどれくらいですか？
監査はデフォルトで毎週実行され、前週の CDN ログからエラーデータを取得します。 エラーの詳細テーブルには毎週のヒット数が表示されるので、トレンドの推移を追跡できます。
監視対象の AI エージェントは何ですか？
LLM Optimizer は、ChatGPT、Claude、Perplexity、Gemini クローラーなど、検出されたすべての AI エージェントのユーザーエージェントパターンからのエラー応答を監視します。