エージェント型トラフィック エラー
サイトをクロールするAI エージェントでは、人間のブラウザーと同じHTTP エラーが発生しますが、その結果は異なります。 AI エージェントが404、403、5xxのエラーを検出すると、そのコンテンツにアクセスしたり、引用したりすることができず、AIが生成する応答におけるブランドの認知度が直接低下します。
エージェンティックトラフィックエラーの機会は、AI エージェントに返されたHTTP エラーについてCDN ログを監視し、影響を受けるURLとそのヒット数および修正候補を表示します。 3つのエラータイプについて説明します。それぞれ、ダッシュボードに独自の機会があります。
- 404 Not Found — AI エージェントが必要なURLに存在しないコンテンツにアクセスすることを防ぐ、壊れたリンク。
- 403 Forbidden — AI web クローラーがアクセスできる必要があるコンテンツからAI ユーザーをブロックするアクセス制限。
- 5xx Server Errors — AI エージェントがコンテンツを一時的または永続的に利用できないようにするサーバーサイドの不安定性。
サイトで検出されたエラーに応じて、各エラータイプがダッシュボードに個別のオポチュニティとして表示される場合があります。
また、この機会には、各エラータイプに対して2つの主要な指標も表示されます。
- 合計URL — AI エージェントにエラーを返す一意のURLの数。
- 合計ヒット数 – すべてのAI エージェント要求で記録されたエラー応答の合計数。
仕組み
LLM Optimizerは、Athenaを介してCDN ログをクエリし、AI エージェントユーザーエージェントに404、403または5xx ステータスコードを返すURLを特定します。 ユーザーエージェントには、ChatGPT、Claude、Perplexity、Geminiが含まれます。 監査ごとに最大500個のURLが分析され、トラフィック量ごとにランク付けされます。 監査はデフォルトで週単位で実行されます。
URLは、サーフェス化される前に検証され、誤検出や古いデータを除外します。 LLM Optimizerでは、各URLを再テストして現在のステータスを確認し、AI エージェントの応答を人間のブラウザーの応答と比較して、web クローラー固有の問題を特定します。
404 エラーの場合、提案はAIを活用します。 そのため、LLM Optimizerでは、壊れたURLの構造とコンテンツを分析し、ユーザーの意図を維持する代替URLをレコメンドするとともに、信頼性スコアとレコメンデーションを説明する根拠を示します。
403および5xx エラーの場合、提案はテンプレートベースであり、各エラータイプに対してターゲットを絞ったガイダンスを提供します。
エラー詳細テーブル
エラーの詳細テーブルには、ユーザーエージェント、国コード、カテゴリーでフィルタリングされたすべての影響を受けるURLが一覧表示されます。 URLごとに次の情報が表示されます。
- URL – 影響を受けるページ。
- Total — AI エージェントからのエラーヒットの合計数。
- 毎週のヒット数は、ここ数週間を示します。これにより、問題が永続的か改善しているかを追跡できます。
提案の詳細
任意の提案をクリックすると、提案の詳細 パネルが開き、次の内容が表示されます。
- 影響を受けるURLと推奨されるアクション（例：「有効なURLにする必要がある」や「代替URLにリダイレクトする必要がある」など）。
- AI エージェントユーザーエージェントによる1週間あたりの合計ヒット数を示す統計 グラフで、トラフィックへの影響と、問題が永続的か改善しているかを把握できます。
- 提案を管理するための 共有 および却下 アクション。
統計グラフを含む404の
5xx （および類似）の場合によっては、同じドメインの代替URLが使用できない場合にパネルが注意し、推奨事項がドメインとリストのルールに従う方法を説明する場合があります。 例えば、近い一致を提供できない場合に、SEO値を保持するようにベースドメイン URLを提案します。
説明メッセージを含むサーバーエラーの
修正方法
この修正は、次のエラータイプによって異なります。
404 エラー – 提案には、壊れたURLの構造とコンテンツに基づいて、AIが推奨する1つ以上の代替URLと、信頼性スコアと根拠が含まれています。 壊れたURLから提案された代替案へのサーバーサイドリダイレクトを実装して、AI エージェントのアクセスを復元し、コンテンツの見つけやすさを維持します。
403 エラー - アクセス権限を確認して、AI web クローラーがアクセスできる必要のあるコンテンツからブロックされていないことを確認します。 具体的には以下のとおりです。
- レビューのアクセス権限 – AIweb クローラーがブロックされています。
- セキュリティ設定で正当なweb クローラーがブロックされないようにします。
5xx エラー – フラグ付きページに影響を与えるサーバーサイドの問題を調査します。 具体的には以下のとおりです。
- トラフィックの多いページのサーバー安定性を調査：
- 繰り返し発生するエラーがないか、アプリケーションログを確認します。
- インフラの健全性と処理能力の監視：
デモでやってみましょう
Frescopaのデモ環境を使用して、エージェンティックトラフィックエラーの商談を実際に確認してください。
よくある質問
AIの表示にHTTP エラーが重要なのはなぜですか？
AI （人工知能）を利用した検索システムでは、web クローラーがリンクを発見し、応答に含めるためのコンテンツを取得しようとします。 ページが見つからない場合、エラーを返す場合、またはアクセスできない場合、そのコンテンツを取得または引用することはできません。 これらの技術的エラーを直接修正することで、AI システムによってコンテンツが正常にインデックス化され、引用される可能性が高まります。
404と403 エラーの違いは何ですか？
404 エラーは、要求されたURLにページが存在しないことを意味します。ページは削除されるか、リダイレクトなしで移動されました。 403 エラーとは、ページが存在するが、すべてのweb クローラー、または特にAI エージェントへのアクセスが拒否されていることを意味します。 どちらもAI エージェントがコンテンツにアクセスすることを防ぎますが、解決策はそれぞれ異なります。
403 エラーがAI エージェントにのみ影響し、人間の訪問者には影響しないのはなぜですか？
一部のセキュリティ設定またはアクセス制御設定では、AI エージェントのユーザーエージェントが、人間の訪問者が通常アクセスできるコンテンツからブロックされる場合があります。 LLM Optimizerでは、AI エージェントの応答と人間のブラウザー応答を比較することで、これらのケースにフラグを付けています。
偽陽性はどのように除外されますか？
LLM Optimizerでは、URLを提案として表示する前に、現在のステータスを確認するためにURLを再テストし、AI エージェントの応答を人間のブラウザー応答と比較して、web クローラー固有の問題を特定します。 エラーを返さなくなったURLは表示されません。
分析はどのくらいの頻度で更新されますか？
監査はデフォルトで毎週実行され、前週のCDN ログからエラーデータが取得されます。 エラー詳細テーブルには、週次ヒット数が表示されるので、時間の経過に伴うトレンドを追跡できます。
どのようなAI エージェントが監視されていますか？
LLM Optimizerは、ChatGPT、Claude、Perplexity、Geminiweb クローラーなど、検出されたすべてのAI エージェントユーザーエージェントパターンからのエラー応答を監視します。