robots.txtによってブロックされたトラフィック

robots.txt ファイルは、サイトにアクセスできるweb クローラーを制御します。 AI エージェントが、他の方法では一般のweb クローラーがアクセスできるコンテンツから選択的にブロックされる場合、それらのエージェントは、AIが生成する応答における企業の認知度を直接低下させる、そのコンテンツをインデックス化したり引用したりすることはできません。

robots.txt機会によってブロックされたトラフィックは、上位ページに対してrobots.txt ファイルを分析し、AI エージェントがアクセス可能なコンテンツにアクセスできないようにするルールを特定します。 調査結果を個別のrobots.txt行レベルで表示するので、ファイル全体を手動で監査するのではなく、特定のディレクティブを確認して更新できます。

ここでは、2つの主要な指標を一目で確認できます。

仕組み

LLM Optimizerはrobots.txt ファイルを取得し、上位ページを6つの主要なAI エージェントユーザーエージェントと比較します。

URLは、ワイルドカード （*） ユーザーエージェントに対して​許可されているが、特定のAI エージェントに対して許可されていない場合にのみフラグが立てられます。 すべてのweb クローラーを均等に制限する包括的なブロッキングはレポートされません。 この監査は、GEOにとって最も実用的な結果を表す選択的なAI エージェント除外を対象としています。

結果は、エージェント によって robots.txt と ブロックされたトラフィックの詳細という2つのタブに表示されます。

robots.txt

このタブには、ブロッキングディレクティブが赤で強調表示された完全なrobots.txt ファイルが表示されます。 強調表示された各行は、1つ以上のAI エージェントが一般にアクセスできるURLにアクセスすることを選択的にブロックするルールを表します。

ブロッキングディレクティブがハイライト表示された

強調表示されたディレクティブをクリックすると、その影響と修正候補に関する詳細が表示されます。

エージェント別のブロックされたトラフィックの詳細

このタブには、AI エージェントが整理した、ブロックされたトラフィックの内訳が表示されます。 ブロックされた各エージェントについて、次のように表示されます。

各エージェント（OAI-User、GPTBot、OAI-SearchBotなど）には独自のサブタブがあり、エージェントごとにブロックに対処できます。

修正方法

ブロックされたエージェントの検出を解決するには、robots.txt ファイルを開き、「エージェントによるブロックされたトラフィックの詳細」タブで、影響を受ける各URLの横に表示される行番号を見つけます。 関連するAI エージェントのdisallow ディレクティブを更新または削除して、影響を受けるURLへのアクセスを許可します。

例えば、特定のページからGPTBotのブロックを解除するには、ディレクティブを削除または更新します。

User-agent: GPTBot
Disallow: /blog/cold-brewing-101

robots.txt ファイルが更新され、再公開されると、LLM Optimizerは次の監査実行時に変更を検出し、提案を解決済みとしてマークします。

デモでやってみましょう

Frescopaのデモ環境を使用して、robots.txt商談によってブロックされたトラフィックを実際に確認してください。

Frescopa デモでrobots.txtによってブロックされたトラフィックを表示する

よくある質問

GEOでAI エージェントをブロックすることが重要なのはなぜですか？

生成エンジン最適化では、AIweb クローラーがサイトコンテンツにアクセスし、インデックスを作成する必要があります。 AI エージェントをブロックすると、AIが生成した回答にページが表示されなくなり、引用、ブランド言及、AI全体の可視性が低下します。 トラフィックの多いページが1つブロックされていても、AI主導のブランド露出は大きく失われる可能性があります。

ブランケット ブロッキングと選択ブロッキングの違いは何ですか？

包括的なブロッキングとは、一般的なwebweb クローラーを含むあらゆるweb クローラーが、ページから制限されることを意味します。 制限付きブロッキングでは、一般的なweb クローラーはページにアクセスできますが、特定のAI エージェントはアクセスできません。 この機会では、AI エージェントを意図的または偶発的にコンテンツから除外することを意味するため、選択ブロッキングのフラグが付けられます。これは、最も実用的な結果です。

LLM OptimizerはどのAI エージェントを確認しますか？

LLM Optimizerは、ClaudeBot、GPTBot、OAI-SearchBot、OAI-User、PerplexityBot、Perplexity-Userに対してチェックします。

特定のAI エージェントを意図的にブロックする場合はどうなりますか？

フラグが設定された各ディレクティブを確認し、ブロックを意図的に保持することを選択できます。 却下された提案は監査実行の間も保持され、robots.txt ファイルが変更され、ルールが再度表示されない限り、再度表示されません。

LLM Optimizerでは、robots.txtの変更を経時的にどのように追跡しますか？

LLM Optimizerでは、ハッシュ化を使用して、実行をまたいでrobots.txt コンテンツを追跡します。 以前に解決したブロッキングルールが再び表示される場合（例：robots.txtの更新後）、新しい提案として再度表示されます。

上位ページはどのように決定されますか？

ページは、トラフィックが最も多いSEO ページ、CDN ログのAI エージェントが訪問した上位URL、サイト設定で指定されたカスタム URLの組み合わせから取得されます。