robots.txt によってブロックされたトラフィック

robots.txt ファイルは、サイトにアクセスできるクローラーを制御します。 AI エージェントで、通常では一般的なクローラーがアクセスできるコンテンツから選択的にブロックされると、そのコンテンツをインデックス生成または引用できなくなり、AI 生成の応答でのブランドの可視性が直接低下します。

robots.txt によってブロックされたトラフィックオポチュニティでは、robots.txt ファイルを上位ページに対して分析し、AI エージェントが到達できるコンテンツへのアクセスを防いでいるルールを特定します。 これにより、robots.txt の個別の行レベルで結果が表示されるので、ファイル全体を手動で監査する代わりに、特定のディレクティブをレビューして更新できます。

ここでは、次の 2 つの主要指標を一目で確認できます。

仕組み

LLM Optimizer は、robots.txt ファイルを取得し、次の 6 つの主要な AI エージェントユーザーエージェントに対して上位ページを確認します。

URL は、ワイルドカード（*）ユーザーエージェントに対して許可されていますが、特定の AI エージェントに対して許可されていない​場合にのみフラグが付けられます。 すべてのクローラーを均等に制限する包括的なブロックはレポートされません。 この監査は、GEO に対して最も実用的な結果を表す選択的な AI エージェント除外をターゲットにしています。

結果は、「robots.txt」と「エージェント別のブロックされたトラフィックの詳細」の 2 つのタブに表示されます。

robots.txt

このタブには、robots.txt ファイル全体が表示され、ブロックしているディレクティブは赤でハイライト表示されます。 ハイライト表示されている各行は、通常は一般公開されている URL に対して、1 つまたは複数の AI エージェントによるアクセスを選択的にブロックするルールを表しています。

ハイライト表示されたディレクティブをクリックすると、その影響と候補の修正に関する詳細情報が表示されます。

エージェント別のブロックされたトラフィックの詳細

このタブには、AI エージェントが整理した、ブロックされたトラフィックの分類が表示されます。 ブロックされた各エージェントについて、次のように表示されます。

各エージェント（例：OAI-User、GPTBot、OAI-SearchBot）には独自のサブタブがあり、エージェント別にブロックに対処できます。

修正方法

ブロックされたエージェントの検出を解決するには、robots.txt ファイルを開き、「エージェント別のブロックされたトラフィックの詳細」タブで、影響を受ける各 URL の横に表示される行番号を見つけます。 関連する AI エージェントの disallow ディレクティブを更新または削除して、影響を受ける URL へのアクセスを許可します。

例えば、特定のページから GPTBot のブロックを解除するには、ディレクティブを削除または更新します。

User-agent: GPTBot
Disallow: /blog/cold-brewing-101

robots.txt ファイルが更新および再公開されると、LLM Optimizer は次の監査実行時に変更を検出し、候補を解決済みとしてマークします。

デモで試す

Frescopa デモ環境を使用した robots.txt によってブロックされたトラフィックの実際のオポチュニティについて詳しくは、次を参照してください。

Frescopa デモで robots.txt によってブロックされたトラフィックを表示

よくある質問

GEO で AI エージェントをブロックすることが重要なのはなぜですか？

生成エンジン最適化では、AI クローラーがサイトコンテンツにアクセスし、インデックスを作成する必要があります。 AI エージェントを直接ブロックすると、AI 生成の応答にページが表示されるのを防ぎ、引用、ブランド言及、AI 全体の可視性を低下させることができます。 トラフィックの多いページが 1 つでもブロックされると、AI 駆動型のブランド露出の大幅な損失につながる場合があります。

包括的なブロックと選択的なブロックの違いは何ですか？

包括的なブロックとは、一般的な web クローラーを含むすべてのクローラーがページから制限されることを意味します。 選択的なブロックとは、一般的なクローラーはページにアクセスできますが、特定の AI エージェントはアクセスできないことを意味します。 このオポチュニティでは、通常公開されているコンテンツから AI エージェントを意図的または偶発的に排除することを表すので、選択的なブロックにのみフラグが付けられます。これは、最も実用的な結果です。

LLM Optimizer が確認する AI エージェントはどれですか？

LLM Optimizer は、ClaudeBot、GPTBot、OAI-SearchBot、OAI-User、PerplexityBot、Perplexity-User に対して確認します。

特定の AI エージェントを意図的にブロックする場合はどうなりますか？

フラグが付けられた各ディレクティブを確認し、意図的にブロックを維持するかどうかを選択できます。 却下された候補は、監査実行の間も保持され、robots.txt ファイルが変更されてルールが再度表示されない限り、再度表示されることはありません。

LLM Optimizer では、robots.txt の変更の推移をどのように追跡しますか？

LLM Optimizer では、ハッシュ化を使用して、実行をまたいで robots.txt コンテンツを追跡します。 以前に解決したブロックルールが再度表示される場合（例：robots.txt の更新後）、新しい候補として再度表示されます。

上位ページはどのように決定されますか？

ページは、トラフィックが最も多い SEO ページ、CDN ログの AI エージェントが訪問した上位 URL、サイト設定で指定されたカスタム URL の組み合わせから取得されます。