LLM および AI 生成トラフィックのレポート

このユースケース記事では、Customer Journey Analytics派生フィールド機能を基盤として、LLM (Large Language Model)と AI によって生成されたトラフィックについてレポートする方法について説明します。

NOTE
​ 検出方法 ​​ 検出シグネチャ ​ および ​ 実装方法 ​ の有効性は、具体的なデータ収集方法、Experience Platform データセットの範囲、Customer Journey Analyticsの実装に応じて異なります。 結果は、技術環境、データガバナンスポリシー、実装アプローチによって異なる場合があります。 Experience Edgeを使用する場合、生のユーザーエージェント文字列を記録するか、デバイス情報を収集するかを選択する必要があります。

検出方法

LLM および AI 生成トラフィックを検出するには、次を区別します。

  • LLM クローラー:拡張生成(RAG)のトレーニングおよび取得のためのデータを収集します。
  • AI エージェント:人間に代わってタスクを実行するインターフェイスとして機能します。 AI エージェントは、web 分析のトラッキングメソッドをバイパスする API を介したやり取りを好みます。 それでも、AI で生成されたトラフィックのかなりの部分を web サイトを通じて分析できます。

LLM および AI 生成トラフィックを識別および監視する 3 つの一般的なコア検出方法は、次のとおりです。

  • ユーザーエージェントの識別: サーバーにリクエストが行われると、HTTP ユーザーエージェント ヘッダーが抽出され、既知の AI クローラーおよびエージェントパターンに対して分析されます。 このサーバーサイドメソッドは、HTTP ヘッダーへのアクセスを必要とし、データ収集レイヤーで実装する場合に最も効果的です。
  • リファラーの分類:HTTP リファラーヘッダーには、現在のリクエストにリンクされる前の web ページの URL が含まれます。 このヘッダーは、ユーザーが ChatGPT や Perplexity などの web インターフェイスからサイトにクリックスルーしたときに表示されます。
  • クエリパラメーターの検出:AI サービスは、URL パラメーター(特に UTM パラメーター)をリンクに追加できます。 これらのパラメーターは URL 内に保持され、標準の分析実装を通じて検出できるので、これらの URL パラメーターは、クライアントサイドのトラッキングシナリオでも有益な指標となります。

次の表に、さまざまな LLM および AI インタラクション シナリオに対して検出方法をどのように使用できるかを示します。

シナリオ
ユーザーエージェントの識別
リファラーの分類
クエリパラメーターの検出
模型に係る訓練等
サーバーサイドログが実装されている場合は、エージェント(GPTBotClaudeBot など)を識別できます。
分類はできません。 AI クローラーは、トレーニング中にリファラーを生成しません。
検出は不可能です。 AI クローラーは、トレーニング中にパラメーターを追加しません。
エージェントの参照
サーバーサイドログでヘッダーがキャプチャされる際に、エージェント(ChatGPT-Userclaude-web)を識別できます。
リファラーを保持する AI インターフェイスからエージェントが移動すると、分類が可能になります。
AI サービスがトラッキングパラメーターを追加すると、検出が可能な場合があります。
クエリに回答するための検索拡張生成(RAG)
エージェント(OAI-SearchBotPerplexityBot)は、サーバーサイドログで識別できます。
RAG 操作はリファラーのメカニズムをバイパスすることが多いので、通常、分類はできません。
AI プロバイダーが特別に実装しない限り、検出は不可能です。
ユーザーがクリックスルー
エージェントを識別できません。 AI エージェントは、通常のユーザーエージェントとして表示されます。
ユーザーが AI インターフェイス(chatgpt.comclaude.ai など)からリンクをクリックすると、分類が可能になります。
AI サービスがアウトバウンドリンクに UTM パラメーターを追加すると、検出が可能になります。
交通視認条件
Customer Journey Analyticsとのサーバーサイドログ統合またはエージェントを識別するためのサーバーサイドタグ付けが必要です。
分類は、AI プラットフォームのリファラーポリシーと適切な HTTP ヘッダー送信に依存します。
検出には、リダイレクトによるパラメーターの保持と、適切な URL パラメーターの収集が必要です。

課題

LLM および AI エージェントは、デジタルプロパティを操作する際に、複雑で進化する動作を示します。 これらのテクノロジーは、プラットフォームとバージョン間で一貫性なく動作します。 この不整合は、データプロフェッショナル固有の課題を生み出します。 行動パターンは大きく異なり、使用する AI プラットフォーム、バージョン、インタラクションモードによって異なります。 この運用上の多様性により、標準の分析フレームワーク内で LLM と AI によって生成されたトラフィックを追跡および分類する取り組みが複雑になります。 これらのやり取りは複雑であり、その急速な進化も伴うため、データの整合性を維持するために微妙な検出とクラス分けの方法が必要となります。

  • 部分的なデータ収集:一部の新しい AI エージェントは、限定的なJavaScriptを実行するので、クライアントサイド実装の分析データが不完全になります。 その結果、一部のインタラクションは追跡されますが、その他のインタラクションは見逃されます。
  • セッションデータの不一致:AI エージェントによるJavaScriptの実行は、セッションやページタイプによって異なる場合があります。 この実行差により、クライアントサイド実装用にCustomer Journey Analyticsで断片化されたユーザージャーニーが作成されます。
  • 検出の課題:部分的なトラッキングでは、特定のタッチポイントが Analytics に表示されない可能性があるので、検出の信頼性が低くなります。

検出のシグネチャ

2025 年 8 月の時点で、検出手法ごとに以下の具体的な信号が特定できるようになりました。

ユーザーエージェントの識別

クローラ
ユーザーエージェント文字列
目的/動作
GPTBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot
ChatGPT と言語モデルのトレーニングに使用する、OpenAI の主要な web クローラー
ChatGPT – ユーザー
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
ChatGPT がユーザーの代わりに web サイトを閲覧する際に使用されます(従来)
ChatGPT-User v2
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/2.0; +https://openai.com/bot
オンデマンド取得と応答内検索のための ChatGPT の更新バージョン
OAI-SearchBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
コンテンツを検索するための ChatGPT の検索中心のクローラー
CloudeBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ClaudeBot/1.0; +claudebot@anthropic.com
クラウド AI アシスタントのトレーニングと更新に使用する、Anthropic のクローラー
クロード・ユーザー
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Claude AI ユーザーをサポート個人が Claude に質問すると、Cl ...を使用して Web サイトにアクセスできます。
Claude-SearchBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)
オンラインコンテンツを分析して、クラウド AI ユーザーの検索結果の品質を向上させるために Web をナビゲートします…
PerplexityBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
リアルタイムの web データインデックス作成を実現する Perplexity.ai のクローラー
Perplexity-User
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://www.perplexity.ai/useragent)
ユーザーが Perplexity の引用をクリックした場合にページを読み込みます(robots.txt をバイパス)
Google-Extended
Mozilla/5.0 (compatible; Google-Extended/1.0; +http://www.google.com/bot.html)
標準の Googlebot とは別の、Gemini 用のGoogleの AI に焦点を当てたクローラー
BingBot
Mozilla/5.0 (compatible; BingBot/1.0; +http://www.bing.com/bot.html)
Bing Search と Bing Chat を機能させるMicrosoftのクローラー(コパイロット)
DuckAssistBot
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +http://www.duckduckgo.com/bot.html)
DuckAssist、DuckDuckGo のプライベート AI 回答機能のコンテンツを削除します
YouBot
Mozilla/5.0 (compatible; YouBot (+http://www.you.com))
You.com の AI 検索およびブラウザーアシスタントの背後にあるクローラー
meta-externalagent
Mozilla/5.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
LLM をトレーニングまたは微調整するためのデータを集めるMetaのボット
Amazonbot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
検索および AI アプリケーション用のAmazonのクローラー
Applebot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Spotlight、Siri および Safari 用のAppleのクローラー
Applebot-Extended
Mozilla/5.0 (compatible; Applebot-Extended/1.0; +http://www.apple.com/bot.html)
将来の AI モデル向けのAppleの AI に焦点を当てたクローラー(オプトイン)
Bytespider
Mozilla/5.0 (compatible; Bytespider/1.0; +http://www.bytedance.com/bot.html)
TikTokおよびその他のサービス用の ByteDance の AI データコレクター
MicrosoftAI-User
Mozilla/5.0 (compatible; MistralAI-User/1.0; +https://mistral.ai/bot)
Mistral の「Le Chat」アシスタント用リアルタイム引用フェッチャー
cohere-ai
Mozilla/5.0 (compatible; cohere-ai/1.0; +http://www.cohere.ai/bot.html)
Cohere の言語モデルのテキスト データを収集します

リファラーの分類

ソース
リファラー
トラフィックタイプ
ChatGPT
chatgpt.com
ChatGPT インターフェイスからの直接トラフィック
クロード
claude.ai
Anthropic の Cloud インターフェイスからのトラフィック
Google ジェミニ
gemini.google.com
Googleの AI アシスタントからのトラフィック
Microsoft コパイロット
copilot.microsoft.com
Microsoftの AI アシスタントからのトラフィック
Microsoft コパイロット
m365.cloud.microsoft
Microsoftの AI アシスタント(Microsoft 365 Cloud Services)からのトラフィック
Perplexity AI
perplexity.ai
引用を使用した AI 検索からのトラフィック
META AI
meta.ai
Metaの AI アシスタントからのトラフィック

クエリパラメーターの検出

LLM サービス
URL の例
クエリパラメーター
値の例
ChatGPT
https://www.yoursite.com/product?utm_source=chatgpt.com
utm_source
chatgpt.com
当惑
https://www.yoursite.com/article?utm_source=perplexity
utm_source
当惑

実装

​ 派生フィールド ​​ セグメント ​ および ​ ワークスペースプロジェクト ​ の固有の設定と設定を通じて、通常のCustomer Journey Analytics設定(connectiondata views および ​ ワークスペースプロジェクト ​)内で LLM および AI によって生成されたトラフィックについてレポートできます。

派生フィールド

検出方法及び検出信号を構成するために、導出フィールドを基礎として使用する。 例えば、​ ユーザーエージェント ID​ クエリパラメーター検出 ​、および ​ リファラー分類 ​ の派生フィールドを定義します。

LLM/AI ユーザーエージェントの識別

Case When 派生フィールド関数を使用して、LLM/AI ユーザーエージェントを識別する派生フィールドを定義します。

LLM/AI ユーザーエージェント ID {modal="regular"}

LLM/AI クエリパラメーター検出

URL 解析 ​ および ​ 分類 ​ 派生フィールド関数を使用して、クエリパラメーターを検出する派生フィールドを定義します。

LLM/AI UTM パラメータ検出 ​ {modal="regular"}

LLM/AI リファラー分類

URL 解析 ​ および ​ 分類 ​ 派生フィールド関数を使用して、リファラーを分類する派生フィールドを定義します。

LLM/AI リファラー分類 ​ {modal="regular"}

セグメント

LLM および AI 生成トラフィックに関連するイベント、セッションまたは人物を識別するのに役立つ専用のセグメントを設定します。 例えば、以前に作成した派生フィールドを使用して、LLM および AI によって生成されたトラフィックを識別するセグメントを定義します。

LLM および AI で生成されたトラフィックセグメント ​ {modal="regular"}

Workspace プロジェクト

派生フィールドとセグメントを使用して、LLM および AI で生成されたトラフィックをレポートおよび分析します。 例えば、以下の注釈付きプロジェクトを参照してください。

LLM および AI で生成されたトラフィックのWorkspace プロジェクト ​ {modal="regular"}

recommendation-more-help
080e5213-7aa2-40d6-9dba-18945e892f79