LLM および AI 生成トラフィックのレポート

このユースケースでは、Customer Journey Analyticsの派生フィールド機能を基盤として使用して、LLM (大規模言語モデル)とAI生成トラフィックについてレポートする方法を解説します。

NOTE
検出方法検出シグネチャ ​および実装戦略の有効性は、特定のデータ収集方法、Experience Platform データセットのカバレッジ、およびCustomer Journey Analyticsの実装によって異なります。 テクノロジー環境、データガバナンスポリシー、導入アプローチによって、成果は異なる場合があります。 Experience Edgeを使用する場合は、生のユーザーエージェント文字列を記録するか、デバイス情報を収集するかを選択する必要があります。

検出方法

LLMおよびAI生成トラフィックを検出するには、次の点を区別します。

  • LLM web クローラー:トレーニングと検索用のデータを収集する拡張生成(RAG)。
  • AI エージェント:人間に代わってタスクを実行するインターフェイスとして機能します。 AI エージェントは、web分析のトラッキング方法を回避するAPIを介したやり取りを好みます。 それでも、AIが生成したトラフィックの大部分は、web サイトを通じて分析することができます。

LLMとAI生成のトラフィックを識別および監視するための3つの一般的なコア検出方法は次のとおりです。

  • ユーザーエージェント ID: サーバーにリクエストが行われると、HTTP User-Agent ヘッダーが抽出され、既知のAI web クローラーとエージェントパターンに対して分析されます。 このサーバーサイドのメソッドは、HTTP ヘッダーへのアクセスを必要とし、データ収集レイヤーで実装される場合に最も効果的です。
  • リファラー分類: HTTP リファラーヘッダーには、現在のリクエストにリンクされている以前のweb ページのURLが含まれています。 このヘッダーは、オーディエンスがChatGPTやPerplexityなどのweb インターフェイスからサイトにクリックしたタイミングを明らかにします。
  • クエリパラメーター検出: AI サービスは、URL パラメーター(特にUTM パラメーター)をリンクに追加できます。 これらのパラメーターはURLに保持され、標準的な分析実装を通じて検出できるため、クライアントサイドのトラッキングシナリオでも、これらのURL パラメーターを重要な指標として使用できます。

次の表に、さまざまなLLMおよびAI インタラクションシナリオに対して検出方法を使用する方法を示します。

シナリオ
ユーザーエージェントの識別
リファラー分類
クエリパラメータ検出
モデルのトレーニング
エージェント (GPTBotClaudeBotなど)は、サーバーサイドのロギングが実装されている場合に識別できます。
分類は不可能です。 トレーニング中にAIweb クローラーがリファラーを生成することはない。
検出は不可能です。 AIweb クローラーはトレーニング中にパラメーターを追加しません。
エージェント閲覧
エージェント (ChatGPT-User, claude-web)は、サーバーサイドのログでヘッダーをキャプチャするときに識別できます。
エージェントがAI インターフェイスからリファラーの保持を使用して移動する場合、分類は可能です。
AI サービスがトラッキングパラメーターを追加すると、検出が可能になることもあります。
クエリに回答するための拡張生成(RAG)の取得
エージェント (OAI-SearchBot, PerplexityBot)は、サーバーサイドのログで識別できます。
RAG操作はしばしばリファラーメカニズムをバイパスするため、通常は分類は不可能である。
AI プロバイダーが特別に実装していない限り、検出することはほとんどありません。
ユーザーが​をクリック
エージェントを識別できません。 AI エージェントは通常のユーザーエージェントとして表示されます。
ユーザーがAI インターフェイス (chatgpt.comclaude.aiなど)のリンクをクリックすると、分類が可能になります。
AI サービスがUTM パラメーターをアウトバウンドリンクに追加すると、検出が可能になります。
トラフィックの可視化条件
エージェントを識別するには、Customer Journey Analyticsとのサーバーサイドのログ統合またはサーバーサイドのタグ付けが必要です。
分類は、AI プラットフォームのリファラーポリシーと適切なHTTP ヘッダー送信によって異なります。
検出には、リダイレクトと適切なURL パラメーター収集によるパラメーターの保存が必要です。

課題

LLMとAI エージェントは、デジタルプロパティを利用する際に、複雑で進化する行動を示します。 これらのテクノロジーは、プラットフォームやバージョン間で一貫性がなく動作します。 こうした一貫性の欠如は、データ担当者にとって特有の課題をもたらします。 行動パターンは大きく異なり、使用される特定のAI プラットフォーム、バージョン、インタラクションモードによって異なります。 この運用上の多様性により、標準的な分析フレームワーク内で、LLMとAI生成トラフィックを追跡および分類する取り組みが複雑化します。 これらのインタラクションの複雑な性質と急速な進化を組み合わせることで、データの整合性を維持するための詳細な検出および分類方法が必要になります。

  • 部分的なデータ収集:一部の新しいAI エージェントは、限定的なJavaScriptを実行するため、クライアントサイド実装のAnalytics データが不完全になります。 その結果、一部のインタラクションは追跡されますが、他のインタラクションは見逃されます。
  • 一貫性のないセッションデータ:AI エージェントがJavaScriptを実行する場合、セッションまたはページタイプによって異なる場合があります。 この違いにより、クライアントサイドの実装のために、Customer Journey Analyticsで断片化されたユーザージャーニーが作成されます。
  • 検出の課題:部分的なトラッキングでは、特定のタッチポイントがAnalyticsに表示されない可能性があるため、検出が信頼性を失います。

署名の検出

2025年8月現在、以下の具体的なシグナルを検出方法ごとに特定できます。

ユーザーエージェントの識別

Web クローラー
ユーザーエージェント文字列
目的/行動
GPTBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot
ChatGPTと言語モデルのトレーニングに使用されるOpenAIの主要なwebweb クローラー
ChatGPT-User
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
ChatGPTがユーザーの代理でweb サイトを閲覧する場合に使用します(以前)
ChatGPT-User v2
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/2.0; +https://openai.com/bot
ChatGPTのオンデマンドフェッチとインレスポンス検索用の更新バージョン
OAI-SearchBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
ChatGPTの検索重視のweb クローラーでコンテンツを発見
ClaudeBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ClaudeBot/1.0; +claudebot@anthropic.com
Claude AI アシスタントのトレーニングと更新に対するAnthropicのweb クローラー
クロード=ユーザー
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Claude AI ユーザーをサポート Claudeに質問する個人は、Clを使用してWeb サイトにアクセスする可能性があります…
Claude-SearchBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)
Webをナビゲートして、オンラインコンテンツを分析することで、Claude AI ユーザーの検索結果の品質を向上させます…
PerplexityBot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity.aiによるリアルタイム web データインデックス作成のweb クローラー
Perplexity-User
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://www.perplexity.ai/useragent)
ユーザーが「Perplexity citation」(robots.txtをバイパス)をクリックすると、ページが読み込まれる
Google-Extended
Mozilla/5.0 (compatible; Google-Extended/1.0; +http://www.google.com/bot.html)
GoogleのGemini向けAI重視web クローラー(標準のGoogleLebotとは別)
BingBot
Mozilla/5.0 (compatible; BingBot/1.0; +http://www.bing.com/bot.html)
Bing検索とBing チャットを強化するMicrosoftのweb クローラー(Copilot)
DuckAssistBot
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +http://www.duckduckgo.com/bot.html)
DuckAssist、DuckDuckGoのプライベート AI回答機能のコンテンツをスクレイピング
YouBot
Mozilla/5.0 (compatible; YouBot (+http://www.you.com))
You.comのAI 検索とブラウザーアシスタントの背後にあるWeb クローラー
meta-externalagent
Mozilla/5.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
LLMをトレーニングまたは調整するためのデータ収集を可能にする、Metaのボット
Amazonbot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
Amazonの検索およびAI アプリケーション向けweb クローラー
Applebot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
AppleのSpotlight、Siri、Safari向けweb クローラー
Applebot-Extended
Mozilla/5.0 (compatible; Applebot-Extended/1.0; +http://www.apple.com/bot.html)
AppleのAIを活用した将来のAI モデルに向けたweb クローラー(オプトイン)
Bytespider
Mozilla/5.0 (compatible; Bytespider/1.0; +http://www.bytedance.com/bot.html)
ByteDanceのTikTokおよびその他のサービス向けAI データコレクター
MistralAI-User
Mozilla/5.0 (compatible; MistralAI-User/1.0; +https://mistral.ai/bot)
Mistralの「Le Chat」アシスタント用のリアルタイム引用フェッチャー
cohere-ai
Mozilla/5.0 (compatible; cohere-ai/1.0; +http://www.cohere.ai/bot.html)
Cohereの言語モデルのテキストデータを収集

リファラー分類

ソース
リファラー
トラフィックタイプ
ChatGPT
chatgpt.com
ChatGPT インターフェイスからの直接トラフィック
クロード
claude.ai
AnthropicのClaude インターフェイスからのトラフィック
Google・ジェミニ
gemini.google.com
GoogleのAI アシスタントからのトラフィック
Microsoft Copilot
copilot.microsoft.com
MicrosoftのAI アシスタントからのトラフィック
Microsoft Copilot
m365.cloud.microsoft
MicrosoftのAI アシスタント(Microsoft 365 クラウドサービス)からのトラフィック
複雑性AI
perplexity.ai
引用を含むAI 検索からのトラフィック
META AI
meta.ai
MetaのAI アシスタントからのトラフィック

クエリパラメータ検出

LLM サービス
URLの例
クエリパラメーター
値の例
ChatGPT
https://www.yoursite.com/product?utm_source=chatgpt.com
utm_source
chatgpt.com
複雑性
https://www.yoursite.com/article?utm_source=perplexity
utm_source
複雑性

実装

派生フィールド ​​ セグメント ​​ ワークスペースプロジェクト ​の具体的な設定と設定により、一般的なCustomer Journey Analytics設定(connection​ データビュー、および​ ワークスペースプロジェクト ​)内のLLMとAI生成トラフィックについてレポートできます。

派生フィールド

検出方法と検出信号を設定するには、派生フィールドを基盤として使用します。 例えば、​ ユーザーエージェント ID​ クエリパラメーター検出​ リファラー分類の派生フィールドを定義します。

LLM/AI ユーザーエージェントの識別

Case When派生フィールド関数を使用して、LLM/AI ユーザーエージェントを識別する派生フィールドを定義します。

LLM/AI ユーザーエージェント ID {modal="regular"}

LLM/AI クエリパラメーター検出

URL解析および分類派生フィールド関数を使用して、クエリパラメーターを検出する派生フィールドを定義します。

LLM/AI UTM パラメーター検出 {modal="regular"}

LLM/AI リファラー分類

URL解析および分類派生フィールド関数を使用して、リファラーを分類する派生フィールドを定義します。

LLM/AI リファラー分類 {modal="regular"}

セグメント

専用セグメントを設定して、LLMとAIが生成したトラフィックに関連するイベント、セッション、人物を特定するのに役立ちます。 例えば、先ほど作成した派生フィールドを使用して、LLMとAIが生成したトラフィックを識別するセグメントを定義します。

LLMとAI生成トラフィックセグメント ​ {modal="regular"}

Workspace プロジェクト

派生フィールドとセグメントを使用して、LLMとAIが生成したトラフィックをレポートし、分析します。 例えば、以下の注釈付きプロジェクトを参照してください。

LLMとAI生成トラフィックのWorkspace プロジェクト ​ {modal="regular"}

recommendation-more-help
analytics-platform-help-main