LLM和AI產生的流量報告
本使用案例文章探討如何使用Customer Journey Analytics衍生欄位功能作為報告LLM (大型語言模型)和AI產生流量的基礎。
偵測方法
若要偵測LLM和AI產生的流量,請區分:
- LLM編目程式:收集資料,以便進行訓練和擷取增強產生(RAG)。
- AI代理程式:充當代表人類執行工作的介面。 AI代理程式偏好透過API互動,這略過網頁分析追蹤方法。 儘管如此,您仍可分析很大一部分透過網站的AI產生流量。
用於識別和監控LLM和AI產生流量的三種常見核心偵測方法如下:
- 使用者代理程式識別:向伺服器提出要求時,會擷取HTTP使用者代理程式標頭,並根據已知的AI編目程式和代理程式模式進行分析。 此伺服器端方法需要存取HTTP標題,且在資料收集層實作時最有效。
- 反向連結分類: HTTP反向連結標頭包含連結至目前請求的先前網頁的URL。 此標題會顯示使用者從ChatGPT或Perplexity等網路介面點進您的網站時。
- 查詢引數偵測: AI服務可以將URL引數(尤其是UTM引數)附加至連結。 這些引數會儲存在URL中,並可透過標準分析實施進行偵測,因此這些URL引數即使在使用者端追蹤案例中也有重要指標。
下表說明偵測方法如何用於不同的LLM和AI互動案例。
GPTBot
、ClaudeBot
等)。ChatGPT-User
, claude-web
)。OAI-SearchBot
, PerplexityBot
)。挑戰
LLM和AI代理程式會在與數位屬性互動時,展示複雜且不斷進化的行為。 這些技術在不同平台和版本間運作不一致。 這種不一致性給資料專業人員帶來了獨特的挑戰。 行為模式差異極大,且取決於使用的特定AI平台、版本和互動模式。 由於營運上的多樣性,使得在標準分析架構中追蹤及分類LLM和AI產生的流量變得複雜。 這些互動的複雜性質,加上其快速的演變,需要細緻的偵測和分類方法來維持資料的完整性:
- 部分資料集合:某些較新的AI代理程式執行有限的JavaScript,導致使用者端實作的分析資料不完整。 因此,某些互動會被追蹤,而其他互動則會被遺漏。
- 工作階段資料不一致: AI代理程式可能會在不同工作階段或頁面型別間執行JavaScript。 這種執行差異會在使用者端實施的Customer Journey Analytics中建立分散的使用者歷程。
- 偵測挑戰:使用部分追蹤時,偵測會變得不可靠,因為某些接觸點可能會對分析隱藏。
偵測簽章
自2025年8月起,每種偵測方法都能識別下列特定訊號。
使用者代理識別
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/2.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ClaudeBot/1.0; +claudebot@anthropic.com
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://www.perplexity.ai/useragent)
Mozilla/5.0 (compatible; Google-Extended/1.0; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; BingBot/1.0; +http://www.bing.com/bot.html)
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +http://www.duckduckgo.com/bot.html)
Mozilla/5.0 (compatible; YouBot (+http://www.you.com))
Mozilla/5.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (compatible; Applebot-Extended/1.0; +http://www.apple.com/bot.html)
Mozilla/5.0 (compatible; Bytespider/1.0; +http://www.bytedance.com/bot.html)
Mozilla/5.0 (compatible; MistralAI-User/1.0; +https://mistral.ai/bot)
Mozilla/5.0 (compatible; cohere-ai/1.0; +http://www.cohere.ai/bot.html)
反向連結分類
查詢引數偵測
實作
您可以透過衍生欄位、區段和工作區專案的特定設定和組態,在一般的Customer Journey Analytics設定(連線、資料檢視和工作區專案)中報告LLM和AI產生的流量。
衍生欄位
若要設定偵測方法和偵測訊號,請使用衍生欄位做為基礎。 例如,定義使用者代理識別、查詢引數偵測和反向連結分類的衍生欄位。
LLM/AI使用者代理程式識別
使用Case When衍生欄位函式來定義識別LLM/AI使用者代理程式的衍生欄位。
LLM/AI查詢引數偵測
使用URL剖析和分類衍生欄位函式來定義可偵測查詢引數的衍生欄位。
LLM/AI反向連結分類
使用URL剖析和分類衍生欄位函式來定義分類反向連結的衍生欄位。
區段
設定專用區段,協助您識別與LLM和AI產生流量相關的事件、工作階段或人員。 例如,使用您先前建立的衍生欄位來定義區段,以識別LLM和AI產生的流量。
Workspace專案
使用衍生的欄位和區段來報告和分析LLM和AI產生的流量。 例如,請參閱底下有註解的專案。