Rapport om trafik som genererats av LLM och AI
I den här artikeln beskrivs hur du använder funktionen för Customer Journey Analytics-härledda fält som grund för att rapportera om trafik som genererats av LLM (Large Language Model) och AI.
Detektionsmetoder
För att upptäcka LLM och AI-genererad trafik ska man skilja mellan
- LLM-crawler: Samla in data för utbildning och hämtning av utökad generering (RAG).
- AI-agenter: Funktion som gränssnitt som utför åtgärder åt människor. AI-agenter föredrar att interagera via API:er, som åsidosätter spårningsmetoder för webbanalyser. Du kan ändå analysera en stor del av den AI-genererade trafiken via webbplatser.
Tre vanliga metoder för identifiering och övervakning av LLM- och AI-genererad trafik är:
- Identifiering av användaragent: När en begäran görs till servern extraheras HTTP-huvudet för användaragent och analyseras mot kända AI-crawler och agentmönster. Den här metoden på serversidan kräver åtkomst till HTTP-huvuden och är mest effektiv när den implementeras på datainsamlingsskiktet.
- Referensklassificering: HTTP-referensrubriken innehåller URL:en för den föregående webbsidan som länkade till den aktuella begäran. Det här sidhuvudet visar när användare klickar igenom till din webbplats från webbgränssnitt som ChatGPT eller Perplexity.
- Identifiering av frågeparametrar: AI-tjänster kan lägga till URL-parametrar (särskilt UTM-parametrar) till länkar. Dessa parametrar finns kvar i URL:en och kan identifieras med standardanalysimplementeringar, vilket gör URL-parametrarna värdefulla indikatorer även i spårningsscenarier på klientsidan.
Följande tabell visar hur detekteringsmetoderna kan användas i olika interaktionsscenarier för LLM och AI.
GPTBot
, ClaudeBot
och mer) kan identifieras när loggning på serversidan implementeras.ChatGPT-User
, claude-web
) kan identifieras när loggning på serversidan hämtar rubriker.OAI-SearchBot
, PerplexityBot
) kan identifieras med loggning på serversidan.Utmaningar
LLM- och AI-agenter visar komplexa och föränderliga beteenden när de interagerar med digitala egenskaper. Dessa tekniker fungerar inkonsekvent på olika plattformar och versioner. Denna inkonsekvens skapar unika utmaningar för dataproffs. Beteendemönstren varierar avsevärt och beror på vilken AI-plattform, version och vilket interaktionsläge som används. Denna operativa mångfald komplicerar arbetet med att spåra och kategorisera trafik som genereras av LLM och AI inom standardanalysramverk. Den komplexa karaktären hos dessa interaktioner, i kombination med deras snabba utveckling, kräver nya detekterings- och klassificeringsmetoder för att upprätthålla dataintegriteten:
- Delvis datainsamling: Vissa nyare AI-agenter kör begränsade JavaScript, vilket resulterar i ofullständiga analysdata för implementeringar på klientsidan. Därför spåras vissa interaktioner medan andra interaktioner saknas.
- Inkonsekventa sessionsdata: AI-agenter kan köra JavaScript på olika sätt i sessioner och sidtyper. Denna skillnad skapar fragmenterade användarresor i Customer Journey Analytics för implementeringar på klientsidan.
- Identifieringsproblem: Med partiell spårning blir identifieringen otillförlitlig eftersom vissa kontaktytor kan vara osynliga för analys.
Identifieringssignaturer
Från och med augusti 2025 kan följande specifika signaler identifieras för var och en av detekteringsmetoderna.
Identifiering av användaragent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/2.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ClaudeBot/1.0; +claudebot@anthropic.com
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://www.perplexity.ai/useragent)
Mozilla/5.0 (compatible; Google-Extended/1.0; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; BingBot/1.0; +http://www.bing.com/bot.html)
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +http://www.duckduckgo.com/bot.html)
Mozilla/5.0 (compatible; YouBot (+http://www.you.com))
Mozilla/5.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (compatible; Applebot-Extended/1.0; +http://www.apple.com/bot.html)
Mozilla/5.0 (compatible; Bytespider/1.0; +http://www.bytedance.com/bot.html)
Mozilla/5.0 (compatible; MistralAI-User/1.0; +https://mistral.ai/bot)
Mozilla/5.0 (compatible; cohere-ai/1.0; +http://www.cohere.ai/bot.html)
Referensklassificering
Identifiering av frågeparametrar
Implementering
Du kan rapportera om LLM- och AI-genererad trafik i en typisk Customer Journey Analytics-konfiguration (anslutning, datavyer och arbetsyteprojekt) genom att konfigurera och konfigurera härledda fält, segment och arbetsyteprojekt .
Härledda fält
Om du vill konfigurera identifieringsmetoder och identifieringssignaler använder du härledda fält som grund. Definiera till exempel härledda fält för identifiering av användaragent, identifiering av frågeparametrar och klassificering av referent.
Identifiering av användaragent för LLM/AI
Använd de härledda fältsfunktionerna Fall när för att definiera ett härlett fält som identifierar LLM/AI-användaragenter.
Identifiering av frågeparametrar för LLM/AI
Använd de härledda fältsfunktionerna URL Parse och Classify för att definiera ett härlett fält som identifierar frågeparametrar.
Klassificering av LLM/AI-referens
Använd de härledda fältsfunktionerna URL Parse och Classify för att definiera ett härlett fält som klassificerar referenser.
Segment
Skapa dedikerade segment som hjälper dig att identifiera händelser, sessioner eller personer som relaterar till LLM och AI-genererad trafik. Använd till exempel de härledda fälten som du skapade tidigare för att definiera ett segment som identifierar LLM- och AI-genererad trafik.
Workspace-projekt
Använd de härledda fälten och segmenten för att rapportera och analysera om trafik som genereras av LLM och AI. Se till exempel det kommenterade projektet nedan.