LLM 및 AI 생성 트래픽에 대한 보고서
이 사용 사례 문서에서는 Customer Journey Analytics 파생 필드 기능을 LLM(대형 언어 모델) 및 AI 생성 트래픽에 대한 보고의 기반으로 사용하는 방법에 대해 알아봅니다.
검색 방법
LLM 및 AI 생성 트래픽을 탐지하려면 다음을 구별합니다.
- LLM 크롤러: RAG(Augmented Generation) 교육 및 검색을 위해 데이터를 수집합니다.
- AI 에이전트: 사람 대신 작업을 수행하는 인터페이스로 작동합니다. AI 에이전트는 웹 분석 추적 메서드를 우회하는 API를 통해 상호 작용하는 것을 선호합니다. 그럼에도 불구하고 여전히 웹 사이트를 통해 AI가 생성한 트래픽의 상당 부분을 분석할 수 있습니다.
LLM 및 AI 생성 트래픽을 식별하고 모니터링하는 세 가지 일반적인 코어 감지 방법은 다음과 같습니다.
- 사용자 에이전트 식별: 서버에 대한 요청이 있으면 HTTP 사용자 에이전트 헤더가 추출되어 알려진 AI 크롤러 및 에이전트 패턴에 대해 분석됩니다. 이 서버측 메서드는 HTTP 헤더에 액세스해야 하며 데이터 수집 계층에서 구현된 경우 가장 효과적입니다.
- 레퍼러 분류: HTTP 레퍼러 헤더에 현재 요청에 연결된 이전 웹 페이지의 URL이 포함되어 있습니다. 이 헤더는 사용자가 ChatGPT 또는 Perplexity와 같은 웹 인터페이스에서 사이트를 클릭스루할 때 표시됩니다.
- 쿼리 매개 변수 검색: AI 서비스는 URL 매개 변수(특히 UTM 매개 변수)를 링크에 추가할 수 있습니다. 이러한 매개 변수는 URL에서 유지되며 표준 분석 구현을 통해 감지할 수 있으므로 이러한 URL 매개 변수는 클라이언트측 추적 시나리오에서도 중요한 표시기가 됩니다.
다음 표는 다양한 LLM 및 AI 상호 작용 시나리오에 대해 감지 방법을 사용할 수 있는 방법을 보여 줍니다.
GPTBot
, ClaudeBot
등)를 식별할 수 있습니다.ChatGPT-User
, claude-web
)를 식별할 수 있습니다.OAI-SearchBot
, PerplexityBot
)는 서버측 로깅으로 식별할 수 있습니다.과제
LLM 및 AI 에이전트는 디지털 속성과 상호 작용할 때 복잡하고 진화하는 동작을 보여 줍니다. 이러한 기술은 플랫폼과 버전 간에 일관되지 않게 작동합니다. 이러한 불일치는 데이터 전문가에게 고유한 문제를 만듭니다. 행동 패턴은 크게 다르며 사용되는 특정 AI 플랫폼, 버전 및 상호 작용 모드에 따라 다릅니다. 이러한 운영 다양성은 표준 분석 프레임워크 내에서 LLM 및 AI 생성 트래픽을 추적하고 분류하는 노력을 복잡하게 합니다. 이러한 상호 작용의 복잡한 특성은 신속한 진화와 함께 데이터 무결성을 유지하기 위해 미묘한 탐지 및 분류 방법이 필요합니다.
- 부분 데이터 수집: 일부 최신 AI 에이전트는 제한된 JavaScript을 실행하므로 클라이언트측 구현에 대한 분석 데이터가 불완전합니다. 그 결과 일부 상호 작용은 추적되지만 다른 상호 작용은 누락됩니다.
- 세션 데이터가 일치하지 않음: AI 에이전트가 세션 또는 페이지 유형에 따라 JavaScript을 다르게 실행할 수 있습니다. 이러한 실행 차이는 클라이언트측 구현을 위해 Customer Journey Analytics에서 조각화된 사용자 여정을 만듭니다.
- 검색 문제: 부분 추적을 사용하면 특정 접점이 분석에 표시되지 않을 수 있으므로 검색을 신뢰할 수 없게 됩니다.
검색 서명
2025년 8월 현재, 검출 방식별로 다음과 같은 특정 신호를 확인할 수 있다.
사용자 에이전트 식별
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/2.0; +https://openai.com/bot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ClaudeBot/1.0; +claudebot@anthropic.com
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +Claude-User@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +Claude-SearchBot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://www.perplexity.ai/useragent)
Mozilla/5.0 (compatible; Google-Extended/1.0; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; BingBot/1.0; +http://www.bing.com/bot.html)
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +http://www.duckduckgo.com/bot.html)
Mozilla/5.0 (compatible; YouBot (+http://www.you.com))
Mozilla/5.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Mozilla/5.0 (compatible; Applebot-Extended/1.0; +http://www.apple.com/bot.html)
Mozilla/5.0 (compatible; Bytespider/1.0; +http://www.bytedance.com/bot.html)
Mozilla/5.0 (compatible; MistralAI-User/1.0; +https://mistral.ai/bot)
Mozilla/5.0 (compatible; cohere-ai/1.0; +http://www.cohere.ai/bot.html)
레퍼러 분류
쿼리 매개변수 감지
구현
파생 필드, 세그먼트 및 작업 영역 프로젝트의 특정 설정 및 구성을 통해 일반적인 Customer Journey Analytics 설정(연결, 데이터 보기 및 작업 영역 프로젝트) 내에서 LLM 및 AI가 생성한 트래픽을 보고할 수 있습니다.
파생 필드
검출 방법 및 검출 신호를 구성하기 위해서, 도출된 필드들을 기초로 한다. 예를 들어 사용자 에이전트 식별, 쿼리 매개 변수 감지 및 레퍼러 분류에 대해 파생 필드를 정의합니다.
LLM/AI 사용자 에이전트 식별
Case When 파생 필드 함수를 사용하여 LLM/AI 사용자 에이전트를 식별하는 파생 필드를 정의합니다.
LLM/AI 쿼리 매개 변수 감지
URL 구문 분석 및 분류 파생 필드 함수를 사용하여 쿼리 매개 변수를 검색하는 파생 필드를 정의합니다.
LLM/AI 레퍼러 분류
URL 구문 분석 및 분류 파생 필드 함수를 사용하여 레퍼러를 분류하는 파생 필드를 정의합니다.
세그먼트
LLM 및 AI 생성 트래픽과 관련된 이벤트, 세션 또는 사람을 식별하는 데 도움이 되는 전용 세그먼트를 설정합니다. 예를 들어 이전에 만든 파생 필드를 사용하여 LLM 및 AI 생성 트래픽을 식별하는 세그먼트를 정의합니다.
Workspace 프로젝트
파생된 필드와 세그먼트를 사용하여 LLM 및 AI가 생성한 트래픽을 보고하고 분석합니다. 예를 들어 아래에 주석이 있는 프로젝트를 참조하십시오.