에이전트 트래픽 오류
AI 에이전트 하지만 사이트의 HTTP 오류는 인간 브라우저가 다른 경우와 동일합니다. AI 에이전트가 404, 403 또는 5xx 오류에 도달하면 해당 콘텐츠에 액세스하거나 인용할 수 없으므로 AI가 생성한 응답에서 브랜드의 가시성이 직접 감소합니다.
에이전트 트래픽 오류 기회는 CDN 로그에서 AI 에이전트로 반환되는 HTTP 오류를 모니터링하고 영향을 받는 URL을 히트 볼륨과 함께 표시하고 제안을 수정합니다. 여기에는 세 가지 오류 유형(각각 대시보드에 고유한 기회가 있음)이 포함됩니다.
- 404 찾을 수 없음 — AI 에이전트가 필요 URL에 더 이상 존재하지 않는 콘텐츠에 액세스하지 못하도록 하는 끊어진 링크입니다.
- 403 금지됨 — AI 웹 크롤러가 도달할 수 있는 콘텐츠에서 차단되는 액세스 제한 사항입니다.
- 5xx 서버 오류 — AI 에이전트가 콘텐츠를 일시적으로 또는 지속적으로 사용할 수 없게 하는 서버측 불안정성.
각 오류 유형은 사이트에 대해 감지된 오류에 따라 대시보드에 별도의 기회로 표시될 수 있습니다.
또한 각 오류 유형에 대한 두 가지 주요 지표가 나타납니다.
- 총 URL — AI 에이전트에 오류를 반환하는 고유 URL의 수입니다.
- 총 히트 수 — 모든 AI 에이전트 요청 동안 기록된 총 오류 응답 수입니다.
요약 지표 및 오류 세부 정보를 표시하는
작동 방식
LLM Optimizer은 Athena를 통해 CDN 로그를 쿼리하여 AI 에이전트 사용자 에이전트에 404, 403 또는 5xx 상태 코드를 반환하는 URL을 식별합니다. 사용자 에이전트에는 ChatGPT, Claude, Perplexity 및 Gemini가 포함됩니다. 감사당 최대 500개의 URL이 분석되고 트래픽 볼륨별로 순위가 지정됩니다. 감사는 기본적으로 매주 실행됩니다.
긍정 오류 및 부실 데이터를 필터링하기 위해 표시되기 전에 URL의 유효성을 검사합니다. LLM Optimizer은 각 URL을 다시 테스트하여 현재 상태를 확인하고 AI 에이전트 응답과 사람 브라우저 응답을 비교하여 웹 크롤러 관련 문제를 식별합니다.
404 오류의 경우 AI 기반의 제안입니다. 따라서 LLM Optimizer은 깨진 URL의 구조 및 콘텐츠를 분석하여 사용자 의도를 유지하는 대체 URL을 추천하고 신뢰도 점수 및 권장 사항을 설명하는 근거를 제공합니다.
403 및 5xx 오류의 경우 제안은 템플릿을 기반으로 하며 각 오류 유형에 대한 타깃팅된 지침을 제공합니다.
오류 세부 정보 테이블
오류 세부 정보 표에는 사용자 에이전트, 국가 코드 및 범주로 필터링된 영향을 받는 모든 URL이 나열됩니다. 각 URL에 대해 다음과 같이 표시됩니다.
- URL — 영향을 받는 페이지입니다.
- 합계 — AI 에이전트의 총 오류 히트 수입니다.
- 최근 주에 대한 주간 히트가 계산되므로 문제가 지속적인지 또는 개선되고 있는지 추적할 수 있습니다.
제안 세부 정보
제안을 클릭하면 다음을 보여주는 제안 세부 정보 패널이 열립니다.
- 영향을 받는 URL 및 권장 작업 - 예: “유효한 URL이거나 대체 URL로 리디렉션해야 함”.
- AI 에이전트 사용자 에이전트의 주당 총 히트 수를 보여주는 통계 차트로, 트래픽에 미치는 영향 및 문제가 지속적인지 또는 개선되고 있는지 여부를 이해할 수 있습니다.
- 제안을 관리하려면 공유 및 해제 작업을 사용하세요.
일부 5xx(및 유사) 사례의 경우 패널은 동일한 도메인 대체 URL을 사용할 수 없는 경우 기록하고 권장 사항이 도메인 및 목록 규칙을 따르는 방법을 설명할 수 있습니다. 예를 들어 더 가까운 일치를 제공할 수 없을 때 SEO 값을 유지하기 위해 기본 도메인 URL을 제안합니다.
수정 방법
수정 사항은 오류 유형에 따라 다릅니다.
404 오류 — 제안에는 손상된 URL의 구조 및 콘텐츠에 따라 AI에서 권장하는 하나 이상의 대체 URL과 함께 신뢰도 점수 및 근거가 포함됩니다. 깨진 URL에서 제안된 대체 요소로 서버측 리디렉션을 구현하여 AI 에이전트 액세스를 복원하고 콘텐츠 검색 기능을 유지합니다.
403 오류 - 액세스 권한을 검토하여 AI 웹 크롤러가 액세스할 수 있어야 하는 콘텐츠에서 차단되지 않도록 하십시오. 특히:
- 액세스 권한 검토 — AI 웹 크롤러 차단됨.
- 보안 설정이 합법적인 웹 크롤러를 차단하지 않는지 확인하십시오.
5xx 오류 - 플래그가 지정된 페이지에 영향을 주는 서버측 문제를 조사합니다. 특히:
- 트래픽이 많은 페이지에 대한 서버 안정성을 조사합니다.
- 애플리케이션 로그에서 반복 오류를 확인합니다.
- 인프라 상태 및 용량 모니터링
데모에서 사용해 보기
Frescopa 데모 환경을 사용하여 에이전트 트래픽 오류 영업 기회를 참조하십시오.
자주 묻는 질문
AI 가시성에 HTTP 오류가 중요한 이유는 무엇입니까?
검색증강된 시스템에서 AI 웹 크롤러는 링크를 검색하고 응답에 포함할 페이지 콘텐츠를 가져오려고 시도합니다. 페이지가 없거나, 오류를 반환하거나, 페이지에 액세스할 수 없는 경우 해당 콘텐츠를 검색하거나 인용할 수 없습니다. 이러한 기술 오류를 수정하면 콘텐츠가 AI 시스템에서 성공적으로 색인화되고 인용될 가능성이 바로 개선됩니다.
404와 403 오류 간의 차이점은 무엇입니까?
404 오류는 페이지가 요청된 URL에 존재하지 않음을 의미합니다. 리디렉션 없이 삭제되거나 이동되었습니다. 403 오류는 페이지가 존재하지만 모든 웹 크롤러 또는 특히 AI 에이전트에 대한 액세스가 거부되고 있음을 의미합니다. 두 가지 모두 AI 에이전트가 콘텐츠에 액세스하는 것을 방지하지만 각각의 수정 사항은 다릅니다.
403 오류가 AI 에이전트에만 영향을 주고 사람 방문자에게는 영향을 주지 않는 이유는 무엇입니까?
일부 보안 구성 또는 액세스 제어 설정은 인간 방문자가 정상적으로 액세스할 수 있는 콘텐츠에서 AI 에이전트 사용자 에이전트를 차단할 수 있습니다. LLM Optimizer은 특히 AI 에이전트 응답과 사람 브라우저 응답을 비교하여 이러한 사례에 플래그를 지정합니다.
긍정 오류(false positive)는 어떻게 필터링됩니까?
LLM Optimizer은 URL을 제안으로 표시하기 전에 URL을 다시 테스트하여 현재 상태를 확인하고 AI 에이전트 응답을 사람 브라우저 응답과 비교하여 웹 크롤러 관련 문제를 식별합니다. 더 이상 오류를 반환하지 않는 URL은 표시되지 않습니다.
분석이 얼마나 자주 업데이트됩니까?
감사는 기본적으로 매주 실행되며 이전 주의 CDN 로그에서 오류 데이터를 가져옵니다. 오류 세부 정보 표에는 주별 히트 수가 표시되므로 시간에 따른 트렌드를 추적할 수 있습니다.
모니터링되는 AI 에이전트는 무엇입니까?
LLM Optimizer은 ChatGPT, Claude, Perplexity 및 Gemini 웹 크롤러를 포함하여 감지된 모든 AI 에이전트 사용자 에이전트 패턴에서 오류 응답을 모니터링합니다.