Verkeer geblokkeerd door robots.txt

Uw robots.txt -bestand bepaalt welke kruiplers toegang hebben tot uw site. Wanneer AI-agents selectief worden geblokkeerd van inhoud die anders toegankelijk is voor algemene crawlers, kunnen deze agents die inhoud niet indexeren of citeren waardoor de zichtbaarheid van uw merk in door AI gegenereerde reacties direct wordt verminderd.

De door robots.txt opportuniteit geblokkeerde verkeersblokkering analyseert het robots.txt -bestand aan de hand van uw toppagina’s en identificeert regels die voorkomen dat AI-agents toegang krijgen tot inhoud die ze moeten kunnen bereiken. Deze sectie bevat een overzicht van de bevindingen op individuele robots.txt regels, zodat u specifieke instructies kunt bekijken en bijwerken in plaats van het gehele bestand handmatig te controleren.

In één oogopslag worden twee belangrijke meetgegevens weergegeven:

Hoe werkt het

LLM Optimizer haalt uw robots.txt -bestand op en controleert de bovenste pagina’s op zes belangrijke AI-agent-gebruikersagents:

Een URL wordt slechts gemarkeerd wanneer het voor de vervangingsgebruikersagent (*) wordt toegestaan maar voor een specifieke AI agent wordt verworpen. Blanketblokkering — waarbij alle kruipbewegingen even beperkt zijn — wordt niet gerapporteerd. De controle is specifiek gericht op de uitsluiting van een selectief AI-agens, wat de meest activeerbare bevinding voor GEO is.

De resultaten worden weergegeven op twee tabbladen: robots.txt en Geblokkeerde Details van het Verkeer door Agent.

robots.txt

Op dit tabblad wordt uw volledige robots.txt -bestand weergegeven met rood gemarkeerde blokkeringsinstructies. Elke benadrukte lijn vertegenwoordigt een regel die selectief één of meerdere agenten van AI van de toegang tot van een URL blokkeert die anders openbaar toegankelijk is.

Als u op een gemarkeerde richtlijn klikt, wordt meer informatie over de gevolgen en de voorgestelde oplossing weergegeven.

De geblokkeerde Details van het Verkeer door Agent

Dit lusje verstrekt een onderbreking van geblokkeerd verkeer dat door AI agent wordt georganiseerd. Voor elke geblokkeerde agent, toont het:

Elke agent (bijvoorbeeld, OAI-Gebruiker, GPTBot, OAI-SearchBot) heeft zijn eigen sub-lusje zodat kunt u blokken per agent richten.

Procedure

Om een geblokkeerde agent het vinden op te lossen, open uw robots.txt dossier en bepaal de plaats van het lijnaantal naast elke beïnvloede URL in de Geblokkeerde Details van het Verkeer door het lusje van de Agent wordt getoond. Werk de instructie disallow voor de relevante AI-agent bij of verwijder deze om toegang tot de desbetreffende URL toe te staan.

Als u bijvoorbeeld GPTBot wilt loskoppelen van een specifieke pagina, verwijdert of werkt u de instructie bij:

User-agent: GPTBot
Disallow: /blog/cold-brewing-101

Nadat uw robots.txt -bestand is bijgewerkt en opnieuw gepubliceerd, detecteert LLM Optimizer de wijziging bij de volgende auditrun en geeft het aan dat de suggestie is opgelost.

Probeer het in de demo

Zie Verkeer Geblokkeerd door robots.txt kans in actie gebruikend het milieu Frescopa demo.

Verkeer weergeven dat is geblokkeerd door robots.txt in de Frescopa-demo

Veelgestelde vragen

waarom het blokkeren van AI agenten van belang voor GEO?

Voor de optimalisatie van de engine voor genereren is het vereist dat AI-crawlers toegang hebben tot uw site-inhoud en deze kunnen indexeren. Door het blokkeren van AI-agents voorkomt u direct dat uw pagina’s worden weergegeven in door AI gegenereerde reacties, waardoor citaten, merkopnamen en algemene AI-zichtbaarheid afnemen. Zelfs een enkele geblokkeerde pagina met veel verkeer kan een aanzienlijk verlies van door AI aangedreven merkblootstelling betekenen.

wat is het verschil tussen algemeen blokkeren en selectief blokkeren?

Blanketblokkering betekent dat alle kruiplers — inclusief algemene webkruiplers — van een pagina zijn beperkt. Selectieve blokkering betekent dat algemene kruiplers toegang hebben tot de pagina, maar dat specifieke AI-agents dat niet kunnen. Deze mogelijkheid markeert alleen selectieve blokkering, omdat het een opzettelijke of toevallige uitsluiting van AI-agents van inhoud vertegenwoordigt die anders openbaar is. Dit is de meest handelbare bevinding.

Welke AI agenten controleert LLM Optimizer?

LLM Optimizer controleert ClaudeBot, GPTBot, OAI-SearchBot, OAI-Gebruiker, PerplexityBot en Perplexiteit-Gebruiker.

wat als ik opzettelijk bepaalde AI agenten wil blokkeren?

U kunt elke gemarkeerde instructie controleren en ervoor kiezen het blok opzettelijk te houden. Verworpen suggesties blijven behouden in de verschillende auditruntime en worden alleen opnieuw weergegeven als het bestand robots.txt wordt gewijzigd en de regel opnieuw wordt weergegeven.

hoe volgt LLM Optimizer veranderingen in mijn robots.txt in tijd?

LLM Optimizer gebruikt hashing om de robots.txt -inhoud bij te houden in verschillende uitvoeringen. Als een eerder opgeloste blokkeringsregel opnieuw verschijnt — bijvoorbeeld na een robots.txt update — wordt deze opnieuw weergegeven als een nieuwe suggestie.

hoe worden de hoogste pagina’s bepaald?

Pagina’s worden afkomstig van een combinatie van uw SEO-pagina’s met het hoogste verkeer, URL’s die door AI-agent zijn bezocht, van CDN-logboeken en eventuele aangepaste URL’s die zijn opgegeven in uw siteconfiguratie.