Trafik blockerad av robots.txt

Din robots.txt-fil kontrollerar vilka crawlningar som kan komma åt din plats. När AI-agenter selektivt blockeras från innehåll som annars är tillgängligt för vanliga crawlare, kan dessa agenter inte indexera eller citera innehållet direkt och minska varumärkets synlighet för AI-genererade svar.

Trafiken som blockeras av robots.txt analyserar din robots.txt-fil mot de översta sidorna och identifierar regler som förhindrar AI-agenter från att komma åt innehåll som de ska kunna nå. Den söker efter resultat på den enskilda robots.txt-radnivån så att du kan granska och uppdatera specifika direktiv i stället för att granska hela filen manuellt.

Här visas två viktiga mätvärden i korthet:

Så här fungerar det

LLM Optimizer hämtar din robots.txt-fil och kontrollerar dina översta sidor mot sex större AI-agentanvändaragenter:

En URL flaggas bara när det är tillåtet för jokertecknets (*) användaragent, men inte tillåtet för en specifik AI-agent. Blockering av avropstecken - där alla crawler är lika begränsade - rapporteras inte. Granskningen avser specifikt exkludering av selektiva AI-agenter, vilket är den mest åtgärdbara sökningen för GEO.

Resultatet visas på två flikar: robots.txt och Information om blockerad trafik per agent.

robots.txt

På den här fliken visas din fullständiga robots.txt-fil med blockeringsdirektiv i rött. Varje markerad rad representerar en regel som selektivt blockerar en eller flera AI-agenter från att komma åt en URL som annars är tillgänglig för allmänheten.

Om du klickar på ett markerat direktiv visas mer information om dess effekt och den föreslagna korrigeringen.

Information om blockerad trafik per agent

På den här fliken finns en beskrivning av blockerad trafik som organiserats av AI-agenten. För varje blockerad agent visas följande:

Varje agent (till exempel OAI-User, GPTBot, OAI-SearchBot) har en egen underflik så att du kan adressera block per agent.

Så här åtgärdar du

Om du vill åtgärda en blockerad agentsökning öppnar du filen robots.txt och letar reda på radnumret som visas bredvid varje berörd URL på fliken Blockerad trafikinformation per agent. Uppdatera eller ta bort direktivet disallow för den relevanta AI-agenten för att ge åtkomst till den berörda URL:en.

Om du till exempel vill ta bort GPTBot från en viss sida tar du bort eller uppdaterar direktivet:

User-agent: GPTBot
Disallow: /blog/cold-brewing-101

När robots.txt-filen har uppdaterats och publicerats på nytt upptäcker LLM Optimizer ändringen vid nästa granskningskörning och markerar förslaget som löst.

Prova i filmen

Se hur Traffic Blocked by robots.txt fungerar i praktiken med hjälp av Frescopa-demomiljön.

Visa trafik blockerad av robots.txt i Frescopa-demo

Frågor och svar

Varför är det viktigt för GEO att blockera AI-agenter?

Optimering av generativ motor kräver att AI-crawler kan komma åt och indexera webbplatsinnehållet. Genom att blockera AI-agenter kan du förhindra att sidorna visas i AI-genererade svar, vilket minskar antalet citat, varumärkesomnämnanden och total AI-synlighet. Även en blockerad sida med hög trafik kan innebära en betydande förlust av AI-driven varumärkesexponering.

Vad är skillnaden mellan filtblockering och selektiv blockering?

Blockering av tomma band innebär att alla crawler, inklusive allmänna crawlningar för webben, är begränsade från en sida. Selektiv blockering innebär att allmänna crawler kan komma åt sidan, men specifika AI-agenter kan inte göra det. Den här affärsmöjligheten flaggar endast selektiv blockering eftersom den representerar ett avsiktligt eller oavsiktligt utelämnande av AI-agenter från innehåll som i övrigt är offentligt, vilket är den mest åtgärdbara upptäckten.

Vilka AI-agenter kontrollerar LLM Optimizer?

LLM Optimizer kontrollerar mot ClaudeBot, GPTBot, OAI-SearchBot, OAI-User, PerplexityBot och Perplexity-User.

Vad händer om jag avsiktligt vill blockera vissa AI-agenter?

Du kan granska varje flaggat direktiv och välja att behålla blocket avsiktligt. Avvisade förslag bevaras vid alla granskningar och kommer inte att visas igen om inte filen robots.txt ändras och regeln visas igen.

Hur spårar LLM Optimizer förändringar i robots.txt över tid?

LLM Optimizer använder hashning för att spåra ditt robots.txt-innehåll över olika körningar. Om en tidigare löst blockeringsregel återkommer, till exempel efter en robots.txt-uppdatering, kommer den att visas som ett nytt förslag.

Hur bestäms de översta sidorna?

Sidorna hämtas från en kombination av de mest trafikerade SEO-sidorna, de vanligaste AI-agent-besökta URL:erna från CDN-loggarna och eventuella anpassade URL:er som anges i platskonfigurationen.