Traffico bloccato da robots.txt

Il tuo file robots.txt controlla quali crawler possono accedere al sito. Quando ad alcuni agenti IA viene impedito di accedere a contenuti che sono invece accessibili a crawler generici, tali agenti non possono indicizzare né citare direttamente tali contenuti, e questo riduce la visibilità del brand nelle risposte generate dall’IA.

L’opportunità Traffico bloccato da robots.txt analizza il file robots.txt rispetto alle tue pagine più visitate e individua le regole che impediscono agli agenti IA di accedere a contenuti che dovrebbero invece essere in grado di raggiungere. I risultati sono presentati a livello di singola riga in robots.txt, così puoi esaminare e aggiornare specifiche direttive anziché controllare manualmente l’intero file.

Mette subito in evidenza due metriche chiave:

Come funziona

LLM Optimizer recupera il file robots.txt e controlla le tue prime pagine rispetto a sei maggiori user agent dell’agente IA:

Un URL è contrassegnato solo quando è consentito per l’user agent (*) con caratteri jolly ma non per un agente IA specifico. Il blocco generalizzato, in cui tutti i crawler sono soggetti a restrizioni nella stessa misura, non viene segnalato. L’audit è mirato specificamente all’esclusione selettiva dell’agente IA, che rappresenta il risultato più actionable per la GEO.

I risultati sono visualizzati in due schede: robots.txt e Dettagli traffico bloccato dall’agente.

robots.txt

In questa scheda viene visualizzato il file robots.txt completo, con le direttive di blocco evidenziate in rosso. Ogni riga evidenziata rappresenta una regola che blocca l’accesso, selettivamente per uno o più agenti IA, a un URL altrimenti accessibile al pubblico.

Facendo clic su una direttiva evidenziata vengono visualizzate ulteriori informazioni sul suo impatto e sulla correzione suggerita.

Dettagli del traffico bloccato per agente

Questa scheda fornisce un raggruppamento del traffico bloccato organizzato per agente IA. Per ogni agente bloccato, la scheda riporta:

Ogni agente (ad esempio, OAI-User, GPTBot, OAI-SearchBot) dispone di una propria sottoscheda che consente di risolvere i blocchi per agente.

Risoluzione

Per risolvere il problema di un agente bloccato trovato, apri il file robots.txt e individua il numero di riga riportato accanto a ciascun URL interessato nella scheda Dettagli traffico bloccato per agente. Aggiorna o rimuovi la direttiva di esclusione per l’agente IA pertinente per consentire l’accesso all’URL interessato.

Ad esempio, per sbloccare GPTBot da una pagina specifica, rimuovi o aggiorna la direttiva:

User-agent: GPTBot
Disallow: /blog/cold-brewing-101

Una volta aggiornato e ripubblicato il file robots.txt, LLM Optimizer rileverà il cambiamento alla successiva esecuzione dell’audit e contrassegnerà il suggerimento come risolto.

Prova nella demo

Guarda in azione l’opportunità Traffico bloccato da robots.txt utilizzando l’ambiente demo di Frescopa.

Visualizza il traffico bloccato da robots.txt nella demo di Frescopa

Domande frequenti

Perché il blocco degli agenti IA è importante per la GEO?

La Generative Engine Optimization richiede che i crawler IA possano accedere e indicizzare il contenuto del sito. Il blocco diretto degli agenti IA impedisce la visualizzazione delle tue pagine nelle risposte generate dall’IA, riducendo citazioni, menzioni del brand e visibilità IA complessiva. Anche una singola pagina con traffico elevato bloccata può rappresentare una notevole perdita di esposizione del brand basata sull’IA.

Qual è la differenza tra il blocco generalizzato e il blocco selettivo?

Con il blocco generalizzato viene impedito l’accesso a una pagina per tutti i crawler, inclusi i crawler web generali. Il blocco selettivo consente ai crawler generali di accedere alla pagina, ma non ad agenti IA specifici. Questa opportunità segnala solo il blocco selettivo perché rappresenta un’esclusione intenzionale o accidentale degli agenti IA da contenuti altrimenti pubblici, il che è il risultato più actionable.

Quali agenti IA controlla LLM Optimizer?

LLM Optimizer verifica la presenza di ClaudeBot, GPTBot, OAI-SearchBot, OAI-User, PerplexityBot e Perplexity-User.

E se volessi bloccare intenzionalmente determinati agenti IA?

Puoi rivedere ciascuna direttiva segnalata e scegliere se mantenere il blocco intenzionalmente. I suggerimenti ignorati sono conservati nelle varie esecuzioni di audit e non saranno riproposti a meno che il file robots.txt non venga modificato e la regola non ricompaia.

Come fa LLM Optimizer a tenere traccia delle modifiche apportate al mio file robots.txt nel tempo?

LLM Optimizer utilizza l’hashing per tenere traccia del contenuto di robots.txt nelle varie esecuzioni. Se una regola di blocco precedentemente risolta ricompare, ad esempio dopo un aggiornamento di robots.txt, verrà riproposta come nuovo suggerimento.

Come vengono determinate le prime pagine?

Le pagine sono reperite combinando le tue pagine SEO con il maggior traffico, gli URL più visitati dagli agenti IA dai registri CDN ed eventuali URL personalizzati specificati nella configurazione del tuo sito.