Soluzione AEM per impedire l’indicizzazione dei motori di ricerca tramite Robots.txt e X-Robots-Tag Headers

Ultimo aggiornamento: 6 luglio 2026

Gli ambienti, le pagine, le risorse e gli endpoint generati da Adobe Experience Manager as a Cloud Service possono essere visualizzati nei risultati di ricerca quando le direttive di scansiona mancano o sono applicate al livello errato. È possibile impedire l’indicizzazione configurando robots.txt, applicando intestazioni di risposta X-Robots-Tag e utilizzando le regole dispatcher o CDN per percorsi, tipi di file o endpoint specifici *.plain.html.

Descrizione description

Ambiente

Adobe Experience Manager as a Cloud Service

Problema/Sintomi

Alcuni ambienti di Adobe Experience Manager, pagine, risorse o endpoint generati dal sistema possono essere visualizzati nei risultati dei motori di ricerca quando le direttive di blocco dei motori di ricerca sono mancanti, incomplete o applicate al livello errato. Ciò si verifica comunemente in ambienti non di produzione o quando è ancora possibile eseguire la ricerca per indicizzazione di risorse specifiche, come file PDF o endpoint generati.

I domini non di produzione vengono visualizzati nei risultati di ricerca.
Pagine o risorse specifiche, come i file di PDF, vengono indicizzate anche se erano previste restrizioni di indicizzazione.
Intestazione di risposta X-Robots-Tag mancante per alcuni URL.
Gli endpoint generati dal sistema come *.plain.html non restituiscono le direttive previste per i motori di ricerca.

Puoi confermare il problema in modo sicuro controllando gli URL interessati e le intestazioni di risposta:

Aprire il file /robots.txt del sito e verificare che siano presenti le direttive di scansiona previste.
Utilizzare un controllo dell’intestazione come curl -I https://<domain>/<path> per verificare se la risposta include X-Robots-Tag.
Verifica gli URL rappresentativi per ogni tipo di risorsa interessato, ad esempio pagine standard, file PDF, percorsi relativi ai moduli ed endpoint *.plain.html.
Confronta i risultati tra gli URL che devono essere bloccati e quelli che devono rimanere sottoponibili a ricerca per indicizzazione.

Risoluzione resolution

Per risolvere il problema, effettua le seguenti operazioni:

Identifica gli elementi che devono essere bloccati dall’indicizzazione, ad esempio un intero ambiente non di produzione, pagine selezionate, risorse PDF, percorsi relativi ai moduli o *.plain.html endpoint. Il risultato atteso è un elenco chiaro dei tipi di URL interessati, che puoi verificare controllando quali URL vengono visualizzati nei risultati della ricerca o non devono essere indicizzati.
Configura robots.txt per il blocco a livello di ambiente quando necessario. Il risultato previsto è che https://<environment-domain>/robots.txt restituisce le direttive di scansiona previste, che è possibile verificare aprendo il file live e rivedendo il relativo contenuto.
Applica un’intestazione X-Robots-Tag tramite la configurazione dispatcher o CDN quando hai bisogno di un controllo a livello di risposta per domini, percorsi o tipi di risorse specifici. Il risultato previsto è che le risposte interessate includono una direttiva come X-Robots-Tag: noindex, nofollow, che puoi verificare con un controllo dell’intestazione sugli URL interessati.
Utilizza le regole basate sul percorso se solo le pagine, le cartelle o i tipi di file selezionati devono essere esclusi dai risultati della ricerca invece di bloccare l’ambiente completo. Il risultato atteso è che solo le risorse di destinazione restituiscono la direttiva di blocco, che puoi verificare confrontando le risposte per gli URL di destinazione e non di destinazione.
Applica le regole X-Robots-Tag ai file PDF o ad altre risorse scaricabili se tali risorse sono ancora indicizzate. Il risultato atteso è che gli URL corrispondenti delle risorse restituiscono in modo coerente l’intestazione senza indice, che puoi verificare sottoponendo direttamente a test diversi URL di risorse.
Escludi i percorsi relativi ai moduli con robots.txt direttive e che supportano le regole dispatcher o CDN quando tali URL non devono essere scansionati. Il risultato atteso è che ai motori di ricerca viene indicato di non scansionare tali URL del modulo, che è possibile verificare esaminando le regole di robots.txt attive ed eventuali intestazioni di risposta correlate.
Utilizzare le regole di risposta CDN per gli endpoint *.plain.html quando gli URL generati richiedono direttive di blocco del motore di ricerca. Il risultato atteso è che questi endpoint restituiscono il valore X-Robots-Tag desiderato, che può essere verificato controllando le intestazioni di risposta dopo la distribuzione.
Ridistribuisci la configurazione e verifica nuovamente gli URL interessati. Il risultato atteso è che le direttive aggiornate sono visibili nelle risposte live e corrispondono al comportamento di blocco previsto, che è possibile verificare ricontrollando sia l’output live robots.txt che le intestazioni di risposta.

Se si verificano i seguenti sintomi e i passaggi per la risoluzione dei problemi producono i seguenti risultati, invia una richiesta di supporto all’indirizzo Supporto Adobe:

Il contenuto robots.txt corretto è distribuito, ma l’ambiente live utilizza comunque direttive di scansiona diverse.
L’intestazione X-Robots-Tag prevista è configurata, ma non viene visualizzata nelle risposte live dopo la ridistribuzione.
Solo alcuni URL ricevono l’intestazione prevista, anche se la stessa regola deve essere applicata al percorso completo o al modello di file.
*.plain.html o altri endpoint generati continuano a restituire direttive impreviste del motore di ricerca dopo gli aggiornamenti della configurazione CDN.

Quando si contatta il supporto Adobe, includere l’URL interessato, le intestazioni di risposta live, il contenuto robots.txt corrente e il frammento di configurazione dispatcher o CDN pertinente.

Lettura correlata

recommendation-more-help

experience-cloud-kcs-help-kbarticles