Inoltro del registro log-forwarding

I clienti con una licenza di un fornitore di registrazione o che ospitano un prodotto di registrazione possono inoltrare i registri di AEM (incluso Apache/Dispatcher) e i registri CDN alla destinazione di registrazione associata. AEM as a Cloud Service supporta le seguenti destinazioni di registrazione:

L’inoltro del registro CDN [1] ad Amazon S3, Dynatrace e New Relic è in versione beta. Deve essere abilitato esplicitamente fino al 26 gennaio 2027. Consulta Registri CDN per Amazon S3, Dynatrace e New Relic (beta). Per inviare commenti e suggerimenti, invia un’e-mail a aemcs-logforwarding-beta@adobe.com.

L’inoltro dei registri viene configurato in modo self-service dichiarando una configurazione in Git e può essere distribuito tramite pipeline di configurazione Cloud Manager ai tipi di ambiente di sviluppo, staging e produzione. Il file di configurazione può essere implementato negli ambienti di sviluppo rapido (RDE, Rapid Developement Environments) utilizzando gli strumenti della riga di comando.

È disponibile un’opzione per instradare i registri AEM e Apache/Dispatcher tramite l’infrastruttura di rete avanzata di AEM, ad esempio l’IP in uscita dedicato. I registri CDN vengono sempre inviati direttamente dalla CDN e non utilizzano la rete avanzata. Consulta Trasporto e reti avanzate.

Struttura di questo articolo how-organized

Questo articolo è organizzato nel modo seguente:

Configurazione setup

I token nella configurazione (ad esempio ${{SPLUNK_TOKEN}}) rappresentano segreti, che non devono essere memorizzati in Git. Dichiarale invece come Variabili di ambiente segrete di Cloud Manager. Assicurarsi di selezionare Tutti come valore a discesa per il campo Servizio applicato, in modo che i registri possano essere inoltrati ai livelli di authoring, pubblicazione e anteprima.

È possibile impostare valori diversi tra i registri CDN e i registri AEM (incluso Apache/Dispatcher), includendo un blocco cdn e/o aem aggiuntivo dopo il blocco default, in cui le proprietà possono ignorare quelle definite nel blocco default. È richiesta solo la proprietà abilitata. Un possibile caso di utilizzo potrebbe essere l’utilizzo di un indice Splunk diverso per i registri CDN, come illustrato nell’esempio seguente.

   kind: "LogForwarding"
   version: "1"
   data:
     splunk:
       default:
         enabled: true
         host: "splunk-host.example.com"
         token: "${{SPLUNK_TOKEN}}"
         index: "AEMaaCS"
       cdn:
         enabled: true
         token: "${{SPLUNK_TOKEN_CDN}}"
         index: "AEMaaCS_CDN"

Un altro scenario consiste nel disabilitare l’inoltro dei registri CDN o dei registri di AEM (incluso Apache/Dispatcher). Ad esempio, per inoltrare solo i registri CDN, puoi configurare quanto segue:

   kind: "LogForwarding"
   version: "1"
   data:
     splunk:
       default:
         enabled: true
         host: "splunk-host.example.com"
         token: "${{SPLUNK_TOKEN}}"
         index: "AEMaaCS"
       aem:
         enabled: false

Trasporto e reti avanzate transport-advancednetworking

Alcune organizzazioni scelgono di limitare il traffico che può essere ricevuto dalle destinazioni di registrazione, altre potrebbero richiedere l’uso di porte diverse da HTTPS (443). In tal caso La rete avanzata dovrà essere configurata prima di distribuire la configurazione di inoltro del registro.

Utilizzare la tabella seguente per verificare quali sono i requisiti per la configurazione avanzata di rete e registrazione in base al fatto che si utilizzi o meno la porta 443 e che i registri debbano essere visualizzati da un indirizzo IP fisso. La tabella si applica ai registri di AEM (incluso Apache/Dispatcher). Per i registri CDN, consulta Registri CDN e elenchi consentiti IP.

Per i registri di AEM (incluso Apache/Dispatcher), se hai configurato Rete avanzata, puoi utilizzare la proprietà aem.advancedNetworking per inoltrarli da un indirizzo IP di uscita dedicato.

L’esempio seguente mostra come configurare la registrazione su una porta HTTPS standard con rete avanzata.

kind: "LogForwarding"
version: "1"
data:
  splunk:
    default:
      enabled: true
      host: "splunk-host.example.com"
      port: 443
      token: "${{SPLUNK_TOKEN}}"
      index: "aemaacs"
    aem:
      advancedNetworking: true

Registri CDN e elenchi consentiti IP cdn-ip-allowlist

I registri CDN vengono inviati direttamente dalla rete CDN (Fastly), non da AEM as a Cloud Service. Questo vale per ogni destinazione di registrazione:

Se l’elenco degli indirizzi IP condivisi è troppo grande per essere inserito nell’elenco Consentiti, puoi inviare i registri CDN a un server https o a un archivio BLOB di Azure (non Adobe) dove è possibile scrivere una logica per inviare i registri da un IP noto alla destinazione finale.

Autenticazione reciproca TLS (mTLS) (beta) mtls

Le destinazioni Splunk, Elasticsearch/OpenSearch e HTTPS supportano TLS reciproco (mTLS). Con mTLS, AEM as a Cloud Service presenta un certificato client quando si connette alla destinazione di registrazione, in modo che quest’ultima possa verificare che i registri provengano dal tuo ambiente. mTLS si applica ai registri di AEM (incluso Apache/Dispatcher) e ai registri CDN.

mTLS funziona insieme all’autenticazione esistente della destinazione. Mantieni le proprietà di autenticazione esistenti della destinazione, ad esempio token (Splunk) o user e password (Elasticsearch/OpenSearch). Per le destinazioni HTTPS che inoltrano i registri CDN, sono necessari authHeaderName e authHeaderValue.

Configurazione mtls-configuration

Aggiungi un blocco mtls insieme alle altre proprietà della destinazione:

L’esempio seguente inoltra i registri AEM e CDN a Splunk utilizzando mTLS:

kind: "LogForwarding"
version: "1"
data:
  splunk:
    default:
      enabled: true
      host: "splunk-host.example.com"
      token: "${{SPLUNK_TOKEN}}"
      index: "aemaacs"
      mtls:
        cert: "${{SPLUNK_MTLS_CERT}}"
        key: "${{SPLUNK_MTLS_KEY}}"
        ca: "${{SPLUNK_MTLS_CA}}"

Si applicano le seguenti regole:

Formati chiave supportati mtls-key-formats

La prima riga del testo PEM della chiave mostra il relativo formato:

Per una chiave crittografata, impostare anche keyPasswd sulla relativa password.

PKCS#8 crittografato è consigliato per le chiavi crittografate. Per convertire una chiave nel formato precedente, utilizzare il comando seguente, che richiede la password corrente e quindi la password della nuova chiave:

openssl pkcs8 -topk8 -v2 aes-256-cbc -in client.key -out client-pkcs8.key

Archivia il contenuto di client-pkcs8.key nel segreto a cui fa riferimento key e la relativa password nel segreto a cui fa riferimento keyPasswd.

Registri CDN mtls-cdn

Come altre proprietà, un blocco mtls in default si applica sia ai registri di AEM che a quelli CDN. Per utilizzare un certificato diverso per i registri CDN, impostare le proprietà mtls in un blocco cdn. Per utilizzare mTLS solo per i registri AEM o solo per i registri CDN, inserire il blocco mtls nel blocco aem o cdn invece di default.

Dopo aver distribuito una configurazione che abilita l’inoltro dei registri CDN a una destinazione, l’invio dei primi registri CDN può richiedere alcuni minuti. Per le destinazioni HTTPS, anche la consegna del registro CDN viene avviata solo dopo che il server ha completato la verifica una tantum descritta in HTTPS. La richiesta di verifica viene inviata con lo stesso certificato client, pertanto il server deve accettare tale certificato anche nel percorso di verifica.

Rotazione e scadenza del certificato mtls-rotation

Per ruotare un certificato, aggiorna le variabili di ambiente segrete di Cloud Manager che contengono il certificato (e la chiave, se modificata), quindi esegui nuovamente la pipeline di configurazione. Se il file di configurazione dell’inoltro del registro stesso è invariato, apporta una modifica anche a esso in modo che la configurazione venga nuovamente applicata. Ad esempio, memorizzare i nuovi valori in nuove variabili di ambiente segrete e fare riferimento a tali nomi nel blocco mtls.

È inoltre possibile ricevere una notifica proattiva Centro azioni circa 21 giorni prima della scadenza di un certificato client. Tieni traccia delle date di scadenza dei certificati anziché affidarti a questa notifica.

Registrazione della configurazione di destinazione logging-destinations

Di seguito sono elencate le configurazioni per le destinazioni di registrazione supportate, insieme a eventuali considerazioni specifiche.

Amazon S3 amazons3

I registri CDN per Amazon S3 sono disponibili in versione beta. Consulta Registri CDN per Amazon S3, Dynatrace e New Relic (beta) e Registri CDN di Amazon S3.

kind: "LogForwarding"
version: "1"
data:
  awsS3:
    default:
      enabled: true
      region: "your-bucket-region"
      bucket: "your-bucket-name"
      accessKey: "${{AWS_S3_ACCESS_KEY}}"
      secretAccessKey: "${{AWS_S3_SECRET_ACCESS_KEY}}"

Per inoltrare sia i registri di AEM che i registri CDN (registri CDN in versione beta):

kind: "LogForwarding"
version: "1"
data:
  awsS3:
    default:
      enabled: true
      region: "us-east-1"
      bucket: "your-bucket-name"
      accessKey: "${{AWS_S3_ACCESS_KEY}}"
      secretAccessKey: "${{AWS_S3_SECRET_ACCESS_KEY}}"
    cdn:
      enabled: true

Per inoltrare solo i registri CDN (in versione beta):

kind: "LogForwarding"
version: "1"
data:
  awsS3:
    default:
      enabled: true
      region: "us-east-1"
      bucket: "your-bucket-name"
      accessKey: "${{AWS_S3_ACCESS_KEY}}"
      secretAccessKey: "${{AWS_S3_SECRET_ACCESS_KEY}}"
    aem:
      enabled: false
    cdn:
      enabled: true

Per utilizzare il server di inoltro registro S3, è necessario preconfigurare un utente IAM di AWS con i criteri appropriati per l’accesso al bucket S3. Per informazioni su come creare le credenziali utente IAM, consulta la documentazione utente di AWS IAM.

I criteri IAM devono consentire all’utente di utilizzare s3:PutObject. Per inoltrare i registri CDN (in versione beta), consenti anche s3:AbortMultipartUpload. Non sono necessarie altre autorizzazioni: l’utente non deve leggere o elencare il bucket. Ad esempio:

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "s3:PutObject",
            "s3:AbortMultipartUpload"
        ],
        "Resource": "arn:aws:s3:::your-bucket-name/*"
    }]
}

Se il bucket riceve solo i registri CDN, è possibile limitare Resource a arn:aws:s3:::your-bucket-name/aemcdn/*.

Per ulteriori informazioni su come implementare, consulta la documentazione sui criteri bucket di AWS.

Registri CDN di Amazon S3 (versione beta) amazons3-cdn

I registri CDN per Amazon S3 sono in versione beta e devono essere abilitati esplicitamente. Consulta Registri CDN per Amazon S3, Dynatrace e New Relic (beta).

I registri CDN vengono scritti sotto la cartella aemcdn/ del bucket. Il formato del nome file è YYYY-MM-DDThh:mm:ss.000-<uniqueid>.log.gz. Ad esempio:

aemcdn/
   2026-03-04T10:00:00.000-WnFWYN9BpOUs2aOVn4ee.log.gz
   2026-03-04T10:00:00.000-0pX8ub2yQcAmLs7rT1kd.log.gz
   2026-03-04T10:05:00.000-h3JkVv9ZqN2wE5sXyR0a.log.gz

I clienti sono responsabili dell’elaborazione e della gestione di questi file, ad esempio con una regola del ciclo di vita S3 sul prefisso aemcdn/.

Considerazioni per i registri CDN (beta):

Archiviazione BLOB di Azure azureblob

kind: "LogForwarding"
version: "1"
data:
  azureBlob:
    default:
      enabled: true
      storageAccountName: "example_acc"
      container: "aem_logs"
      sasToken: "${{AZURE_BLOB_SAS_TOKEN}}

Utilizzare un token SAS per l’autenticazione. Deve essere creato dalla pagina della firma di accesso condiviso, anziché dalla pagina del token di accesso condiviso, e deve essere configurato con le seguenti impostazioni:

Ecco una schermata di esempio della configurazione del token SAS:

Se i registri non vengono più consegnati dopo il corretto funzionamento precedente, verificare se il token SAS configurato è ancora valido, in quanto potrebbe essere scaduto.

Registri CDN archiviazione BLOB di Azure azureblob-cdn

Ogni server di registrazione distribuito a livello globale produrrà un nuovo file ogni pochi secondi, nella cartella aemcdn. Una volta creato, il file non verrà più aggiunto a. Il formato del nome file è YYY-MM-DDThhss.sss-uniqueid.log. Ad esempio, 2024-03-04T10:00:00.000-WnFWYN9BpOUs2aOVn4ee.log.

Ad esempio, a un certo punto del tempo:

aemcdn/
   2024-03-04T10:00:00.000-abc.log
   2024-03-04T10:00:00.000-def.log

E poi 30 secondi dopo:

aemcdn/
   2024-03-04T10:00:00.000-abc.log
   2024-03-04T10:00:00.000-def.log
   2024-03-04T10:00:30.000-ghi.log
   2024-03-04T10:00:30.000-jkl.log
   2024-03-04T10:00:30.000-mno.log

Ogni file contiene più voci di registro json, ciascuna su una riga separata. I formati delle voci di registro sono descritti in Registrazione per AEM as a Cloud Service e ogni voce di registro include anche le proprietà aggiuntive menzionate nella sezione Formati di voce di registro seguente.

Registri AEM per archiviazione BLOB di Azure azureblob-aem

I registri di AEM (incluso Apache/Dispatcher) vengono visualizzati sotto una cartella con la seguente convenzione di denominazione:

In ogni cartella verrà creato un singolo file che verrà aggiunto a. I clienti sono responsabili dell’elaborazione e della gestione di questo file, in modo che non aumenti troppo.

Consulta i formati delle voci di registro in Registrazione per AEM as a Cloud Service. Le voci di registro includeranno anche le proprietà aggiuntive menzionate nella sezione Formati di voce di registro seguente.

Datadog datadog

kind: "LogForwarding"
version: "1"
data:
  datadog:
    default:
      enabled: true
      host: "http-intake.logs.datadoghq.eu"
      token: "${{DATADOG_API_KEY}}"
      tags:
         tag1: value1
         tag2: value2

Considerazioni

Elasticsearch e OpenSearch elastic

kind: "LogForwarding"
version: "1"
data:
  elasticsearch:
    default:
      enabled: true
      host: "example.com"
      user: "${{ELASTICSEARCH_USER}}"
      password: "${{ELASTICSEARCH_PASSWORD}}"
      pipeline: "ingest pipeline name"

Considerazioni

def envType = ctx.aem_env_type != null ? ctx.aem_env_type : 'unknown';
def sourceType = ctx._index;
def date = new SimpleDateFormat('dd_MM_yyyy').format(new Date());
ctx._index = sourceType + "_" + envType + "_" + date;

HTTPS https

kind: "LogForwarding"
version: "1"
data:
  https:
    default:
      enabled: true
      url: "https://example.com/aem_logs/aem"
      authHeaderName: "X-AEMaaCS-Log-Forwarding-Token"
      authHeaderValue: "${{HTTPS_LOG_FORWARDING_TOKEN}}"

Considerazioni

Registri CDN HTTPS https-cdn

Le richieste Web (POST) verranno inviate in modo continuo, con un payload json che è un array di voci di registro, con il formato di voce di registro descritto in Registrazione per AEM as a Cloud Service. Proprietà aggiuntive sono menzionate nella sezione Formati di voce di registro di seguito.

Esiste anche una proprietà denominata sourcetype, impostata sul valore aemcdn.

Registri HTTPS AEM https-aem

Per i registri di AEM (incluso apache/dispacher), le richieste web (POST) verranno inviate in modo continuo, con un payload json che è un array di voci di registro, con i vari formati di voci di registro come descritto in Registrazione per AEM as a Cloud Service. Proprietà aggiuntive sono menzionate nella sezione Formati di voce di registro di seguito.

Esiste anche una proprietà denominata Source-Type, impostata su uno dei seguenti valori:

API registro New Relic newrelic-https

L’inoltro del registro a New Relic sfrutta l’API di registro HTTPS di New Relic per l’acquisizione. I registri CDN in New Relic sono disponibili in versione beta. Consulta Registri CDN per Amazon S3, Dynatrace e New Relic (beta).

  kind: "LogForwarding"
  version: "1"
  data:
    newRelic:
      default:
        enabled: true
        uri: "https://log-api.newrelic.com/log/v1"
        apiKey: "${{NR_API_KEY}}"

Per inoltrare sia i registri di AEM che i registri CDN (registri CDN in versione beta):

  kind: "LogForwarding"
  version: "1"
  data:
    newRelic:
      default:
        enabled: true
        uri: "https://log-api.newrelic.com/log/v1"
        apiKey: "${{NR_API_KEY}}"
      cdn:
        enabled: true

Per inoltrare solo i registri CDN (in versione beta):

  kind: "LogForwarding"
  version: "1"
  data:
    newRelic:
      default:
        enabled: true
        uri: "https://log-api.newrelic.com/log/v1"
        apiKey: "${{NR_API_KEY}}"
      aem:
        enabled: false
      cdn:
        enabled: true

Considerazioni

API registro Dynatrace dynatrace-https

L’inoltro del registro a Dynatrace sfrutta l’API HTTPS di Dynatrace per l’acquisizione. I registri CDN in Dynatrace sono disponibili in versione beta. Consulta Registri CDN per Amazon S3, Dynatrace e New Relic (beta).

Il token richiede l’ambito Ingest logs (logs.ingest). Lo stesso token viene utilizzato per i registri di AEM e i registri CDN.

  kind: "LogForwarding"
  version: "1"
  data:
    dynatrace:
      default:
        enabled: true
        environmentId: "${{DYNATRACE_ENVID}}"
        token: "${{DYNATRACE_TOKEN}}"

Per inoltrare sia i registri di AEM che i registri CDN (registri CDN in versione beta):

  kind: "LogForwarding"
  version: "1"
  data:
    dynatrace:
      default:
        enabled: true
        environmentId: "${{DYNATRACE_ENVID}}"
        token: "${{DYNATRACE_TOKEN}}"
      cdn:
        enabled: true

Per inoltrare solo i registri CDN (in versione beta):

  kind: "LogForwarding"
  version: "1"
  data:
    dynatrace:
      default:
        enabled: true
        environmentId: "${{DYNATRACE_ENVID}}"
        token: "${{DYNATRACE_TOKEN}}"
      aem:
        enabled: false
      cdn:
        enabled: true

Considerazioni

Ricerca dei registri CDN in Dynatrace (beta) dynatrace-cdn

Dynatrace memorizza ogni voce di registro CDN come testo JSON in content di un record di registro e utilizza timestamp della voce come ora del record. Le proprietà del registro CDN, ad esempio source, url e status, non sono attributi di registro separati. Lo stesso vale per i registri di AEM inoltrati a Dynatrace. Di conseguenza:

Utilizza invece la modalità avanzata (DQL). Per trovare i registri CDN dell’ultima ora:

fetch logs, from: now() - 1h
| filter matchesPhrase(content, "aemcdn")

Per analizzare le proprietà del registro CDN e visualizzarne alcune:

fetch logs, from: now() - 1h
| parse content, "JSON:cdn"
| filter cdn[source] == "aemcdn"
| fields timestamp, cdn[url], cdn[status], cdn[pop], cdn[cache], cdn[aem_tier]

Splunk splunk

kind: "LogForwarding"
version: "1"
data:
  splunk:
    default:
      enabled: true
      host: "splunk-host.example.com"
      token: "${{SPLUNK_TOKEN}}"
      index: "aemaacs"

Considerazioni

Logica sumo sumologic

Durante la configurazione di Sumo Logic per l’acquisizione dei dati, viene visualizzato un “indirizzo HTTP Source” che fornisce l’host, l’URI del ricevitore e la chiave privata in una singola stringa. Ad esempio:

https://collectors.de.sumologic.com/receiver/v1/http/ZaVnC...

È necessario copiare l’ultima sezione dell’URL (senza / precedente) e aggiungerla come Variabile di ambiente segreta di CloudManager come descritto nella sezione Configurazione precedente, quindi fare riferimento a tale variabile nella configurazione. Di seguito è riportato un esempio.

kind: "LogForwarding"
version: "1"
data:
  sumoLogic:
    default:
      enabled: true
      collectorURL: "https://collectors.de.sumologic.com/receiver/v1/http"
      privateKey: "${{SUMOLOGIC_PRIVATE_KEY}}"
      index: "aem-logs"

Registri CDN per Amazon S3, Dynatrace e New Relic (beta) cdn-opt-in

L’inoltro del registro CDN ad Amazon S3, Dynatrace e New Relic è in versione beta e disponibile per tutti i programmi. Per fornire un feedback, invia un’e-mail a aemcs-logforwarding-beta@adobe.com.

Per la maggior parte delle destinazioni di registrazione, un blocco default abilitato inoltra sia i registri CDN che i registri AEM (incluso Apache/Dispatcher). Amazon S3 (awsS3), Dynatrace (dynatrace) e New Relic (newRelic) al momento funzionano in modo diverso: i registri CDN vengono inoltrati solo quando il blocco cdn imposta esplicitamente enabled: true.

Il blocco cdn eredita tutte le altre proprietà dal blocco default, incluse le credenziali, pertanto enabled: true è l’unica proprietà da aggiungere:

kind: "LogForwarding"
version: "1"
data:
  newRelic:
    default:
      enabled: true
      uri: "https://log-api.newrelic.com/log/v1"
      apiKey: "${{NR_API_KEY}}"
    cdn:
      enabled: true

Come per altre destinazioni, le proprietà impostate nel blocco cdn sovrascrivono i valori di default. Per inoltrare solo i registri CDN, impostare aem.enabled: false come nell’ultima riga.

Per interrompere l’inoltro dei registri CDN, impostare cdn.enabled: false ed eseguire la pipeline di configurazione. L’inoltro del registro CDN a tale destinazione si interrompe quando viene distribuita la configurazione. I registri di AEM non subiscono modifiche.

Prima di abilitare i registri CDN, stima il volume aggiuntivo. I fornitori di registrazione che fatturano per volume acquisito, come Dynatrace e New Relic, addebitano i costi per i registri CDN nello stesso modo dei registri AEM.

Formati voce registro log-formats

Consulta Registrazione per AEM as a Cloud Service per il formato di ciascun tipo di registro (registri CDN e registri AEM, incluso Apache/Dispatcher). Alcune destinazioni di registrazione aggiungono o modificano proprietà nelle voci di registro CDN, ad esempio il formato timestamp per New Relic. Consulta Voci di registro CDN registrando la destinazione.

Poiché i registri provenienti da più programmi e ambienti possono essere inoltrati alla stessa destinazione di registrazione, oltre all’output descritto nell’articolo sulla registrazione, in ogni voce di registro verranno incluse le seguenti proprietà:

Ad esempio, le proprietà potrebbero avere i seguenti valori:

aem_env_id: 1242
aem_env_type: dev
aem_program_id: 12314
aem_tier: author

Migrazione dall’inoltro registro legacy legacy-migration

Prima di raggiungere la configurazione di Log Forwarding tramite un modello self-service, ai clienti veniva richiesto di aprire i ticket di supporto, dove Adobe avviava l’integrazione.

I clienti che sono stati configurati in questo modo da Adobe sono invitati ad adattarsi al modello self-service quando lo desiderano. Ci sono diversi motivi per effettuare questa transizione:

Per eseguire la migrazione, è sufficiente configurare il file YAML come descritto nelle sezioni precedenti. Utilizza la pipeline di configurazione Cloud Manager per distribuire in ciascuno degli ambienti in cui deve essere applicata la configurazione.

È consigliabile, ma non obbligatorio, distribuire una configurazione in tutti gli ambienti in modo che siano tutti sotto il controllo self-service. In caso contrario, potresti dimenticare quali ambienti sono stati configurati da Adobe rispetto a quelli configurati in modo self-service.