Encaminhamento de logs log-forwarding

Os clientes com uma licença de com um fornecedor de registro em log ou que hospedam um produto de registro em log podem ter registros do AEM (incluindo Apache/Dispatcher) e registros CDN encaminhados ao destino de registro associado. O AEM as a Cloud Service oferece suporte aos seguintes destinos de registro:

[1] O encaminhamento de logs da CDN para o Amazon S3, o Dynatrace e o New Relic está na versão beta. Para solicitar acesso, envie um email para aemcs-logforwarding-beta@adobe.com com a ID do seu programa. Após habilitar o acesso, você também ativa os logs CDN para cada destino com cdn.enabled: true. Consulte logs de CDN do Amazon S3, Dynatrace e New Relic (beta).

O encaminhamento de logs é configurado de maneira automatizada declarando uma configuração no Git e pode ser implantado por meio de pipelines de configuração do Cloud Manager para tipos de ambiente de desenvolvimento, preparo e produção. O arquivo de configuração pode ser implantado em RDEs (Rapid Development Environments, ambientes de desenvolvimento rápido) usando ferramentas de linha de comando.

Há uma opção para que os registros do AEM e Apache/Dispatcher sejam roteados por meio da infraestrutura de rede avançada da AEM, como IP de saída dedicado. Os logs CDN são sempre enviados diretamente do CDN e não usam rede avançada. Consulte Transporte e rede avançada.

Como este artigo está organizado how-organized

Este artigo está organizado da seguinte maneira:

Configurar setup

Os tokens na configuração (como ${{SPLUNK_TOKEN}}) representam segredos que não devem ser armazenados no Git. Em vez disso, declare-as como Variáveis de ambiente secreto do Cloud Manager. Selecione Todos como o valor suspenso do campo Serviço aplicado, para que os logs possam ser encaminhados para os níveis de criação, publicação e visualização.

É possível definir valores diferentes entre logs CDN e logs AEM (incluindo Apache/Dispatcher), incluindo um bloco cdn e/ou aem adicional após o bloco padrão, em que as propriedades podem substituir as definidas no bloco padrão; somente a propriedade habilitada é necessária. Um possível caso de uso poderia ser o uso de um índice do Splunk diferente para logs CDN, como ilustra o exemplo abaixo.

   kind: "LogForwarding"
   version: "1"
   data:
     splunk:
       default:
         enabled: true
         host: "splunk-host.example.com"
         token: "${{SPLUNK_TOKEN}}"
         index: "AEMaaCS"
       cdn:
         enabled: true
         token: "${{SPLUNK_TOKEN_CDN}}"
         index: "AEMaaCS_CDN"

Outro cenário é desativar o encaminhamento dos logs CDN ou AEM (incluindo o Apache/Dispatcher). Por exemplo, para encaminhar apenas os logs CDN, é possível configurar o seguinte:

   kind: "LogForwarding"
   version: "1"
   data:
     splunk:
       default:
         enabled: true
         host: "splunk-host.example.com"
         token: "${{SPLUNK_TOKEN}}"
         index: "AEMaaCS"
       aem:
         enabled: false

Transporte e rede avançada transport-advancednetworking

Algumas organizações escolhem restringir qual tráfego pode ser recebido pelos destinos de registro, outras podem exigir o uso de portas diferentes de HTTPS (443). Nesse caso, a Rede Avançada precisará ser configurada antes da implantação da configuração de encaminhamento de log.

Use a tabela abaixo para ver quais são os requisitos para a configuração avançada de rede e registro com base no fato de você estar usando ou não a porta 443 e se você precisa ou não que seus registros apareçam a partir de um endereço IP fixo. A tabela se aplica aos logs do AEM (incluindo o Apache/Dispatcher). Para logs CDN, consulte logs CDN e listas de permissões IP.

Para logs AEM (incluindo Apache/Dispatcher), se você tiver configurado a Rede Avançada, poderá usar a propriedade aem.advancedNetworking para encaminhá-los a partir de um endereço IP de saída dedicado.

O exemplo abaixo mostra como configurar o registro em uma porta HTTPS padrão com rede avançada.

kind: "LogForwarding"
version: "1"
data:
  splunk:
    default:
      enabled: true
      host: "splunk-host.example.com"
      port: 443
      token: "${{SPLUNK_TOKEN}}"
      index: "aemaacs"
    aem:
      advancedNetworking: true

Logs CDN e listas de permissões IP cdn-ip-allowlist

Os logs CDN são enviados diretamente do CDN (Fastly), não do AEM as a Cloud Service. Isso se aplica a todos os destinos de registro em log:

Se a lista de endereços IP compartilhados for muito grande para a lista de permissões, considere enviar logs CDN para um servidor https ou (que não seja da Adobe) Azure Blob Store, onde a lógica pode ser gravada para enviar os logs de um IP conhecido para o destino final.

Autenticação TLS mútuo (mTLS) (beta) mtls

Os destinos Splunk, Elasticsearch/OpenSearch e HTTPS são compatíveis com TLS mútuo (mTLS). Com o mTLS, o AEM as a Cloud Service apresenta um certificado de cliente quando se conecta ao seu destino de registro, para que o destino possa verificar se os registros vêm do seu ambiente. O mTLS se aplica aos logs do AEM (incluindo Apache/Dispatcher) e aos logs CDN.

O mTLS funciona com a autenticação existente do destino. Mantenha as propriedades de autenticação existentes do destino, como token (Splunk) ou user e password (Elasticsearch/OpenSearch). Para destinos HTTPS que encaminham logs CDN, authHeaderName e authHeaderValue são necessários.

Configuração mtls-configuration

Adicionar um bloco mtls ao lado das outras propriedades do destino:

O exemplo a seguir encaminha logs do AEM e do CDN para o Splunk usando mTLS:

kind: "LogForwarding"
version: "1"
data:
  splunk:
    default:
      enabled: true
      host: "splunk-host.example.com"
      token: "${{SPLUNK_TOKEN}}"
      index: "aemaacs"
      mtls:
        cert: "${{SPLUNK_MTLS_CERT}}"
        key: "${{SPLUNK_MTLS_KEY}}"
        ca: "${{SPLUNK_MTLS_CA}}"

As seguintes regras se aplicam:

Formatos de chave compatíveis mtls-key-formats

A primeira linha do texto PEM da chave mostra seu formato:

Para uma chave criptografada, também defina keyPasswd como sua senha.

PKCS#8 criptografado é recomendado para chaves criptografadas. Para converter uma chave no formato mais antigo, use o seguinte comando, que solicita a senha atual e, em seguida, a senha da nova chave:

openssl pkcs8 -topk8 -v2 aes-256-cbc -in client.key -out client-pkcs8.key

Armazene o conteúdo de client-pkcs8.key no segredo referenciado por key e sua senha no segredo referenciado por keyPasswd.

Logs da CDN mtls-cdn

Como outras propriedades, um bloco mtls em default se aplica aos logs do AEM e aos logs CDN. Para usar um certificado diferente para logs CDN, defina as propriedades mtls em um bloco cdn. Para usar mTLS apenas para logs AEM ou apenas logs CDN, coloque o bloco mtls no bloco aem ou cdn em vez de default.

Depois de implantar uma configuração que permita o encaminhamento de logs CDN para um destino, pode levar vários minutos até que os primeiros logs CDN cheguem. Para destinos HTTPS, a entrega de logs da CDN também inicia somente depois que o servidor conclui o desafio único descrito em HTTPS. A solicitação de desafio é enviada com o mesmo certificado de cliente, portanto, o servidor também deve aceitar esse certificado no caminho de desafio.

Rotação e expiração do certificado mtls-rotation

Para girar um certificado, atualize as variáveis de ambiente secretas do Cloud Manager que contêm o certificado (e a chave, se ele for alterado) e execute novamente o pipeline de configuração. Se o próprio arquivo de configuração do encaminhamento de log não for alterado, faça também uma alteração nele para que a configuração seja aplicada novamente. Por exemplo, armazene os novos valores em novas variáveis de ambiente secreto e faça referência a esses nomes no bloco mtls.

Você também pode receber uma notificação proativa do Centro de Ações cerca de 21 dias antes de um certificado de cliente expirar. Rastrear as datas de expiração do certificado por conta própria em vez de depender dessa notificação.

Configuração de destino de registro logging-destinations

As configurações para os destinos de registro compatíveis estão listadas abaixo, juntamente com considerações específicas.

Amazon S3 amazons3

Os logs de CDN para o Amazon S3 estão na versão beta. Para solicitar acesso, envie um email para aemcs-logforwarding-beta@adobe.com com a ID do seu programa. Consulte logs CDN do Amazon S3, Dynatrace e New Relic (beta) para saber como habilitá-los, e logs CDN do Amazon S3 para saber o layout do arquivo e fazer considerações.

kind: "LogForwarding"
version: "1"
data:
  awsS3:
    default:
      enabled: true
      region: "your-bucket-region"
      bucket: "your-bucket-name"
      accessKey: "${{AWS_S3_ACCESS_KEY}}"
      secretAccessKey: "${{AWS_S3_SECRET_ACCESS_KEY}}"

Para encaminhar logs do AEM e de CDN (logs de CDN na versão beta):

kind: "LogForwarding"
version: "1"
data:
  awsS3:
    default:
      enabled: true
      region: "us-east-1"
      bucket: "your-bucket-name"
      accessKey: "${{AWS_S3_ACCESS_KEY}}"
      secretAccessKey: "${{AWS_S3_SECRET_ACCESS_KEY}}"
    cdn:
      enabled: true

Para encaminhar somente logs CDN (na versão beta):

kind: "LogForwarding"
version: "1"
data:
  awsS3:
    default:
      enabled: true
      region: "us-east-1"
      bucket: "your-bucket-name"
      accessKey: "${{AWS_S3_ACCESS_KEY}}"
      secretAccessKey: "${{AWS_S3_SECRET_ACCESS_KEY}}"
    aem:
      enabled: false
    cdn:
      enabled: true

Para usar o S3 Log Forwarder, será necessário pré-configurar um usuário do AWS IAM com política apropriada para acessar seu bucket do S3. Consulte Documentação de Usuário do AWS IAM para saber como criar credenciais de usuário do IAM.

A política IAM deve permitir que o usuário use s3:PutObject. Para encaminhar logs CDN (na versão beta), também permita s3:AbortMultipartUpload. Nenhuma outra permissão é necessária: o usuário não precisa ler ou listar o bucket. Por exemplo:

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Action": [
            "s3:PutObject",
            "s3:AbortMultipartUpload"
        ],
        "Resource": "arn:aws:s3:::your-bucket-name/*"
    }]
}

Se o bucket receber apenas logs CDN, você poderá limitar Resource a arn:aws:s3:::your-bucket-name/aemcdn/*.

Consulte a Documentação da política de bucket do AWS para obter mais informações sobre como implementar o.

Registros CDN do Amazon S3 (beta) amazons3-cdn

Os logs de CDN para o Amazon S3 estão na versão beta. Eles precisam de acesso ao seu programa e ao cdn.enabled: true. Consulte logs de CDN do Amazon S3, Dynatrace e New Relic (beta).

Os logs CDN são gravados abaixo da pasta aemcdn/ do seu bucket. O formato do nome do arquivo é YYYY-MM-DDThh:mm:ss.000-<uniqueid>.log.gz. Por exemplo:

aemcdn/
   2026-03-04T10:00:00.000-WnFWYN9BpOUs2aOVn4ee.log.gz
   2026-03-04T10:00:00.000-0pX8ub2yQcAmLs7rT1kd.log.gz
   2026-03-04T10:05:00.000-h3JkVv9ZqN2wE5sXyR0a.log.gz

Os clientes são responsáveis pelo processamento e gerenciamento desses arquivos, por exemplo, com uma regra de ciclo de vida S3 no prefixo aemcdn/.

Considerações para logs CDN (beta):

Armazenamento Azure Blob azureblob

kind: "LogForwarding"
version: "1"
data:
  azureBlob:
    default:
      enabled: true
      storageAccountName: "example_acc"
      container: "aem_logs"
      sasToken: "${{AZURE_BLOB_SAS_TOKEN}}

Um token SAS deve ser usado para autenticação. Ela deve ser criada na página Shared access signature, em vez de na página Shared access token, e deve ser configurada com estas configurações:

Esta é uma captura de tela de um exemplo de configuração de token SAS:

Se os registros pararem de ser entregues depois de antes funcionarem corretamente, verifique se o token SAS configurado ainda é válido, pois pode ter expirado.

Logs CDN do armazenamento de blobs da Azure azureblob-cdn

Cada um dos servidores de log distribuídos globalmente produzirá um novo arquivo a cada poucos segundos, na pasta aemcdn. Depois de criado, o arquivo não será mais anexado ao. O formato do nome do arquivo é AAAA-MM-DDThhss.sss-uniqueid.log. Por exemplo, 2024-03-04T10:00:00.000-WnFWYN9BpOUs2aOVn4ee.log.

Como exemplo, em algum momento:

aemcdn/
   2024-03-04T10:00:00.000-abc.log
   2024-03-04T10:00:00.000-def.log

E 30 segundos depois:

aemcdn/
   2024-03-04T10:00:00.000-abc.log
   2024-03-04T10:00:00.000-def.log
   2024-03-04T10:00:30.000-ghi.log
   2024-03-04T10:00:30.000-jkl.log
   2024-03-04T10:00:30.000-mno.log

Cada arquivo contém várias entradas de log json, cada uma em uma linha separada. Os formatos de entrada de log estão descritos em Logs para AEM as a Cloud Service, e cada entrada de log também inclui as propriedades adicionais mencionadas na seção Formatos de Entrada de Log abaixo.

Registros AEM do Azure Blob Storage azureblob-aem

Os logs do AEM (incluindo o Apache/Dispatcher) aparecem abaixo de uma pasta com a seguinte convenção de nomenclatura:

Em cada pasta, um único arquivo será criado e anexado a. Os clientes são responsáveis pelo processamento e gerenciamento desse arquivo, de modo que ele não fique muito grande.

Consulte os formatos de entrada de log em Log para AEM as a Cloud Service. As entradas de log também incluirão as propriedades adicionais mencionadas na seção Formatos de Entrada de Log abaixo.

Datadog datadog

kind: "LogForwarding"
version: "1"
data:
  datadog:
    default:
      enabled: true
      host: "http-intake.logs.datadoghq.eu"
      token: "${{DATADOG_API_KEY}}"
      tags:
         tag1: value1
         tag2: value2

Considerações

Elasticsearch e OpenSearch elastic

kind: "LogForwarding"
version: "1"
data:
  elasticsearch:
    default:
      enabled: true
      host: "example.com"
      user: "${{ELASTICSEARCH_USER}}"
      password: "${{ELASTICSEARCH_PASSWORD}}"
      pipeline: "ingest pipeline name"

Considerações

def envType = ctx.aem_env_type != null ? ctx.aem_env_type : 'unknown';
def sourceType = ctx._index;
def date = new SimpleDateFormat('dd_MM_yyyy').format(new Date());
ctx._index = sourceType + "_" + envType + "_" + date;

HTTPS https

kind: "LogForwarding"
version: "1"
data:
  https:
    default:
      enabled: true
      url: "https://example.com/aem_logs/aem"
      authHeaderName: "X-AEMaaCS-Log-Forwarding-Token"
      authHeaderValue: "${{HTTPS_LOG_FORWARDING_TOKEN}}"

Considerações

Logs HTTPS CDN https-cdn

As solicitações da Web (POSTs) serão enviadas continuamente, com uma carga json que é uma matriz de entradas de log, com o formato de entrada de log descrito em Logon para AEM as a Cloud Service. Propriedades adicionais são mencionadas na seção Formatos de Entrada de Log abaixo.

Também existe uma propriedade chamada sourcetype, que é definida como o valor aemcdn.

Logs HTTPS do AEM https-aem

Para logs do AEM (incluindo apache/dispatcher), as solicitações da Web (POSTs) serão enviadas continuamente, com uma carga json que é uma matriz de entradas de log, com os vários formatos de entrada de log, conforme descrito em Logs para o AEM as a Cloud Service. Propriedades adicionais são mencionadas na seção Formatos de Entrada de Log abaixo.

Também há uma propriedade chamada Source-Type, que é definida como um destes valores:

API de log do New Relic newrelic-https

O encaminhamento de logs para o New Relic aproveita a API de log HTTPS do New Relic para assimilação. Os logs de CDN para o New Relic estão na versão beta. Para solicitar acesso, envie um email para aemcs-logforwarding-beta@adobe.com com a ID do seu programa. Consulte logs de CDN do Amazon S3, Dynatrace e New Relic (beta) para saber como habilitá-los.

  kind: "LogForwarding"
  version: "1"
  data:
    newRelic:
      default:
        enabled: true
        uri: "https://log-api.newrelic.com/log/v1"
        apiKey: "${{NR_API_KEY}}"

Para encaminhar logs do AEM e de CDN (logs de CDN na versão beta):

  kind: "LogForwarding"
  version: "1"
  data:
    newRelic:
      default:
        enabled: true
        uri: "https://log-api.newrelic.com/log/v1"
        apiKey: "${{NR_API_KEY}}"
      cdn:
        enabled: true

Para encaminhar somente logs CDN (na versão beta):

  kind: "LogForwarding"
  version: "1"
  data:
    newRelic:
      default:
        enabled: true
        uri: "https://log-api.newrelic.com/log/v1"
        apiKey: "${{NR_API_KEY}}"
      aem:
        enabled: false
      cdn:
        enabled: true

Considerações

API de log do Dynatrace dynatrace-https

O encaminhamento de logs para o Dynatrace aproveita a API HTTPS do Dynatrace para assimilação. Os logs de CDN para o Dynatrace estão na versão beta. Para solicitar acesso, envie um email para aemcs-logforwarding-beta@adobe.com com a ID do seu programa. Consulte logs de CDN do Amazon S3, Dynatrace e New Relic (beta) para saber como habilitá-los.

O token requer o escopo Assimilar logs (logs.ingest). O mesmo token é usado para logs do AEM e logs CDN.

  kind: "LogForwarding"
  version: "1"
  data:
    dynatrace:
      default:
        enabled: true
        environmentId: "${{DYNATRACE_ENVID}}"
        token: "${{DYNATRACE_TOKEN}}"

Para encaminhar logs do AEM e de CDN (logs de CDN na versão beta):

  kind: "LogForwarding"
  version: "1"
  data:
    dynatrace:
      default:
        enabled: true
        environmentId: "${{DYNATRACE_ENVID}}"
        token: "${{DYNATRACE_TOKEN}}"
      cdn:
        enabled: true

Para encaminhar somente logs CDN (na versão beta):

  kind: "LogForwarding"
  version: "1"
  data:
    dynatrace:
      default:
        enabled: true
        environmentId: "${{DYNATRACE_ENVID}}"
        token: "${{DYNATRACE_TOKEN}}"
      aem:
        enabled: false
      cdn:
        enabled: true

Considerações

Encontrar logs de CDN no Dynatrace (beta) dynatrace-cdn

O Dynatrace armazena cada entrada de log CDN, como texto JSON, no content de um registro de log e usa o timestamp da entrada como o tempo de registro. As propriedades de log da CDN, como source, url e status, não são atributos de log separados. O mesmo se aplica aos logs do AEM encaminhados ao Dynatrace. Como resultado:

Em vez disso, use o modo avançado (DQL). Para localizar logs CDN na última hora:

fetch logs, from: now() - 1h
| filter matchesPhrase(content, "aemcdn")

Para analisar as propriedades de log da CDN e mostrar algumas delas:

fetch logs, from: now() - 1h
| parse content, "JSON:cdn"
| filter cdn[source] == "aemcdn"
| fields timestamp, cdn[url], cdn[status], cdn[pop], cdn[cache], cdn[aem_tier]

Splunk splunk

kind: "LogForwarding"
version: "1"
data:
  splunk:
    default:
      enabled: true
      host: "splunk-host.example.com"
      token: "${{SPLUNK_TOKEN}}"
      index: "aemaacs"

Considerações

Lógica Sumo sumologic

Ao configurar a Lógica de sumô para assimilação de dados, você verá um “Endereço Source HTTP” que fornece o host, o URI do receptor e a chave privada em uma única string. Por exemplo:

https://collectors.de.sumologic.com/receiver/v1/http/ZaVnC...

Você precisará copiar a última seção da URL (sem a / anterior) e adicioná-la como uma Variável de ambiente secreto do CloudManager, conforme descrito na seção Configuração acima, e depois referenciar essa variável na sua configuração. Um exemplo é fornecido abaixo.

kind: "LogForwarding"
version: "1"
data:
  sumoLogic:
    default:
      enabled: true
      collectorURL: "https://collectors.de.sumologic.com/receiver/v1/http"
      privateKey: "${{SUMOLOGIC_PRIVATE_KEY}}"
      index: "aem-logs"

Logs CDN para Amazon S3, Dynatrace e New Relic (beta) cdn-opt-in

O encaminhamento de log da CDN para o Amazon S3, Dynatrace e New Relic está na versão beta. O encaminhamento de logs do AEM (incluindo o Apache/Dispatcher) para esses destinos não é afetado e não precisa de uma solicitação.

Para encaminhar logs CDN para um desses destinos, conclua as duas etapas:

Ambas as etapas são necessárias:

O bloco cdn herda todas as outras propriedades do bloco default, incluindo as credenciais, portanto, enabled: true é a única propriedade que você precisa adicionar:

kind: "LogForwarding"
version: "1"
data:
  newRelic:
    default:
      enabled: true
      uri: "https://log-api.newrelic.com/log/v1"
      apiKey: "${{NR_API_KEY}}"
    cdn:
      enabled: true

Para um programa com acesso, a configuração funciona da seguinte maneira:

Assim como em outros destinos, as propriedades definidas no bloco cdn substituem os valores de default. Para encaminhar apenas logs CDN, defina aem.enabled: false, como na última linha.

Para interromper o encaminhamento de logs CDN, defina cdn.enabled: false e execute o pipeline de configuração. O encaminhamento de log da CDN para esse destino é interrompido quando a configuração é implantada. Os logs do AEM não são afetados.

Antes de habilitar logs CDN, estime o volume adicional. Os fornecedores de registros que cobram por volume assimilado, como Dynatrace e New Relic, cobram pelos registros CDN da mesma forma que pelos registros AEM.

Para fornecer feedback sobre o beta, envie um email para aemcs-logforwarding-beta@adobe.com.

Formatos de entrada de log log-formats

Consulte Logs do AEM as a Cloud Service para obter o formato de cada respectivo tipo de log (logs CDN e logs do AEM, incluindo o Apache/Dispatcher). Alguns destinos de log adicionam ou alteram propriedades em entradas de log CDN, por exemplo, o formato de timestamp para New Relic. Consulte Entradas de log da CDN por destino de log.

Como os registros de vários programas e ambientes podem ser encaminhados para o mesmo destino de registro, além da saída descrita no artigo de registro, as seguintes propriedades serão incluídas em cada entrada de registro:

Como exemplo, as propriedades podem ter os seguintes valores:

aem_env_id: 1242
aem_env_type: dev
aem_program_id: 12314
aem_tier: author

Migrando do Encaminhamento de Log Herdado legacy-migration

Antes de a configuração do encaminhamento de logs ser obtida por meio de um modelo de autoatendimento, os clientes eram solicitados a abrir tíquetes de suporte, onde a Adobe iniciaria a integração.

Os clientes que foram configurados dessa maneira pela Adobe são bem-vindos para se adaptarem ao modelo de autoatendimento de sua conveniência. Há vários motivos para fazer essa transição:

Quando estiver pronto para migrar, basta configurar o arquivo YAML conforme descrito nas seções anteriores. Use o pipeline de configuração do Cloud Manager para implantar em cada um dos ambientes em que a configuração deve ser aplicada.

Recomenda-se, mas não é necessário, que uma configuração seja implantada em todos os ambientes para que todos estejam sob controle de autoatendimento. Caso contrário, você pode esquecer quais ambientes foram configurados pelo Adobe e quais foram configurados de maneira automatizada.