Log doorsturen log-forwarding

Klanten met een licentie bij een logboekleverancier of die een logproduct hosten, kunnen AEM logboeken (inclusief Apache/Dispatcher) en CDN-logboeken hebben die naar de gekoppelde logbestemming worden doorgestuurd. AEM as a Cloud Service ondersteunt de volgende logbestemmingen:

Het door:sturen van het logboek wordt gevormd op een zelfbediening manier door een configuratie in Git te verklaren, en het op te stellen via de Pijpleiding van Cloud Manager Config aan RDE, dev, stadium, en de types van productiemilieu in productie (niet-zandbak) programma's.

Er is een optie voor de logboeken van de AEM en van Apache/Dispatcher om door AEM geavanceerde voorzien van een netwerkinfrastructuur, zoals specifieke uitgang IP worden verpletterd.

Merk op dat de netwerkbandbreedte verbonden aan logboeken die naar de logboekbestemming worden verzonden als deel van het I/O gebruik van het Netwerk van uw organisatie worden beschouwd.

Hoe dit artikel is georganiseerd how-organized

Dit artikel is als volgt geordend:

Instellen setup

Tokens in de configuratie (zoals ${{SPLUNK_TOKEN}} ) vertegenwoordigen geheimen, die niet in Git moeten worden opgeslagen. In plaats daarvan, verklaar hen als de Variabelen van het Milieu van Cloud Manager Geheime. Zorg ervoor om allen als dropdown waarde voor de Dienst Toegepaste gebied te selecteren, zodat kunnen de logboeken aan auteur door:sturen, publiceren, en voorproefrijen.

Het is mogelijk om verschillende waarden tussen CDN- logboeken en AEM (met inbegrip van Apache/Dispatcher) te plaatsen, door extra cdn en/of a blok na het gebrek blok te omvatten, waar de eigenschappen die in het standaard blok worden bepaald kunnen met voeten treden; slechts wordt het toegelaten bezit vereist. Een mogelijk gebruiksgeval zou kunnen zijn om een verschillende index van de Splunk voor CDN- logboeken te gebruiken, zoals het hieronder voorbeeld illustreert.

   kind: "LogForwarding"
   version: "1"
   metadata:
     envTypes: ["dev"]
   data:
     splunk:
       default:
         enabled: true
         host: "splunk-host.example.com"
         token: "${{SPLUNK_TOKEN}}"
         index: "AEMaaCS"
       cdn:
         enabled: true
         token: "${{SPLUNK_TOKEN_CDN}}"
         index: "AEMaaCS_CDN"

Een ander scenario moet of het door:sturen van de logboeken onbruikbaar maken CDN of AEM (met inbegrip van Apache/Dispatcher). Als u bijvoorbeeld alleen de CDN-logboeken wilt doorsturen, kunt u het volgende configureren:

   kind: "LogForwarding"
   version: "1"
   metadata:
     envTypes: ["dev"]
   data:
     splunk:
       default:
         enabled: true
         host: "splunk-host.example.com"
         token: "${{SPLUNK_TOKEN}}"
         index: "AEMaaCS"
       aem:
         enabled: false

Logboekdoelconfiguratie logging-destinations

De configuraties voor de gesteunde registrerenbestemmingen worden hieronder vermeld, samen met om het even welke specifieke overwegingen.

Azure Blob Storage azureblob

kind: "LogForwarding"
version: "1"
metadata:
  envTypes: ["dev"]
data:
  azureBlob:
    default:
      enabled: true
      storageAccountName: "example_acc"
      container: "aem_logs"
      sasToken: "${{AZURE_BLOB_SAS_TOKEN}}

Een SAS-token moet worden gebruikt voor verificatie. Het zou van de Gedeelde pagina van de toegangshandtekening, eerder dan op de Gedeelde pagina van het toegangstoken moeten worden gecreeerd, en zou met deze montages moeten worden gevormd:

Hier is een schermafbeelding van een voorbeeld van een SAS-tokenconfiguratie:

Als de logboeken na eerder correct functionerende niet meer worden geleverd, controleert u of het door u gevormde SAS-token nog geldig is, aangezien het mogelijk verlopen is.

Azure Blob Storage CDN-logs azureblob-cdn

Elke globaal gedistribueerde logbestandsserver produceert elke paar seconden een nieuw bestand onder de map aemcdn . Nadat het bestand is gemaakt, wordt het niet meer toegevoegd aan het bestand. Het filename formaat is JJJ-MM-DDThh ss.sss-uniqueid.log. Bijvoorbeeld, 2024-03-04T10 :00: 00.000-WnFWYN9BpOUs2aOVn4ee.log.

Zo kunt u op een bepaald tijdstip bijvoorbeeld:

aemcdn/
   2024-03-04T10:00:00.000-abc.log
   2024-03-04T10:00:00.000-def.log

En dan 30 seconden later:

aemcdn/
   2024-03-04T10:00:00.000-abc.log
   2024-03-04T10:00:00.000-def.log
   2024-03-04T10:00:30.000-ghi.log
   2024-03-04T10:00:30.000-jkl.log
   2024-03-04T10:00:30.000-mno.log

Elk bestand bevat meerdere logitems van de zoon, elk op een aparte regel. De formaten van de logboekingang worden beschreven onder het Registreren voor AEM as a Cloud Service, en elke logboekingang omvat ook de extra eigenschappen die in de hieronder sectie van de Formaten van de Ingang van het Logboekworden vermeld.

Azure Blob Storage AEM logs azureblob-aem

AEM logbestanden (inclusief Apache/Dispatcher) worden weergegeven onder een map met de volgende naamgevingsconventie:

Onder elke map wordt één bestand gemaakt en toegevoegd. Klanten zijn verantwoordelijk voor de verwerking en het beheer van dit bestand, zodat het niet te groot wordt.

Zie de formaten van de logboekingang onder het Registreren voor AEM as a Cloud Service. De logboekingangen zullen ook de extra eigenschappen omvatten die in de hieronder sectie van de Formaten van het Ingang van het Logboekworden vermeld.

Datahond datadog

kind: "LogForwarding"
version: "1"
metadata:
  envTypes: ["dev"]
data:
  datadog:
    default:
      enabled: true
      host: "http-intake.logs.datadoghq.eu"
      token: "${{DATADOG_API_KEY}}"
      tags:
         tag1: value1
         tag2: value2

Overwegingen:

Elasticsearch en OpenSearch elastic

kind: "LogForwarding"
version: "1"
metadata:
  envTypes: ["dev"]
data:
  elasticsearch:
    default:
      enabled: true
      host: "example.com"
      user: "${{ELASTICSEARCH_USER}}"
      password: "${{ELASTICSEARCH_PASSWORD}}"
      pipeline: "ingest pipeline name"

Overwegingen:

def envType = ctx.aem_env_type != null ? ctx.aem_env_type : 'unknown';
def sourceType = ctx._index;
def date = new SimpleDateFormat('dd_MM_yyyy').format(new Date());
ctx._index = sourceType + "_" + envType + "_" + date;

HTTPS https

kind: "LogForwarding"
version: "1"
metadata:
  envTypes: ["dev"]
data:
  https:
    default:
      enabled: true
      url: "https://example.com/aem_logs/aem"
      authHeaderName: "X-AEMaaCS-Log-Forwarding-Token"
      authHeaderValue: "${{HTTPS_LOG_FORWARDING_TOKEN}}"

Overwegingen:

HTTPS CDN-logbestanden https-cdn

De verzoeken van het Web (POSTs) zullen onophoudelijk, met een json nuttige lading worden verzonden die een serie van logboekingangen is, met het formaat van de logboekingang dat onder het Registreren voor AEM as a Cloud Servicewordt beschreven. De extra eigenschappen worden vermeld in de 🔗 hieronder sectie van de Formaten van de Ingang van het Logboek van 0}.

Er is ook een eigenschap met de naam sourcetype die is ingesteld op de waarde aemcdn .

HTTPS-AEM https-aem

Voor AEM logboeken (met inbegrip van apache/dispacher), zullen de Webverzoeken (POSTs) onophoudelijk, met een json nuttige lading worden verzonden die een serie van logboekingangen is, met de diverse formaten van de logboekingang zoals die onder het Registreren voor AEM as a Cloud Serviceworden beschreven. De extra eigenschappen worden vermeld in de 🔗 hieronder sectie van de Formaten van de Ingang van het Logboek van 0}.

Er is ook een eigenschap met de naam Source-Type die op een van de volgende waarden is ingesteld:

Splunk splunk

kind: "LogForwarding"
version: "1"
metadata:
  envTypes: ["dev"]
data:
  splunk:
    default:
      enabled: true
      host: "splunk-host.example.com"
      token: "${{SPLUNK_TOKEN}}"
      index: "aemaacs"

Overwegingen:

Indelingen voor logbestandvermelding log-formats

Zie het Registreren voor AEM as a Cloud Servicevoor het formaat van elk respectieve logboektype (CDN logboeken, en AEM logboeken met inbegrip van Apache/Dispatcher).

Aangezien de logboeken van veelvoudige programma's en milieu's aan de zelfde registrerenbestemming kunnen door:sturen, naast de output die in het registrerenartikel wordt beschreven, zullen de volgende eigenschappen in elke logboekingang worden omvat:

De eigenschappen kunnen bijvoorbeeld de volgende waarden hebben:

aem_env_id: 1242
aem_env_type: dev
aem_program_id: 12314
aem_tier: author

Geavanceerde netwerken advanced-networking

Sommige organisaties verkiezen om te beperken welk verkeer door de registrerenbestemmingen kan worden ontvangen.

Voor het logboek CDN, kunt u toestaan-lijst van de IP adressen, zoals die in wordt beschreven dure documentatie - Openbare IP Lijst. Als die lijst van gedeelde IP adressen te groot is, denk na verzendend verkeer naar een https server of (niet-Adobe) Azure Blob Store waar de logica kan worden geschreven om de logboeken van bekende IP naar hun uiteindelijke bestemming te verzenden.

Voor AEM logboeken (met inbegrip van Apache/Dispatcher), als u geavanceerd voorzien van een netwerkhebt gevormd, kunt u het eigenschap advancedNetworking gebruiken om hen van een specifiek uitgangIP adres of over VPN door:sturen.

kind: "LogForwarding"
version: "1"
metadata:
  envTypes: ["dev"]
data:
  splunk:
    default:
      enabled: true
      host: "splunk-host.example.com"
      port: 443
      token: "${{SPLUNK_TOKEN}}"
      index: "aemaacs"
    aem:
      advancedNetworking: true

Migreren van verouderde logbestanden legacy-migration

Voordat de configuratie Log Forwarding via een zelfservermodel werd bereikt, werd klanten gevraagd om supporttickets te openen, waar Adobe de integratie zou starten.

Klanten die op die manier door Adobe waren opgezet, zijn welkom om zich aan het model van het zelfdienen op hun gemak aan te passen. Er zijn verschillende redenen om deze overgang te maken:

Wanneer klaar om te migreren, vorm eenvoudig het dossier YAML zoals die in de voorafgaande secties wordt beschreven. Gebruik de Cloud Manager config pijpleiding om aan elk van de milieu's op te stellen waar de configuratie zou moeten worden toegepast.

Het wordt geadviseerd, maar niet vereist, dat een configuratie aan alle milieu's wordt opgesteld zodat zij allen onder zelf-servercontrole zijn. Als niet, kunt u vergeten welke milieu's door Adobe tegenover die gevormd op een zelf-servermanier zijn gevormd.