Encaminhamento de logs: outros (upload manual) log-forwarding-other
O método de provisionamento Outro BYOCDN é uma opção abrangente para clientes que desejam fornecer logs da CDN ao LLM Optimizer quando:
- Uploads manuais são preferíveis, por exemplo, as equipes operacionais exportam logs e fazem upload deles periodicamente.
- São utilizados processos automatizados ad-hoc: scripts pontuais, exportações programadas, trabalhos sem servidor.
- O cliente usa uma CDN que não é suportada nativamente pelas integrações de encaminhamento de logs integradas.
Este método imita o modelo de “encaminhamento contínuo”: os registros são produzidos e enviados como upload no local esperado do S3 e, eventualmente, sendo posteriormente processados automaticamente pelos pipelines de ingestão.
Etapa 1: integrar no LLM Optimizer step-1
Em LLM Optimizer:
-
Vá para Configuração.
-
Clique na guia Configuração da CDN.
-
Clique em Começar.
-
Ao lado de Ativar insights de tráfego com IA, clique em Configurar.
-
Selecione Outro.
-
Clique em Integrar.
Passo 2: Preparar e fazer upload dos logs step-2
Formato de log obrigatório (linhas JSON) log-format
Os logs devem ser enviados como JSON delimitado por nova linha (um objeto JSON por linha). Cada linha de log deve incluir os seguintes campos exatamente como escrito abaixo.
Esquema campo por campo schema
"2025-02-01T23:00:05Z""www.example.com""/home?utm_source=google""GET""Mozilla/5.0 (compatible; GPTBot/1.0""https://chatgpt.com"200"text/html; charset=utf-8"42Exemplo de linhas de log example
O exemplo a seguir mostra três linhas de log:
{"timestamp":"2025-02-01T23:06:14Z","host":"www.example.com","url":"/products/llm-optimizer?utm_source=google","request_method":"GET","request_user_agent":"Mozilla/5.0 (compatible; GPTBot/1.0; +https://openai.com/gptbot)","response_status":200,"request_referer":"","response_content_type":"text/html; charset=utf-8","time_to_first_byte":198}
{"timestamp":"2025-02-01T23:19:32Z","host":"www.example.com","url":"/services/ai-consulting/overview","request_method":"GET","request_user_agent":"PerplexityBot/1.0 (+https://www.perplexity.ai/perplexitybot)","response_status":200,"request_referer":"","response_content_type":"text/html; charset=utf-8","time_to_first_byte":255}
{"timestamp":"2025-02-01T23:44:05Z","host":"www.example.com","url":"/products/pricing/enterprise?utm_medium=social","request_method":"GET","request_user_agent":"ClaudeBot/1.0 (+https://www.anthropic.com)","response_status":200,"request_referer":"","response_content_type":"application/pdf","time_to_first_byte":312}
Aviso importante (ortografia e tipos) disclaimer
Os pipelines de ingestão e agregação são estritos em relação a nomes de campo e tipos de dados.
-
Os nomes de campos devem corresponder a exatamente (maiúsculas/minúsculas e ortografia).
-
Os Tipos de dados devem estar corretos, como se segue:
- carimbo de data e hora deve ser uma string de caracteres com o formato ISO 8601. Os carimbos de data e hora semelhantes ao UNIX podem não funcionar.
- response_status deve ser um número inteiro.
- time_to_first_byte deve ser um número inteiro e usar milissegundos.
- Strings devem ser strings JSON válidas.
-
Campos JSON malformados ou ausentes/incorretos podem fazer com que os logs sejam ignorados ou não sejam analisados, resultando em dados ausentes nos relatórios.
Localização de upload e cadência de processamento upload-location
Regra de caminho path-rule
Fazer upload de logs no caminho de pasta apropriado usando o formato: yyyy/mm/dd/ (com barras).
Um exemplo de log de 1º de fevereiro de 2025 UTC: ABC123AdobeOrg/raw/byocdn-other/2025/02/01/
Regra de processamento processing-rule
- Os logs carregados durante um determinado dia UTC são processados pelos pipelines perto do fim desse dia UTC (execução diária).
- Os logs enviados nas pastas de dias anteriores (preenchimento retroativo) são detectados e processados dentro de 24 horas.
Cenários scenarios
Cenário 1: logs no Splunk / Elasticsearch — exportar e fazer upload para o S3 scenario-splunk
Meta: recuperar logs de plataformas de observação existentes e entregá-los ao local do S3.
- Extraia os campos obrigatórios dos eventos de pesquisa do Splunk/Elastic.
- Transforme cada evento em um objeto JSON seguindo o esquema acima (linhas JSON).
- Faça upload do(s) arquivo(s) resultante(s) no bloco S3 designado e no caminho do dia UTC atual:
…/byocdn-other/yyyy/mm/dd/ - Os logs serão processados automaticamente até o final do dia UTC.
Cenário 2: Lambda / Azure Function — formatar e fazer upload para o S3 scenario-serverless
Meta: usar a computação sem servidor para buscar/receber logs da CDN, normalizá-los e entregá-los ao local do S3.
- A função recupera logs da origem do cliente (armazenamento de log, fila, armazenamento de blob, etc.).
- A função mapeia campos para o esquema esperado e emite Linhas JSON.
- A função faz upload da saída para:
…/byocdn-other/yyyy/mm/dd/ - Os logs serão processados automaticamente até o final do dia UTC.
Lista de verificação rápida checklist
- Um objeto JSON por linha (linhas JSON)
- Ortografia exata do campo conforme especificado
- Tipos de dados corretos
- time_to_first_byte em milissegundos (número inteiro)
- Fazer upload para a pasta UTC apropriada: dd/mm/yyyy/ em byocdn-other