Origini del registro

IMPORTANTE

Ulteriori informazioni su Data Workbench Annuncio di fine vita.

Le origini di registro sono file che contengono i dati da utilizzare per creare un set di dati.

I dati disponibili nelle origini di registro sono chiamati dati evento perché ogni record di dati rappresenta un record di transazione o una singola istanza di un evento. Il server di Data Workbench può elaborare le origini di registro derivate dai dati raccolti da Sensors o estratti da altre origini dati.

  • Dati raccolti da Sensors: ​ Dati raccolti da Sensors da server HTTP e applicazioni viene trasmesso ai server di Data Workbench, che convertono i dati in log altamente compressi ( .vsl). Vedi File sensore.

  • Dati estratti da Insight Server: Il server di Data Workbench legge i dati evento contenuti in file flat, file XML o database conformi a ODBC e utilizza i relativi decoder per estrarre gli elementi desiderati dei dati. Tali dati dell’evento non devono necessariamente risiedere nella memoria, ma i record che contengono i dati devono includere un ID di tracciamento. Vedi File di registro, Sorgenti di log XMLe Origini dati ODBC.

Per aggiungere un’origine di registro

  1. Apri Log Processing.cfg all’interno di Data Workbench.

  2. Fai clic con il pulsante destro del mouse Log Sources, quindi fai clic su Add New.

  3. Seleziona una delle seguenti opzioni:

    • Sensor
    • Log File
    • XML Log Source
    • ODBC Data Source

  4. I parametri specifici utilizzati per definire un set di dati variano in base al tipo di origine del registro da utilizzare nel processo di configurazione del set di dati. Specifica i parametri come indicato nella sezione corrispondente all’origine di registro appropriata:

  5. Dopo aver definito l’origine del registro (e aver apportato modifiche ad altri parametri) nel Log Processing.cfg , salva il file localmente e salvalo nel tuo profilo di set di dati sul server di Data Workbench.

    NOTA

    Un server di Data Workbench File Server Unit può ricevere e archiviare Sensor file, file di registro e file XML e distribuirli al server di Data Workbench Data Processing Units che creano il set di dati. Vedi Configurazione di un’unità del file server di Insight Server.

    Puoi aprire la configurazione di qualsiasi origine di registro da un Transformation Dependency Map. Per informazioni su Transformation Dependency Map, vedi Strumenti di configurazione del set di dati.

Requisiti

Dati evento raccolti da Sensors da server HTTP e applicazioni viene trasmesso ai server di Data Workbench, che convertono i dati in log altamente compressi ( .vsl). La .vsl il formato di file viene gestito dal server di Data Workbench e ogni file ha un nome del formato:

AAAAMMGG SENSORIA.VSL

dove YYYMMDD è la data del file, e SENSORIA è il nome (assegnato dalla tua organizzazione) che indica quale Sensor raccolti e trasmessi i dati al server di Data Workbench.

Parametri

Per Sensor file, sono disponibili i seguenti parametri:

Parametro Descrizione
Percorsi di log

Le directory in cui .vsl i file vengono archiviati. Il percorso predefinito è la directory Logs. Un percorso relativo fa riferimento alla directory di installazione del server di Data Workbench.

Puoi utilizzare i caratteri jolly per specificare quali .vsl file da elaborare:

  • * corrisponde a qualsiasi numero di caratteri
  • ? corrisponde a un singolo carattere

Ad esempio, il percorso del registro Registri\*.vsl corrisponde a qualsiasi file nella directory Logs che termina in .vsl. Percorso del registro Registri\*-SENSOR?.vsl rileva i file nella directory Logs con qualsiasi data (YYYMMDD) e un singolo carattere dopo SENSOR, come in SENSOR1.

Se si desidera cercare tutte le sottodirectory del percorso specificato, è necessario impostare il parametro Ricorsivo su true.

Nota: Se i file devono essere letti da un server di Data Workbench Unità file server, quindi è necessario immettere gli URI appropriati nel parametro Log Paths (Percorsi di log). Ad esempio, il URI /Logs/*-*.vsl corrisponde a qualsiasi .vsl nella directory Logs. Vedi Configurazione di un’unità del file server di Insight Server.

Server di registro Informazioni (indirizzo, nome, porta e così via) necessarie per connettersi a un file server. Se è presente una voce nel parametro del server di registro, la Percorsi di log sono interpretati come URI. In caso contrario, vengono interpretati come percorsi locali. Vedi Configurazione di un’unità del file server di Insight Server.
ID origine registro

Il valore di questo parametro può essere una qualsiasi stringa. Se viene specificato un valore, questo parametro consente di distinguere le voci di registro da diverse origini di registro per l'identificazione dell'origine o l'elaborazione mirata. Il campo x-log-source-id viene compilato con un valore che identifica l'origine del registro per ogni voce di registro. Ad esempio, se desideri identificare le voci di registro da un Sensore denominato VSensor01, è possibile digitare da VSensor01, e quella stringa verrebbe passata al campo x-log-source-id per ogni voce di registro da tale origine.

Per informazioni sul campo x-log-source-id, vedi Campi record dati evento.

Ricorsivo True o false. Se impostato su true, tutte le sottodirectory di ciascun percorso specificato in Percorsi di log vengono cercati i file che corrispondono al nome file o al pattern di caratteri jolly specificati. Il valore predefinito è false.
Usa ora di inizio/fine

True o false. Se si specifica true e Start Time o End Time, tutti i file per questa origine di log devono avere nomi di file che iniziano con date in formato ISO (YYYMMDD). Si presume che ogni file contenga dati per un giorno GMT (ad esempio, l’intervallo di tempo che inizia alle 000 GMT di un giorno e termina alle 000 GMT del giorno successivo). Se i file delle origini del registro contengono dati che non corrispondono a un giorno GMT, allora questo parametro deve essere impostato su false per evitare risultati errati.

Nota: Per impostazione predefinita, .vsl file contenenti i dati raccolti da Sensore soddisfa automaticamente i requisiti di denominazione e intervallo di tempo descritti in precedenza. Se si imposta questo parametro su true, il server di Data Workbench elabora sempre i dati dei file i cui nomi includono date ISO che si trovano tra l’ora di inizio e l’ora di fine specificate. Se si imposta questo parametro su false, il server di Data Workbench legge tutti i .vsl file durante l'elaborazione del registro per determinare quali file contengono dati nell'intervallo Ora di inizio e Ora di fine.

Per informazioni sui parametri Ora di inizio e Ora di fine, consulta Filtri dati.

NOTA

Non utilizzare i parametri di configurazione per Sensor origini dati per determinare quali voci di registro all’interno di un file di registro includere in un set di dati. Imposta invece l'origine dati in modo che punti a tutti i file di log all'interno di una directory. Quindi utilizza i parametri Ora di inizio e Ora di fine di Log Processing.cfg per determinare quali voci di registro utilizzare nella costruzione del set di dati. Vedi Filtri dati.

Il file contenente i dati dell’evento deve soddisfare i seguenti requisiti:

  • Ogni record di dati evento nel file deve essere rappresentato da una riga.

  • I campi all’interno di un record devono essere separati, vuoti o meno, da un delimitatore ASCII. Il server di Data Workbench non richiede l’utilizzo di un delimitatore specifico. È possibile utilizzare qualsiasi carattere che non sia un carattere di fine riga e non sia visualizzato in alcun punto all’interno dei dati dell’evento stesso.

  • Ogni record del file deve contenere:

    • Un ID di tracciamento
    • Un timestamp

  • Per specificare l’ora di inizio e di fine dell’elaborazione dei dati, ciascun nome file deve essere del modulo:

    • YYYYMMDD-SOURCE.log

    dove AAAAMMGG è il giorno dell’ora di Greenwich (GMT) di tutti i dati presenti nel file, e ORIGINE è una variabile che identifica l'origine dei dati contenuti nel file.

    NOTA

    Contatta Adobe Consulting Services per una revisione dei file di log che intendi incorporare nel set di dati.

Parametri

Per le origini di registro dei file di registro, sono disponibili i parametri della tabella seguente.

NOTA

L’elaborazione delle origini dei file di registro richiede parametri aggiuntivi definiti in Log Processing Dataset Include , che contiene un sottoinsieme dei parametri inclusi in un Log Processing.cfg nonché parametri speciali per la definizione dei decoder per l’estrazione dei dati dal file di log. Per informazioni sulla definizione dei decodificatori per le origini dei file di log, vedi Gruppi decodificatore file di testo.

Parametro Descrizione
Nome Identificatore dell'origine del file di registro.
Percorsi di log

Le directory in cui sono memorizzati i file di registro. Il percorso predefinito è la directory Logs. Un percorso relativo fa riferimento alla directory di installazione del server di Data Workbench.

Puoi utilizzare i caratteri jolly per specificare quali file di registro elaborare:

  • * corrisponde a qualsiasi numero di caratteri.
  • ? corrisponde a un singolo carattere.

Ad esempio, il percorso del registro Registri\*.log corrisponde a qualsiasi file nella directory Logs che termina in .log.

Se si desidera cercare tutte le sottodirectory del percorso specificato, è necessario impostare il parametro Ricorsivo su true.

Se i file devono essere letti da un server di Data Workbench Unità file server, quindi è necessario immettere gli URI appropriati nel parametro Log Paths (Percorsi di log). Ad esempio, il URI/Logs/*.log corrisponde a qualsiasi .log nella directory Logs. Vedi Configurazione di un’unità del file server di Insight Server.

Server di registro Informazioni (indirizzo, nome, porta e così via) necessarie per connettersi a un file server. Se è presente una voce nel parametro del server di registro, la Percorsi di log sono interpretati come URI. In caso contrario, vengono interpretati come percorsi locali. Vedi Configurazione di un’unità del file server di Insight Server.
Compresso True o false. Questo valore deve essere impostato su true se i file di registro da leggere dal server di Data Workbench sono file gzip compressi.
Gruppo decodificatore Nome del gruppo di decodificatori file di testo da applicare all'origine del registro file di registro. Questo nome deve corrispondere esattamente al nome del gruppo di decodificatori del file di testo corrispondente specificato nel Include set di dati di elaborazione del registro file. Vedi Gruppi decodificatore file di testo.
ID origine registro

Il valore di questo parametro può essere una qualsiasi stringa. Se viene specificato un valore, questo parametro consente di distinguere le voci di registro da diverse origini di registro per l'identificazione dell'origine o l'elaborazione mirata. Il campo x-log-source-id viene compilato con un valore che identifica l'origine del registro per ogni voce di registro. Ad esempio, se si desidera identificare le voci di registro da un'origine file di registro denominata LogFile01, è possibile digitare da LogFile01, e quella stringa verrebbe passata al campo x-log-source-id per ogni voce di registro da tale origine.

Per informazioni sul campo x-log-source-id, vedi Campi record dati evento.

Pattern di maschera

Espressione regolare con un singolo sottopattern di acquisizione che estrae un nome coerente utilizzato per identificare l’origine di una serie di file di registro. Viene considerato solo il nome del file. Il percorso e l'estensione non vengono considerati per la corrispondenza delle espressioni regolari. Se non si specifica un pattern maschera, quindi una maschera viene generata automaticamente.

Per i file Registri\010105server1.log e Registri\010105server2.log, pattern maschera sarebbe [0-9]{6}(.*). Questo pattern estrae la stringa "server1" o "server2" dai nomi dei file riportati sopra.

Vedi Espressioni regolari.

Ricorsivo True o false. Se questo parametro è impostato su true, tutte le sottodirectory di ciascun percorso specificato in Percorsi di log vengono cercati i file che corrispondono al nome file o al pattern di caratteri jolly specificati. Il valore predefinito è false.
Rifiuta file Il percorso e il nome del file contenente le voci di registro che non soddisfano le condizioni del decoder.
Usa ora di inizio/fine

True o false. Se questo parametro è impostato su true e viene specificato Start Time o End Time, tutti i file per questa origine di log devono avere nomi di file che iniziano con date in formato ISO (YYYYMMDD). Si presume che ogni file contenga dati per un giorno GMT (ad esempio, l’intervallo di tempo che inizia alle 000 GMT di un giorno e termina alle 000 GMT del giorno successivo). Se i nomi dei file delle origini di registro non iniziano con date ISO o se i file contengono dati che non corrispondono a un giorno GMT, allora questo parametro deve essere impostato su false per evitare risultati errati.

Nota: Se i requisiti di denominazione e intervallo di tempo descritti in precedenza sono soddisfatti per i file di registro e si imposta questo parametro su true, il gruppo di decodificatori file di testo specificato limita i file letti a quelli i cui nomi hanno date ISO che rientrano tra l'ora di inizio e l'ora di fine specificate. Se si imposta questo parametro su false, il server di Data Workbench legge tutti i file di registro durante l’elaborazione del registro per determinare quali file contengono dati nell’intervallo Ora di inizio e Ora di fine.

Per informazioni sui parametri Ora di inizio e Ora di fine, consulta Filtri dati.

In questo esempio, il set di dati è costruito da due tipi di origini di registro.

L'origine del registro 0 specifica i file di registro generati dai dati dell'evento acquisiti da Sensor. Questa origine dati punta a una directory denominata Logs e a tutti i file presenti in tale directory con un .vsl estensione del nome file.

Origine log 1 punta a tutti i file nella directory Logs con un .txt estensione del nome file. Il gruppo di decodificatori per questa origine di log si chiama "Registri di testo".

Non eliminare o spostare file di registro dopo la definizione delle origini dati per un set di dati. Solo i file di registro appena creati devono essere aggiunti alla directory per le origini dati.

Il file contenente i dati dell’evento deve soddisfare i seguenti requisiti:

  • I dati evento devono essere inclusi in un file XML formattato correttamente con relazioni padre-figlio appropriate.

  • Per ogni formato di file XML deve esistere un gruppo di decodificatori univoco. Per informazioni sulla costruzione di un gruppo di decodificatori, consulta Gruppi decodificatore XML.

  • Ogni record visitatore nel file deve contenere:

    • Un ID di tracciamento
    • Un timestamp

  • Per specificare l’ora di inizio e di fine dell’elaborazione dei dati, ogni nome file deve essere del modulo

YYYYMMDD-SOURCE.log

dove AAAAMMGG è il giorno dell’ora di Greenwich (GMT) di tutti i dati presenti nel file, e ORIGINE è una variabile che identifica l'origine dei dati contenuti nel file.

Per un esempio di file XML che soddisfa i seguenti requisiti, vedere Gruppi decodificatore XML.

NOTA

Contattare Adobe Consulting Services per una revisione dei file di log XML che si intende incorporare nel set di dati.

Parametri

Per le origini di registro XML, sono disponibili i parametri della tabella seguente.

NOTA

L'elaborazione delle origini di registro XML richiede parametri aggiuntivi definiti in un Log Processing Dataset Include , che contiene un sottoinsieme dei parametri inclusi in un Log Processing.cfg nonché parametri speciali per la definizione dei decoder per l’estrazione dei dati dal file XML. Per informazioni sulla definizione dei decoder per le origini di log XML, consulta Gruppi decodificatore XML.

Campo Descrizione
Nome Identificatore per l'origine del registro XML.
Percorsi di log

Le directory in cui sono memorizzate le origini di registro XML. Il percorso predefinito è la directory Logs. Un percorso relativo fa riferimento alla directory di installazione del server di Data Workbench.

È possibile utilizzare caratteri jolly per specificare quali origini di registro XML elaborare:

  • * corrisponde a qualsiasi numero di caratteri
  • ? corrisponde a un singolo carattere

Ad esempio, il percorso del registro Logs\*.xml corrisponde a qualsiasi file nella directory Logs che termina in .xml.

Se desideri cercare in tutte le sottodirectory del percorso specificato, imposta la Ricorsivo su true.

Nota: Se i file devono essere letti da un server di Data Workbench Unità file server, è necessario immettere gli URI appropriati nel Percorsi di log campo . Ad esempio, il URI/Logs/*.xml corrisponde a qualsiasi .xml nella directory Logs. Vedi Configurazione di un’unità del file server di Insight Server.

Server di registro Informazioni (indirizzo, nome, porta e così via) necessarie per connettersi a un file server. Se è presente una voce nel Server di registro campo Percorsi di log sono interpretati come URI. In caso contrario, vengono interpretati come percorsi locali. Vedi Configurazione di un’unità del file server di Insight Server.
Compresso True o false. Questo valore deve essere impostato su true se le origini di registro XML da leggere dal server di Data Workbench sono file gzip compressi.
Gruppo decodificatore Nome del gruppo di decodificatori XML da applicare all'origine di log XML. Questo nome deve corrispondere esattamente al nome del gruppo di decodificatori XML corrispondente specificato nel Include set di dati di elaborazione del registro file. Vedi Gruppi decodificatore XML.
ID origine registro

Il valore di questo campo può essere una qualsiasi stringa. Se viene specificato un valore, questo campo consente di distinguere le voci di registro da diverse origini di registro per l'identificazione dell'origine o l'elaborazione mirata. Il campo x-log-source-id viene compilato con un valore che identifica l'origine del registro per ogni voce di registro. Ad esempio, se si desidera identificare le voci di registro da un'origine file di registro denominata XMLFile01, è possibile digitare da XMLFile01, e quella stringa verrebbe passata al campo x-log-source-id per ogni voce di registro da tale origine.

Per informazioni sul campo x-log-source-id, vedi Campi record dati evento.

Pattern di maschera

Espressione regolare con un singolo sottopattern di acquisizione che estrae un nome coerente utilizzato per identificare l’origine di una serie di file di registro. Viene considerato solo il nome del file. Il percorso e l'estensione non vengono considerati per la corrispondenza delle espressioni regolari. Se non si specifica un pattern maschera, quindi una maschera viene generata automaticamente.

Per i file Registri\010105server1.xml e Registri\010105server2.xml, il modello di maschera sarebbe [0-9]{6}(.*). Questo pattern estrae la stringa "server1" o "server2" dai nomi dei file riportati sopra.

Vedi Espressioni regolari.

Ricorsivo True o false. Se questo parametro è impostato su true, tutte le sottodirectory di ciascun percorso specificato in Percorsi di log vengono cercati i file che corrispondono al nome file o al pattern di caratteri jolly specificati. Il valore predefinito è false.
Rifiuta file Il percorso e il nome del file contenente le voci di registro che non soddisfano le condizioni del decoder.
Usa ora di inizio/fine

True o false. Se questo parametro è impostato su true e viene specificato Start Time o End Time, tutti i file per questa origine di log devono avere nomi di file che iniziano con date in formato ISO (YYYYMMDD). Si presume che ogni file contenga dati per un giorno GMT (ad esempio, l’intervallo di tempo che inizia alle 000 GMT di un giorno e termina alle 000 GMT del giorno successivo). Se i nomi dei file delle origini di registro non iniziano con date ISO o se i file contengono dati che non corrispondono a un giorno GMT, allora questo parametro deve essere impostato su false per evitare risultati errati.

Nota: Se i requisiti di denominazione e intervallo di tempo descritti sopra sono soddisfatti per i file XML e si imposta questo parametro su true, il gruppo di decodificatori XML specificato limita i file letti a quelli i cui nomi hanno date ISO che si trovano tra l'ora di inizio e l'ora di fine specificate. Se si imposta questo parametro su false, il server di Data Workbench legge tutti i file XML durante l’elaborazione del registro per determinare quali file contengono dati nell’intervallo Ora di inizio e Ora di fine.

Per informazioni sui parametri Ora di inizio e Ora di fine, consulta Filtri dati.

NOTA

Non eliminare o spostare le origini di registro XML dopo la definizione delle origini dati per un set di dati. Solo i file XML appena creati devono essere aggiunti alla directory delle origini dati.

Il feed di dati Avro offre un modo più efficiente di integrare i dati nella Data Workbench:

  • Avro fornisce un formato a singola origine per i dati di traffico e commercio.

  • Il feed Avro è compresso in dati di più blocchi sorgente forniti al giorno. Fornisce solo campi popolati e fornisce funzioni di monitoraggio e notifica, accesso ai dati storici e recupero automatico.

  • Lo schema, un layout autodefinito dei file di log Avro, è incluso all'inizio di ogni file.

  • I nuovi campi vengono aggiunti con le informazioni di supporto per acquisire i dati delle Date Workbench senza che siano necessarie modifiche al decoder. Comprendono:

    • Evar: 1-250 (precedentemente 1-75)
    • Eventi personalizzati: 1-1000 (contro 1-100)
    • Accesso a variabili di soluzione per dati mobili, social e video
NOTA

Inoltre, l’utilizzo del feed Avro consente l’accesso immediato a tutti i nuovi campi del feed senza spegnimento, consentendo l’aggiornamento dei campi senza requisiti di servizio per l’ora.

Il feed di dati Avro è configurato in file separati:

  • Un File di registro avro: Questo è il formato di registro Avro generato dal decoder per formattare i dati del traffico e del commercio.
  • Un File decoder Avro: Questo file ti consente di mappare i valori nel nuovo formato Avro. È possibile impostare il decodificatore utilizzando Avro Decoder Wizard.

Procedura guidata Decoder Avro

Questa procedura guidata imposta il file di registro del decodificatore Avro.

Per aprire, fai clic con il pulsante destro del mouse in un’area di lavoro e seleziona Amministratore > Procedure guidate > Procedura guidata Decoder Avro.

Passaggio 1: Selezionare un file di registro virtuale.

In questo passaggio, puoi selezionare un file di origine per lo schema Avro. Gli schemi sono accessibili da un file di log (.log) o da un file decoder (.avrò) esistente. Gli schemi possono essere estratti da entrambi i file.

File di log Avro ​ Fai clic su per aprire un file di registro (.log) per visualizzare lo schema nella parte superiore del file di registro e generare il file di decodificatore.
File decoder Avro Fai clic su per aprire e modificare lo schema di un file decoder (.avrò) esistente.

Passaggio 2: Seleziona campi di input.

Seleziona i campi di input da utilizzare nel set di dati per passare attraverso l’elaborazione del registro. Vengono visualizzati tutti i campi del file, che consentono di selezionare i campi per il feed.

NOTA

A x-product(Generates row) viene fornito se nei dati viene rilevata una matrice. Questo campo genera nuove righe per i dati nidificati in una matrice come campi di input. Ad esempio, se si dispone di una riga Hit con molti valori di prodotto in un array, le righe verranno generate nel file di input per ogni prodotto.

Seleziona valori predefiniti Seleziona i campi da identificare come set standard di campi predefiniti .
Seleziona tutto Seleziona tutti i campi nel file .
Deseleziona tutto Cancella tutti i campi nel file .

Passaggio 3: Selezionare i campi da copiare per generare le righe.

Poiché è possibile creare nuove righe dai valori nidificati in un array, ogni nuova riga creata deve avere un ID di tracciamento e un timestamp. Questo passaggio ti consente di selezionare i campi da copiare nelle righe del record principale, ad esempio un ID di tracciamento e una marca temporale. È inoltre possibile selezionare altri valori da aggiungere a ogni riga.

Seleziona valori predefiniti Seleziona un set standard di campi predefiniti che richiedono l’aggiunta di nuovi valori di colonna a ciascuna riga, ad esempio un ID di tracciamento e una marca temporale. Ad esempio, un hit_source è un valore predefinito che deve essere aggiunto a ogni nuova riga (è definito come valore predefinito nell’elenco). È possibile aggiungere altri valori di colonna a ogni riga in base alle esigenze.
Seleziona tutto Seleziona tutti i campi nel file .
Deseleziona tutto Cancella tutti i campi nel file .

Utilizza la Ricerca per trovare i valori nell'elenco.

Passaggio 4: specifica il nome del decodificatore

Assegna un nome per il gruppo di campi e salva come file decoder. Il nome deve corrispondere al nome del gruppo Decoder specificato nell’origine del registro.

Passaggio 5: Salva il file del decodificatore.

Viene aperto il menu file per denominare il file decoder e salvarlo come .cfg nel Registri cartella.

In questa pagina