Origini del registro

Le origini di registro sono file che contengono i dati da utilizzare per creare un set di dati.

I dati disponibili nelle origini di registro sono chiamati dati evento perché ogni record di dati rappresenta un record di transazione o una singola istanza di un evento. Il server di Data Workbench può elaborare le origini di registro derivate dai dati raccolti da Sensors o estratti da altre origini dati.

  • Dati raccolti da Sensors: I dati raccolti da Sensors dai server HTTP e applicativi vengono trasmessi ai server di Data Workbench, che convertono i dati in file di log ( .vsl) altamente compressi. Consulta File di sensore.

  • Dati estratti da Insight Server: il server di Data Workbench legge i dati evento contenuti in file flat, file XML o database conformi a ODBC e utilizza i relativi decoder per estrarre gli elementi desiderati dei dati. Tali dati dell’evento non devono necessariamente risiedere nella memoria, ma i record che contengono i dati devono includere un ID di tracciamento. Vedere File di registro, Sorgenti di registro XML e Origini dati ODBC.

Per aggiungere un’origine di registro

  1. Apri Log Processing.cfg in Data Workbench.

  2. Fai clic con il pulsante destro del mouse su Log Sources, quindi fai clic su Add New.

  3. Seleziona una delle seguenti opzioni:

    • Sensor
    • Log File
    • XML Log Source
    • ODBC Data Source
  4. I parametri specifici utilizzati per definire un set di dati variano in base al tipo di origine del registro da utilizzare nel processo di configurazione del set di dati. Specifica i parametri come indicato nella sezione corrispondente all’origine di registro appropriata:

  5. Dopo aver definito l’origine del registro (e apportato modifiche ad altri parametri) nel file Log Processing.cfg, salva il file localmente e salvalo nel profilo del set di dati sul server di Data Workbench.

    NOTA

    Un server di Data Workbench File Server Unit può ricevere e memorizzare Sensor file, file di registro e file XML e distribuirli sul server di Data Workbench Data Processing Units che crea il set di dati. Consultare Configurazione di un'unità del file server di Insight Server.

    Puoi aprire la configurazione di qualsiasi origine di registro da un Transformation Dependency Map. Per informazioni su Transformation Dependency Map, consulta Strumenti di configurazione del set di dati.

Requisiti

I dati evento raccolti da Sensors dai server HTTP e application vengono trasmessi ai server di Data Workbench, che convertono i dati in file di log ( .vsl) altamente compressi. Il formato di file .vsl viene gestito dal server di Data Workbench e ogni file ha un nome del formato:

AAAAMMGG-SENSORID.VSL

dove YYYMMDD è la data del file e SENSORID è il nome (assegnato dalla tua organizzazione) che indica quale Sensor ha raccolto e trasmesso i dati al server di Data Workbench.

Parametri

Per i file Sensor sono disponibili i seguenti parametri:

Parametro Descrizione
Percorsi di log

Le directory in cui sono memorizzati i file .vsl . Il percorso predefinito è la directory Logs. Un percorso relativo fa riferimento alla directory di installazione del server di Data Workbench.

Puoi utilizzare i caratteri jolly per specificare quali file .vsl elaborare:

  • * corrisponde a qualsiasi numero di caratteri
  • ? corrisponde a un singolo carattere

Ad esempio, il percorso del registro Logs\*.vsl corrisponde a qualsiasi file nella directory Logs che termina in .vsl. Il percorso di log Logs\*-SENSOR?.vsl corrisponde ai file nella directory Logs con qualsiasi data (YYYMMDD) e un singolo carattere dopo SENSOR, come in SENSOR1.

Se si desidera cercare tutte le sottodirectory del percorso specificato, è necessario impostare il parametro Ricorsivo su true.

Nota: Se i file devono essere letti dall' File Server Unit di un server di Data Workbench, è necessario immettere gli URI appropriati nel parametro Log Paths. Ad esempio, l’ URI /Logs/*-*.vsl corrisponde a qualsiasi file .vsl nella directory Logs. Consultare Configurazione di un'unità del file server di Insight Server.

Server di registro Informazioni (indirizzo, nome, porta e così via) necessarie per connettersi a un file server. Se nel parametro del server di registro è presente una voce, i percorsi di log vengono interpretati come URI. In caso contrario, vengono interpretati come percorsi locali. Consultare Configurazione di un'unità del file server di Insight Server.
ID origine registro

Il valore di questo parametro può essere una qualsiasi stringa. Se viene specificato un valore, questo parametro consente di distinguere le voci di registro da diverse origini di registro per l'identificazione dell'origine o l'elaborazione mirata. Il campo x-log-source-id viene compilato con un valore che identifica l'origine del registro per ogni voce di registro. Ad esempio, se desideri identificare le voci di registro da un Sensor denominato VSensor01, puoi digitare da VSensor01 e passare tale stringa al campo x-log-source-id per ogni voce di registro da tale origine.

Per informazioni sul campo x-log-source-id, vedere Campi record dati evento.

Ricorsivo True o false. Se impostato su true, tutte le sottodirectory di ciascun percorso specificato in Log Paths vengono cercate nei file che corrispondono al nome file o al pattern di caratteri jolly specificato. Il valore predefinito è false.
Usa ora di inizio/fine

True o false. Se si specifica true e Start Time o End Time, tutti i file per questa origine di log devono avere nomi di file che iniziano con date in formato ISO (YYYMMDD). Si presume che ogni file contenga dati per un giorno GMT (ad esempio, l’intervallo di tempo che inizia alle 000 GMT di un giorno e termina alle 000 GMT del giorno successivo). Se i file delle origini del registro contengono dati che non corrispondono a un giorno GMT, allora questo parametro deve essere impostato su false per evitare risultati errati.

Nota: Per impostazione predefinita, i file .vsl contenenti dati raccolti da Sensor soddisfano automaticamente i requisiti di denominazione e intervallo di tempo descritti in precedenza. Se si imposta questo parametro su true, il server di Data Workbench elabora sempre i dati dei file i cui nomi includono date ISO che si trovano tra l’ora di inizio e l’ora di fine specificate. Se si imposta questo parametro su false, il server di Data Workbench legge tutti i file .vsl durante l’elaborazione del registro per determinare quali file contengono dati nell’intervallo Ora di inizio e Ora di fine.

Per informazioni sui parametri Ora di inizio e Ora di fine, consulta Filtri dati.

NOTA

Non utilizzare i parametri di configurazione per le origini dati Sensor per determinare quali voci di registro all'interno di un file di registro includere in un set di dati. Imposta invece l'origine dati in modo che punti a tutti i file di log all'interno di una directory. Quindi utilizza i parametri Ora di inizio e Ora di fine di Log Processing.cfg per determinare quali voci di registro devono essere utilizzate nella costruzione del set di dati. Consulta Filtri dati.

Il file contenente i dati dell’evento deve soddisfare i seguenti requisiti:

  • Ogni record di dati evento nel file deve essere rappresentato da una riga.

  • I campi all’interno di un record devono essere separati, vuoti o meno, da un delimitatore ASCII. Il server di Data Workbench non richiede l’utilizzo di un delimitatore specifico. È possibile utilizzare qualsiasi carattere che non sia un carattere di fine riga e non sia visualizzato in alcun punto all’interno dei dati dell’evento stesso.

  • Ogni record del file deve contenere:

    • Un ID di tracciamento
    • Un timestamp
  • Per specificare l’ora di inizio e di fine dell’elaborazione dei dati, ciascun nome file deve essere del modulo:

    • YYYYMMDD-SOURCE.log

    dove YYYMMDD è il giorno di Greenwich Mean Time (GMT) di tutti i dati nel file e SOURCE è una variabile che identifica l'origine dei dati contenuti nel file.

    NOTA

    Contatta Adobe Consulting Services per una revisione dei file di log che intendi incorporare nel set di dati.

Parametri

Per le origini di registro dei file di registro, sono disponibili i parametri della tabella seguente.

NOTA

L'elaborazione delle origini dei file di log richiede parametri aggiuntivi definiti in un file Log Processing Dataset Include, che contiene un sottoinsieme dei parametri inclusi in un file Log Processing.cfg e parametri speciali per la definizione dei decoder per l'estrazione dei dati dal file di log. Per informazioni sulla definizione dei decodificatori per le origini dei file di log, vedere Gruppi decoder file di testo.

Parametro Descrizione
Nome Identificatore dell'origine del file di registro.
Percorsi di log

Le directory in cui sono memorizzati i file di registro. Il percorso predefinito è la directory Logs. Un percorso relativo fa riferimento alla directory di installazione del server di Data Workbench.

Puoi utilizzare i caratteri jolly per specificare quali file di registro elaborare:

  • * corrisponde a qualsiasi numero di caratteri.
  • ? corrisponde a un singolo carattere.

Ad esempio, il percorso del registro Logs\*.log corrisponde a qualsiasi file nella directory Logs che termina in .log.

Se si desidera cercare tutte le sottodirectory del percorso specificato, è necessario impostare il parametro Ricorsivo su true.

Se i file devono essere letti dall' File Server Unit di un server di Data Workbench, è necessario immettere gli URI appropriati nel parametro Log Paths. Ad esempio, l’ URI/Logs/*.log corrisponde a qualsiasi file .log nella directory Logs. Consultare Configurazione di un'unità del file server di Insight Server.

Server di registro Informazioni (indirizzo, nome, porta e così via) necessarie per connettersi a un file server. Se nel parametro del server di registro è presente una voce, i percorsi di log vengono interpretati come URI. In caso contrario, vengono interpretati come percorsi locali. Consultare Configurazione di un'unità del file server di Insight Server.
Compresso True o false. Questo valore deve essere impostato su true se i file di registro da leggere dal server di Data Workbench sono file gzip compressi.
Gruppo decodificatore Nome del gruppo di decodificatori file di testo da applicare all'origine del registro file di registro. Questo nome deve corrispondere esattamente al nome del gruppo di decodificatori del file di testo corrispondente specificato nel file Dataset Include di elaborazione del registro. Vedere Gruppi decoder file di testo.
ID origine registro

Il valore di questo parametro può essere una qualsiasi stringa. Se viene specificato un valore, questo parametro consente di distinguere le voci di registro da diverse origini di registro per l'identificazione dell'origine o l'elaborazione mirata. Il campo x-log-source-id viene compilato con un valore che identifica l'origine del registro per ogni voce di registro. Ad esempio, se si desidera identificare le voci di registro da un'origine file di registro denominata LogFile01, è possibile digitare da LogFile01 e tale stringa viene passata al campo x-log-source-id per ogni voce di registro da tale origine.

Per informazioni sul campo x-log-source-id, vedere Campi record dati evento.

Pattern di maschera

Espressione regolare con un singolo sottopattern di acquisizione che estrae un nome coerente utilizzato per identificare l’origine di una serie di file di registro. Viene considerato solo il nome del file. Il percorso e l'estensione non vengono considerati per la corrispondenza delle espressioni regolari. Se non si specifica un pattern di maschera, viene generata automaticamente una maschera.

Per i file Logs\010105server1.log e Logs\010105server2.log, il pattern di maschera sarebbe [0-9]{6}(.*). Questo pattern estrae la stringa "server1" o "server2" dai nomi dei file riportati sopra.

Consulta Espressioni regolari.

Ricorsivo True o false. Se questo parametro è impostato su true, tutte le sottodirectory di ciascun percorso specificato in Log Paths vengono cercate i file che corrispondono al nome file o al pattern di caratteri jolly specificato. Il valore predefinito è false.
Rifiuta file Il percorso e il nome del file contenente le voci di registro che non soddisfano le condizioni del decoder.
Usa ora di inizio/fine

True o false. Se questo parametro è impostato su true e viene specificato Start Time o End Time, tutti i file per questa origine di log devono avere nomi di file che iniziano con date in formato ISO (YYYYMMDD). Si presume che ogni file contenga dati per un giorno GMT (ad esempio, l’intervallo di tempo che inizia alle 000 GMT di un giorno e termina alle 000 GMT del giorno successivo). Se i nomi dei file delle origini di registro non iniziano con date ISO o se i file contengono dati che non corrispondono a un giorno GMT, allora questo parametro deve essere impostato su false per evitare risultati errati.

Nota: Se i requisiti di denominazione e intervallo di tempo descritti in precedenza sono soddisfatti per i file di registro e si imposta questo parametro su true, il gruppo di decodificatori file di testo specificato limita i file letti a quelli i cui nomi hanno date ISO che rientrano tra l'ora di inizio e l'ora di fine specificate. Se si imposta questo parametro su false, il server di Data Workbench legge tutti i file di registro durante l’elaborazione del registro per determinare quali file contengono dati nell’intervallo Ora di inizio e Ora di fine.

Per informazioni sui parametri Ora di inizio e Ora di fine, consulta Filtri dati.

In questo esempio, il set di dati è costruito da due tipi di origini di registro.

Origine registro 0 specifica i file di registro generati dai dati dell'evento acquisiti da Sensor. Questa origine dati punta a una directory denominata Logs e a tutti i file presenti in tale directory con estensione del nome file .vsl.

Origine registro 1 punta a tutti i file nella directory Logs con estensione del nome file .txt. Il gruppo di decodificatori per questa origine di log si chiama "Registri di testo".

Non eliminare o spostare file di registro dopo la definizione delle origini dati per un set di dati. Solo i file di registro appena creati devono essere aggiunti alla directory per le origini dati.

Il file contenente i dati dell’evento deve soddisfare i seguenti requisiti:

  • I dati evento devono essere inclusi in un file XML formattato correttamente con relazioni padre-figlio appropriate.

  • Per ogni formato di file XML deve esistere un gruppo di decodificatori univoco. Per informazioni sulla costruzione di un gruppo di decodificatori, vedere Gruppi decoder XML.

  • Ogni record visitatore nel file deve contenere:

    • Un ID di tracciamento
    • Un timestamp
  • Per specificare l’ora di inizio e di fine dell’elaborazione dei dati, ogni nome file deve essere del modulo

YYYYMMDD-SOURCE.log

dove YYYMMDD è il giorno di Greenwich Mean Time (GMT) di tutti i dati nel file e SOURCE è una variabile che identifica l'origine dei dati contenuti nel file.

Per un esempio di file XML che soddisfa questi requisiti, vedere Gruppi decoder XML.

NOTA

Contattare Adobe Consulting Services per una revisione dei file di log XML che si intende incorporare nel set di dati.

Parametri

Per le origini di registro XML, sono disponibili i parametri della tabella seguente.

NOTA

L'elaborazione delle origini di registro XML richiede parametri aggiuntivi definiti in un file Log Processing Dataset Include che contiene un sottoinsieme dei parametri inclusi in un file Log Processing.cfg e parametri speciali per la definizione dei decoder per l'estrazione dei dati dal file XML. Per informazioni sulla definizione dei decodificatori per le origini di log XML, vedere Gruppi decoder XML.

Campo Descrizione
Nome Identificatore per l'origine del registro XML.
Percorsi di log

Le directory in cui sono memorizzate le origini di registro XML. Il percorso predefinito è la directory Logs. Un percorso relativo fa riferimento alla directory di installazione del server di Data Workbench.

È possibile utilizzare caratteri jolly per specificare quali origini di registro XML elaborare:

  • * corrisponde a qualsiasi numero di caratteri
  • ? corrisponde a un singolo carattere

Ad esempio, il percorso del registro Logs\*.xml corrisponde a qualsiasi file nella directory Logs che termina in .xml.

Per cercare tutte le sottodirectory del percorso specificato, è necessario impostare il campo Recursive su true.

Nota: Se i file devono essere letti dall' File Server Unit di un server di Data Workbench, è necessario immettere gli URI appropriati nel campo Log Paths . Ad esempio, l’ URI/Logs/*.xml corrisponde a qualsiasi file .xml nella directory Logs. Consultare Configurazione di un'unità del file server di Insight Server.

Server di registro Informazioni (indirizzo, nome, porta e così via) necessarie per connettersi a un file server. Se nel campo Log Server è presente una voce, i Log Paths vengono interpretati come URI. In caso contrario, vengono interpretati come percorsi locali. Consultare Configurazione di un'unità del file server di Insight Server.
Compresso True o false. Questo valore deve essere impostato su true se le origini di registro XML da leggere dal server di Data Workbench sono file gzip compressi.
Gruppo decodificatore Nome del gruppo di decodificatori XML da applicare all'origine di log XML. Questo nome deve corrispondere esattamente al nome del gruppo di decodificatori XML corrispondente specificato nel file Dataset Include di elaborazione del registro. Vedere Gruppi decoder XML.
ID origine registro

Il valore di questo campo può essere una qualsiasi stringa. Se viene specificato un valore, questo campo consente di distinguere le voci di registro da diverse origini di registro per l'identificazione dell'origine o l'elaborazione mirata. Il campo x-log-source-id viene compilato con un valore che identifica l'origine del registro per ogni voce di registro. Ad esempio, se desideri identificare le voci di registro da un’origine di file di registro denominata XMLFile01, puoi digitare da XMLFile01 e passare tale stringa al campo x-log-source-id per ogni voce di registro da tale origine.

Per informazioni sul campo x-log-source-id, vedere Campi record dati evento.

Pattern di maschera

Espressione regolare con un singolo sottopattern di acquisizione che estrae un nome coerente utilizzato per identificare l’origine di una serie di file di registro. Viene considerato solo il nome del file. Il percorso e l'estensione non vengono considerati per la corrispondenza delle espressioni regolari. Se non si specifica un pattern di maschera, viene generata automaticamente una maschera.

Per i file Logs\010105server1.xml e Logs\010105server2.xml, il pattern della maschera sarebbe [0-9]{6}(.*). Questo pattern estrae la stringa "server1" o "server2" dai nomi dei file riportati sopra.

Consulta Espressioni regolari.

Ricorsivo True o false. Se questo parametro è impostato su true, tutte le sottodirectory di ciascun percorso specificato in Log Paths vengono cercate i file che corrispondono al nome file o al pattern di caratteri jolly specificato. Il valore predefinito è false.
Rifiuta file Il percorso e il nome del file contenente le voci di registro che non soddisfano le condizioni del decoder.
Usa ora di inizio/fine

True o false. Se questo parametro è impostato su true e viene specificato Start Time o End Time, tutti i file per questa origine di log devono avere nomi di file che iniziano con date in formato ISO (YYYYMMDD). Si presume che ogni file contenga dati per un giorno GMT (ad esempio, l’intervallo di tempo che inizia alle 000 GMT di un giorno e termina alle 000 GMT del giorno successivo). Se i nomi dei file delle origini di registro non iniziano con date ISO o se i file contengono dati che non corrispondono a un giorno GMT, allora questo parametro deve essere impostato su false per evitare risultati errati.

Nota: Se i requisiti di denominazione e intervallo di tempo descritti sopra sono soddisfatti per i file XML e si imposta questo parametro su true, il gruppo di decodificatori XML specificato limita i file letti a quelli i cui nomi hanno date ISO che si trovano tra l'ora di inizio e l'ora di fine specificate. Se si imposta questo parametro su false, il server di Data Workbench legge tutti i file XML durante l’elaborazione del registro per determinare quali file contengono dati nell’intervallo Ora di inizio e Ora di fine.

Per informazioni sui parametri Ora di inizio e Ora di fine, consulta Filtri dati.

NOTA

Non eliminare o spostare le origini di registro XML dopo la definizione delle origini dati per un set di dati. Solo i file XML appena creati devono essere aggiunti alla directory delle origini dati.

Il feed di dati Avro offre un modo più efficiente di integrare i dati nella Data Workbench:

  • Avro fornisce un formato a singola origine per i dati di traffico e commercio.

  • Il feed Avro è compresso in dati di più blocchi sorgente forniti al giorno. Fornisce solo campi popolati e fornisce funzioni di monitoraggio e notifica, accesso ai dati storici e recupero automatico.

  • Lo schema, un layout autodefinito dei file di log Avro, è incluso all'inizio di ogni file.

  • I nuovi campi vengono aggiunti con le informazioni di supporto per acquisire i dati delle Date Workbench senza che siano necessarie modifiche al decoder. Questi includono:

    • Evar: 1-250 (precedentemente 1-75)
    • Eventi personalizzati: 1-1000 (contro 1-100)
    • Accesso a variabili di soluzione per dati mobili, social e video
NOTA

Inoltre, l’utilizzo del feed Avro consente l’accesso immediato a tutti i nuovi campi del feed senza spegnimento, consentendo l’aggiornamento dei campi senza requisiti di servizio per l’ora.

Il feed di dati Avro è configurato in file separati:

  • Un file di log Avro: Questo è il formato di registro Avro generato dal decoder per formattare i dati del traffico e del commercio.
  • Un file Avro Decoder: Questo file ti consente di mappare i valori nel nuovo formato Avro. È possibile impostare il decodificatore utilizzando Avro Decoder Wizard.

Procedura guidata Decoder Avro

Questa procedura guidata imposta il file di log del decodificatore Avro.

Per aprire, fai clic con il pulsante destro del mouse in un'area di lavoro e seleziona Amministratore > Procedure guidate > Procedura guidata Avro decoder.

Passaggio 1: selezionare un file di registro virtuale.

In questo passaggio, puoi selezionare un file di origine per lo schema Avro. Gli schemi sono accessibili da un file di log (.log) o da un file decoder (.avrò) esistente. Gli schemi possono essere estratti da entrambi i file.

File di log Avro Fai clic su per aprire un file di registro (.log) per visualizzare lo schema nella parte superiore del file di registro e generare il file di decodificatore.
File decoder Avro Fai clic su per aprire e modificare lo schema di un file decoder (.avrò) esistente.

Passaggio 2: Selezionare Campi di input.

Seleziona i campi di input da utilizzare nel set di dati per passare attraverso l’elaborazione del registro. Vengono visualizzati tutti i campi del file, che consentono di selezionare i campi per il feed.

NOTA

Se nei dati viene rilevato un array, viene fornito un campo x-product(Generates row) . Questo campo genera nuove righe per i dati nidificati in una matrice come campi di input. Ad esempio, se si dispone di una riga Hit con molti valori di prodotto in un array, le righe verranno generate nel file di input per ogni prodotto.

Seleziona valori predefiniti Seleziona i campi da identificare come set standard di campi predefiniti .
Seleziona tutto Seleziona tutti i campi nel file .
Deseleziona tutto Cancella tutti i campi nel file .

Passaggio 3: Selezionare i campi da copiare per generare le righe.

Poiché è possibile creare nuove righe dai valori nidificati in un array, ogni nuova riga creata deve avere un ID di tracciamento e un timestamp. Questo passaggio ti consente di selezionare i campi da copiare nelle righe del record principale, ad esempio un ID di tracciamento e una marca temporale. È inoltre possibile selezionare altri valori da aggiungere a ogni riga.

Seleziona valori predefiniti Seleziona un set standard di campi predefiniti che richiedono l’aggiunta di nuovi valori di colonna a ciascuna riga, ad esempio un ID di tracciamento e una marca temporale. Ad esempio, un campo hit_source è un valore predefinito che deve essere aggiunto a ogni nuova riga (è definito come valore predefinito nell’elenco). È possibile aggiungere altri valori di colonna a ogni riga in base alle esigenze.
Seleziona tutto Seleziona tutti i campi nel file .
Deseleziona tutto Cancella tutti i campi nel file .

Utilizzare la casella Cerca per trovare i valori nell'elenco.

Passaggio 4: specifica il nome del decodificatore

Assegna un nome per il gruppo di campi e salva come file decoder. Il nome deve corrispondere al nome del gruppo Decoder specificato nell’origine del registro.

Passaggio 5: Salva il file del decodificatore.

Il menu file si apre per denominare il file decoder e salvare come file .cfg nella cartella Logs.

In questa pagina