Quellen für die Protokollierung

Protokollquellen sind Dateien mit den Daten, die zum Erstellen eines Datensatzes verwendet werden sollen.

Die in den Protokollquellen verfügbaren Daten werden als Ereignis-Daten bezeichnet, da jeder Datensatz einen Transaktionssatz oder eine Instanz eines Ereignisses darstellt. Der Data Workbench-Server kann Protokollquellen verarbeiten, die aus Daten stammen, die von anderen Datenquellen erfasst Sensors oder aus diesen extrahiert wurden.

  • Daten erfasst von Sensors: Daten, die von Sensors HTTP- und Anwendungsservern erfasst werden, werden an Data Workbench-Server übertragen, die die Daten in stark komprimierte Protokolldateien ( .vsl) konvertieren. Siehe Sensordateien.

  • Von Insight Server extrahierte Daten: Der Data Workbench-Server liest Ereignis-Daten, die in Flachdateien, XML-Dateien oder ODBC-kompatiblen Datenbanken enthalten sind, und verwendet seine Dekodierer, um die gewünschten Datenelemente zu extrahieren. Diese Ereignis-Daten müssen nicht speicherresidenz sein, aber die Datensätze, die die Daten enthalten, müssen eine Tracking-ID enthalten. Siehe Protokolldateien, XML-Protokollquellenund ODBC-Datenquellen.

So fügen Sie eine Protokollquelle hinzu

  1. Öffnen Sie Log Processing.cfg in Data Workbench.

  2. Klicken Sie mit der rechten Maustaste Log Sources und dann auf Add New.

  3. Wählen Sie eine der folgenden Optionen aus:

    • Sensor
    • Log File
    • XML Log Source
    • ODBC Data Source
  4. Die zur Definition eines Datensatzes verwendeten spezifischen Parameter variieren je nach dem Typ der Protokollquelle, die im Konfigurationsprozess des Datensatzes verwendet wird. Geben Sie die Parameter wie im Abschnitt für die entsprechende Protokollquelle angegeben an:

  5. Nachdem Sie die Protokollquelle (und Änderungen an anderen Parametern) in der Log Processing.cfg Datei definiert haben, speichern Sie die Datei lokal und speichern Sie sie im DataSet-Profil auf dem Data Workbench-Server.

    Hinweis

    Ein Data Workbench-Server File Server Unit kann Sensor Dateien, Protokolldateien und XML-Dateien empfangen und speichern und sie an die Datenbasis-Server weiterleiten, Data Processing Units die den Datensatz erstellen. Siehe Konfigurieren einer Insight Server-Dateiservereinheit.

    Sie können die Konfiguration einer beliebigen Protokollquelle von einem Transformation Dependency Mapaus öffnen. Weitere Informationen Transformation Dependency Mapfinden Sie unter DataSet-Konfigurationstools.

Voraussetzungen

Von Sensors HTTP- und Anwendungsservern erfasste Ereignis-Daten werden an Data Workbench-Server übertragen, die die Daten in stark komprimierte Protokolldateien ( .vsl) konvertieren. Das .vsl Dateiformat wird vom Data Workbench-Server verwaltet und jede Datei hat einen Namen im folgenden Format:

JJJMMTT-SENSORID.VSL

wobei YJJMMTT das Datum der Datei ist und SENSORID der Name (von Ihrem Unternehmen zugewiesen), der angibt, welche Daten gesammelt und an den Data Workbench-Server übermittelt Sensor wurden.

Parameter

Für Sensor Dateien stehen die folgenden Parameter zur Verfügung:

Parameter Beschreibung
Protokollpfade

Die Ordner, in denen die .vsl -Dateien gespeichert werden. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.

Mithilfe von Platzhalterzeichen können Sie angeben, welche .vsl -Dateien verarbeitet werden sollen:

  • * entspricht einer beliebigen Anzahl von Zeichen
  • ? entspricht einem einzelnen Zeichen

Beispielsweise stimmt der Protokollpfad Logs\*.vsl mit allen Dateien im Verzeichnis Protokolle, die in .vslenden, überein. Der Protokollpfad Logs\*-SENSOR?.vsl stimmt mit Dateien im Protokollverzeichnis mit jedem Datum (JJJMMTT) und einem einzelnen Zeichen nach SENSOR überein, wie in SENSOR1.

Wenn Sie alle Unterordner des angegebenen Pfads durchsuchen möchten, müssen Sie den Parameter "Umkehren"auf "true"setzen.

Hinweis: Wenn die Dateien von der File Server Uniteines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URI(s) im Parameter Log Paths eingeben. Beispielsweise stimmt der URI /Logs/*-*.vsl mit jeder .vsl -Datei im Protokollordner überein. Siehe Konfigurieren einer Insight Server-Dateiservereinheit.

Protokollserver Informationen (Adresse, Name, Anschluss usw.), die zum Herstellen einer Verbindung mit einem Dateiserver erforderlich sind. Wenn der Parameter "Log Server"einen Eintrag enthält, werden die Protokollpfade als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server-Dateiservereinheit.
Protokollquelle-ID

Der Wert dieses Parameters kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben wird, können Sie mit diesem Parameter Protokolleinträge von verschiedenen Protokollquellen zur Quellidentifizierung oder gezielten Verarbeitung unterscheiden. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag identifiziert. Wenn Sie z. B. Protokolleinträge eines Sensors mit dem Namen VSensor01 identifizieren möchten, können Sie von VSensor01eingeben. Diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.

Informationen zum Feld x-log-source-id finden Sie unter Ereignis Data Record Fields.

Rekursiv Wahr oder falsch. Bei der Einstellung "true"werden alle Unterordner jedes in " Protokollpfade "angegebenen Pfads nach Dateien durchsucht, die dem angegebenen Dateinamen oder Platzhaltermuster entsprechen. Der Standardwert ist „false“.
Beginns-/Endzeit verwenden

Wahr oder falsch. Wenn "true"festgelegt und "Beginn Time"oder "End Time"angegeben ist, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der an einem Tag bei 0000 GMT beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Protokollquellen-Dateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf "false"gesetzt werden, um falsche Ergebnisse zu vermeiden.

Hinweis: Standardmäßig entsprechen .vsl- Dateien, die von Sensor erfasste Daten enthalten, automatisch den oben beschriebenen Benennungs- und Zeitbereichsanforderungen. Wenn Sie diesen Parameter auf "true"setzen, verarbeitet der Data Workbench-Server immer Daten aus Dateien, deren Namen ISO-Daten enthalten, die zwischen der angegebenen Beginn- und Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server während der Protokollverarbeitung alle .vsl -Dateien, um zu ermitteln, welche Dateien Daten im Zeitbereich des Beginns und der Endzeit enthalten.

Informationen zu den Parametern für die Beginn- und Endzeit finden Sie unter Data Filters.

Hinweis

Verwenden Sie nicht die Konfigurationsparameter für Sensor Datenquellen, um zu bestimmen, welche Protokolleinträge in einer Protokolldatei in einen Datensatz aufgenommen werden sollen. Richten Sie stattdessen die Datenquelle so ein, dass sie auf alle Protokolldateien in einem Ordner verweist. Verwenden Sie dann die Parameter "Beginn-Zeit"und "Endzeit", Log Processing.cfg um zu bestimmen, welche Protokolleinträge bei der Erstellung des Datensatzes verwendet werden sollen. Siehe Data-Filter.

Die Datei mit den Ereignis-Daten muss die folgenden Anforderungen erfüllen:

  • Jeder Ereignis-Datensatz in der Datei muss durch eine Zeile dargestellt werden.

  • Die Felder in einem Datensatz müssen durch ein ASCII-Trennzeichen getrennt werden, unabhängig davon, ob sie leer sind oder nicht. Für den Data Workbench-Server müssen Sie kein bestimmtes Trennzeichen verwenden. Sie können jedes Zeichen verwenden, das kein Zeilenendezeichen ist und nicht an einer beliebigen Stelle in den Ereignis-Daten angezeigt wird.

  • Jeder Datensatz in der Datei muss Folgendes enthalten:

    • Eine Tracking-ID
    • Ein Zeitstempel
  • Um Beginns- und Endzeiten für die Datenverarbeitung anzugeben, muss jeder Dateiname im folgenden Format stehen:

    • YYYYMMDD-SOURCE.log

    wobei JJJMMTT der GMT-Tag aller Daten in der Datei ist und SOURCE eine Variable ist, die die Quelle der in der Datei enthaltenen Daten identifiziert.

    Hinweis

    Wenden Sie sich an Adobe Consulting Services, um eine Übersicht der Protokolldateien zu erhalten, die Sie in den Datensatz aufnehmen möchten.

Parameter

Für Protokolldateien stehen die Parameter in der folgenden Tabelle zur Verfügung.

Hinweis

Die Verarbeitung von Protokollquellen für Protokolldateien erfordert zusätzliche Parameter, die in einer Log Processing Dataset Include Log Processing.cfg Datei definiert sind, die eine Untergruppe der in einer Datei enthaltenen Parameter sowie spezielle Parameter zum Definieren von Decodern zum Extrahieren von Daten aus der Protokolldatei enthält. Informationen zum Definieren von Decodern für Protokollquellen für Protokolldateien finden Sie unter Textdatei-Decoder-Gruppen.

Parameter Beschreibung
Name Der Bezeichner für die Protokolldateiquelle.
Protokollpfade

Die Ordner, in denen die Protokolldateien gespeichert werden. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.

Mithilfe von Platzhalterzeichen können Sie angeben, welche Protokolldateien verarbeitet werden sollen:

  • * entspricht einer beliebigen Anzahl von Zeichen.
  • ? entspricht einem einzelnen Zeichen.

Beispielsweise stimmt der Protokollpfad Logs\*.log mit allen Dateien im Protokollordner überein, die in .logenden.

Wenn Sie alle Unterordner des angegebenen Pfads durchsuchen möchten, müssen Sie den Parameter "Umkehren"auf "true"setzen.

Wenn die Dateien von der File Server Uniteines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URI(s) im Parameter Log Paths eingeben. Beispielsweise stimmt der URI/Protokolle/*.log mit jeder beliebigen .log -Datei im Protokollordner überein. Siehe Konfigurieren einer Insight Server-Dateiservereinheit.

Protokollserver Informationen (Adresse, Name, Anschluss usw.), die zum Herstellen einer Verbindung mit einem Dateiserver erforderlich sind. Wenn der Parameter "Log Server"einen Eintrag enthält, werden die Protokollpfade als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server-Dateiservereinheit.
komprimiert Wahr oder falsch. Dieser Wert sollte auf "true"gesetzt werden, wenn die vom Data Workbench-Server zu lesenden Protokolldateien komprimierte GZIP-Dateien sind.
Decoder-Gruppe Der Name der Textdatei-Decoder-Gruppe, die auf die Protokollquelle der Protokolldatei angewendet werden soll. Dieser Name muss exakt mit dem Namen der entsprechenden Textdatei-Decoder-Gruppe übereinstimmen, die in der Datei " Log Processing DataSet Include"angegeben ist . See Text File Decoder Groups.
Protokollquelle-ID

Der Wert dieses Parameters kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben wird, können Sie mit diesem Parameter Protokolleinträge von verschiedenen Protokollquellen zur Quellidentifizierung oder gezielten Verarbeitung unterscheiden. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag identifiziert. Wenn Sie beispielsweise Protokolleinträge aus einer Protokolldatei-Quelle mit dem Namen LogFile01 identifizieren möchten, können Sie aus LogFile01eingeben. Diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.

Informationen zum Feld x-log-source-id finden Sie unter Ereignis Data Record Fields.

Maskenmuster

Ein regulärer Ausdruck mit einem einzigen erfassten Submuster, der einen konsistenten Namen extrahiert, der zur Identifizierung der Quelle einer Reihe von Protokolldateien verwendet wird. Nur der Dateiname wird berücksichtigt. Der Pfad und die Erweiterung werden bei der Regelübereinstimmung mit dem Ausdruck nicht berücksichtigt. Wenn Sie kein Maskenmusterangeben, wird automatisch eine Maske generiert.

Bei den Dateien Logs\010105server1.log und Logs\010105server2.logist das Maskenmuster [0-9]{6}(.*). Dieses Muster extrahiert die Zeichenfolge "server1"oder "server2"aus den Dateinamen oben.

Siehe Reguläre Ausdrücke.

Rekursiv Wahr oder falsch. Wenn dieser Parameter auf "true"gesetzt ist, werden alle Unterordner jedes in " Protokollpfade "angegebenen Pfads nach Dateien durchsucht, die dem angegebenen Dateinamen oder dem Platzhaltermuster entsprechen. Der Standardwert ist „false“.
Datei ablehnen Der Pfad und der Dateiname der Datei mit den Protokolleinträgen, die die Bedingungen des Decoders nicht erfüllen.
Beginns-/Endzeit verwenden

Wahr oder falsch. Wenn dieser Parameter auf "true"gesetzt ist und "Beginn Time"oder "End Time"angegeben ist, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der an einem Tag bei 0000 GMT beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Dateinamen der Protokollquellen nicht mit ISO-Daten beginnen oder wenn die Dateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf "false"gesetzt werden, um falsche Ergebnisse zu vermeiden.

Hinweis: Wenn die oben beschriebenen Benennungs- und Zeitbereichsanforderungen für die Protokolldateien erfüllt sind und Sie diesen Parameter auf "true"setzen, beschränkt die angegebene Textdatei-Dekodierergruppe die gelesenen Dateien auf diejenigen Dateien, deren Namen ISO-Daten haben, die zwischen der angegebenen Beginn- und Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server alle Protokolldateien während der Protokollverarbeitung, um zu ermitteln, welche Beginn Daten im Zeitraum "Time"und "End Time"enthalten.

Informationen zu den Parametern für die Beginn- und Endzeit finden Sie unter Data Filters.

In diesem Beispiel wird der Datensatz aus zwei Arten von Protokollquellen erstellt.

Protokollquelle 0 gibt Protokolldateien an, die aus den von Sensordem Ereignis erfassten Daten generiert wurden. Diese Datenquelle verweist auf einen Ordner namens "Logs"und auf alle Dateien in diesem Ordner mit einer .vsl Dateinamenerweiterung.

Protokollquelle 1 verweist auf alle Dateien im Ordner "Protokolle"mit .txt Dateinamenerweiterung. Die Decoder-Gruppe für diese Protokollquelle heißt "Textprotokolle".

Sie sollten keine Protokolldateien löschen oder verschieben, nachdem die Datenquellen für einen Datensatz definiert wurden. Dem Verzeichnis der Datenquellen sollten nur neu erstellte Protokolldateien hinzugefügt werden.

Die Datei mit den Ereignis-Daten muss die folgenden Anforderungen erfüllen:

  • Ereignis-Daten müssen in eine ordnungsgemäß formatierte XML-Datei mit entsprechenden Beziehungen zwischen über- und untergeordnet aufgenommen werden.

  • Für jedes XML-Dateiformat muss eine eindeutige Decoder-Gruppe vorhanden sein. Informationen zum Erstellen einer Decoder-Gruppe finden Sie unter XML Decoder-Gruppen.

  • Jeder Besucher-Datensatz in der Datei muss Folgendes enthalten:

    • Eine Tracking-ID
    • Ein Zeitstempel
  • Um Beginns- und Endzeiten für die Datenverarbeitung anzugeben, muss jeder Dateiname im Formular angegeben werden.

YYYYMMDD-SOURCE.log

wobei JJJMMTT der GMT-Tag aller Daten in der Datei ist und SOURCE eine Variable ist, die die Quelle der in der Datei enthaltenen Daten identifiziert.

Ein Beispiel für eine XML-Datei, die diese Anforderungen erfüllt, finden Sie unter XML Decoder-Gruppen.

Hinweis

Wenden Sie sich an Adobe Consulting Services, um die XML-Protokolldateien zu überprüfen, die Sie in den Datensatz aufnehmen möchten.

Parameter

Für XML-Protokollquellen sind die Parameter in der folgenden Tabelle verfügbar.

Hinweis

Für die Verarbeitung von XML-Protokollquellen sind zusätzliche Parameter erforderlich, die in einer Log Processing Dataset Include Datei definiert sind, die eine Untergruppe der in einer Log Processing.cfg Datei enthaltenen Parameter sowie spezielle Parameter zum Definieren von Decodern zum Extrahieren von Daten aus der XML-Datei enthalten. Informationen zum Definieren von Decodern für XML-Protokollquellen finden Sie unter XML Decoder-Gruppen.

Feld Beschreibung
Name Der Bezeichner für die XML-Protokollquelle.
Protokollpfade

Die Ordner, in denen die XML-Protokollquellen gespeichert werden. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.

Mithilfe von Platzhalterzeichen können Sie angeben, welche XML-Protokollquellen verarbeitet werden sollen:

  • * entspricht einer beliebigen Anzahl von Zeichen
  • ? entspricht einem einzelnen Zeichen

Beispielsweise stimmt der Protokollpfad Logs\*.xml mit allen Dateien im Verzeichnis Protokolle, die in .xmlenden, überein.

Wenn Sie alle Unterverzeichnisse des angegebenen Pfades durchsuchen möchten, müssen Sie das Feld " Rekursiv "auf "true"setzen.

Hinweis: Wenn die Dateien von der Dateiservereinheiteines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URI(s) in das Feld " Protokollpfade "eingeben. Beispielsweise stimmt die Datei " URI/Protokolle/*.xml "mit jeder beliebigen .xml -Datei im Ordner "Protokolle"überein. Siehe Konfigurieren einer Insight Server-Dateiservereinheit.

Protokollserver Informationen (Adresse, Name, Anschluss usw.), die zum Herstellen einer Verbindung mit einem Dateiserver erforderlich sind. Wenn sich im Feld Protokollserver ein Eintrag befindet, werden die Protokollpfade als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server-Dateiservereinheit.
komprimiert Wahr oder falsch. Dieser Wert sollte auf "true"gesetzt werden, wenn die XML-Protokollquellen, die vom Data Workbench-Server gelesen werden sollen, komprimierte GZIP-Dateien sind.
Decoder-Gruppe Der Name der XML-Decoder-Gruppe, die auf die XML-Protokollquelle angewendet werden soll. Dieser Name muss exakt mit dem Namen der entsprechenden XML-Decoder-Gruppe übereinstimmen, die in der Datei " Log Processing DataSet Include"angegeben ist . See XML Decoder Groups.
Protokollquelle-ID

Der Wert dieses Felds kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben ist, können Sie mit diesem Feld Protokolleinträge von verschiedenen Protokollquellen zur Quellidentifizierung oder gezielten Verarbeitung unterscheiden. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag identifiziert. Wenn Sie beispielsweise Protokolleinträge aus einer Protokolldatei-Quelle mit dem Namen XMLFile01 identifizieren möchten, können Sie XMLFile01 eingeben und diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.

Informationen zum Feld x-log-source-id finden Sie unter Ereignis Data Record Fields.

Maskenmuster

Ein regulärer Ausdruck mit einem einzigen erfassten Submuster, der einen konsistenten Namen extrahiert, der zur Identifizierung der Quelle einer Reihe von Protokolldateien verwendet wird. Nur der Dateiname wird berücksichtigt. Der Pfad und die Erweiterung werden bei der Regelübereinstimmung mit dem Ausdruck nicht berücksichtigt. Wenn Sie kein Maskenmusterangeben, wird automatisch eine Maske generiert.

Bei den Dateien Logs\010105server1.xml und Logs\010105server2.xmlist das Maskenmuster [0-9]{6}(.*). Dieses Muster extrahiert die Zeichenfolge "server1"oder "server2"aus den Dateinamen oben.

Siehe Reguläre Ausdrücke.

Rekursiv Wahr oder falsch. Wenn dieser Parameter auf "true"gesetzt ist, werden alle Unterordner jedes in " Protokollpfade "angegebenen Pfads nach Dateien durchsucht, die dem angegebenen Dateinamen oder dem Platzhaltermuster entsprechen. Der Standardwert ist „false“.
Datei ablehnen Der Pfad und der Dateiname der Datei mit den Protokolleinträgen, die die Bedingungen des Decoders nicht erfüllen.
Beginns-/Endzeit verwenden

Wahr oder falsch. Wenn dieser Parameter auf "true"gesetzt ist und "Beginn Time"oder "End Time"angegeben ist, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der an einem Tag bei 0000 GMT beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Dateinamen der Protokollquellen nicht mit ISO-Daten beginnen oder wenn die Dateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf "false"gesetzt werden, um falsche Ergebnisse zu vermeiden.

Hinweis: Wenn die oben beschriebenen Benennungs- und Zeitbereichsanforderungen für die XML-Dateien erfüllt sind und Sie diesen Parameter auf true setzen, beschränkt die angegebene XML-Decoder-Gruppe die gelesenen Dateien auf die Dateien, deren Namen ISO-Daten haben, die zwischen der angegebenen Beginn-Zeit und der Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server alle XML-Dateien während der Protokollverarbeitung, um zu ermitteln, welche Beginn Daten im Zeitraum "Time"und "End Time"enthalten.

Informationen zu den Parametern für die Beginn- und Endzeit finden Sie unter Data Filters.

Hinweis

Sie sollten keine XML-Protokollquellen löschen oder verschieben, nachdem die Datenquellen für einen Datensatz definiert wurden. Dem Verzeichnis der Datenquellen sollten nur neu erstellte XML-Dateien hinzugefügt werden.

Der Avro-Datenfeed bietet eine effizientere Möglichkeit, Daten in die Data Workbench zu integrieren:

  • Avro bietet ein Einzelquellenformat für Traffic- und Commerce-Daten.

  • Der Avro-Feed ist komprimierte Daten aus mehreren Quellchunken, die pro Tag bereitgestellt werden. Es bietet nur ausgefüllte Felder und Funktionen zur Überwachung und Benachrichtigung, Zugriff auf historische Daten und automatische Wiederherstellung.

  • Das Schema, ein selbstdefiniertes Layout von Avro-Protokolldateien, ist am Anfang jeder Datei enthalten.

  • Neue Felder werden mit unterstützenden Informationen hinzugefügt, um Daten aus der Data Workbench ohne erforderliche Änderungen am Decoder zu erfassen. Dazu gehören:

    • eVars: 1-250 (früher 1-75)
    • Benutzerspezifische Ereignis: 1-1000 (versus 1-100)
    • Zugriff auf Lösungsvariablen für mobile, soziale und Videodaten
Hinweis

Darüber hinaus ermöglicht die Verwendung des Avro-Feeds den sofortigen Zugriff auf alle neuen Felder im Feed ohne Herunterfahren, sodass die Felder ohne Dienststundenanforderungen aktualisiert werden können.

Der Avro-Datenfeed wird in separaten Dateien eingerichtet:

  • Eine Avro-Protokolldatei: Dies ist das Avro-Protokollformat, das vom Decoder zur Formatierung von Traffic- und Commerce-Daten generiert wurde.
  • Eine Avro Decoder-Datei: Mit dieser Datei können Sie Werte dem neuen Avro-Format zuordnen. Sie können den Decoder mit dem Assistenten Avro Decoder einrichten.

Avro Decoder-Assistent

Mit diesem Assistenten wird die Avro-Decoder-Protokolldatei eingerichtet.

Klicken Sie zum Öffnen mit der rechten Maustaste auf einen Arbeitsbereich und wählen Sie " Admin "> " Assistenten "> " Avro Decoder-Assistent".

Schritt 1: Wählen Sie eine Avro-Protokolldatei.

In diesem Schritt können Sie eine Quelldatei für das Avro-Schema auswählen. Schema können über eine Protokolldatei (.log) oder eine vorhandene Decoder-Datei (.avro) aufgerufen werden. Schemas können aus beiden Dateien gezogen werden.

Avro-Protokolldatei Klicken Sie auf , um eine Protokolldatei (.log) zu öffnen, um das Schema oben in der Protokolldatei Ansicht und eine Decoder-Datei zu generieren.
Avro Decoder-Datei Klicken Sie auf , um das Schema einer vorhandenen Dekodiererdatei (.avro) zu öffnen und zu bearbeiten.

Schritt 2: Wählen Sie Eingabefelder.

Wählen Sie die Eingabefelder aus, die im Datensatz verwendet werden sollen, um die Protokollverarbeitung zu durchlaufen. Alle Felder in der Datei werden angezeigt, sodass Sie Felder für den Feed auswählen können.

Hinweis

Ein x-product(Generates row) Feld wird bereitgestellt, wenn ein Array in den Daten gefunden wird. Dieses Feld generiert neue Zeilen für die verschachtelten Daten in einem Array als Eingabefelder. Wenn Sie beispielsweise eine Trefferzeile mit vielen Produktwerten in einem Array haben, werden Zeilen in der Eingabedatei für jedes Produkt generiert.

Standardeinstellungen auswählen Wählen Sie Felder aus, die als Standardsatz von Standardfeldern identifiziert werden sollen.
Alle auswählen Wählen Sie alle Felder in der Datei aus.
Auswahl aufheben Löschen Sie alle Felder in der Datei.

Schritt 3: Wählen Sie die Felder aus, die kopiert werden, um Zeilen zu generieren.

Da neue Zeilen aus verschachtelten Werten in einem Array erstellt werden können, muss jede neu erstellte Zeile über eine Verfolgungs-ID und einen Zeitstempel verfügen. Mit diesem Schritt können Sie die Felder auswählen, die aus dem übergeordneten Datensatz in Zeilen kopiert werden sollen, z. B. eine Verfolgungs-ID und einen Zeitstempel. Sie können auch andere Werte auswählen, die jeder Zeile hinzugefügt werden sollen.

Standardeinstellungen auswählen Wählen Sie einen Standardsatz von Standardfeldern aus, für die jeder Zeile neue Spaltenwerte hinzugefügt werden müssen, z. B. eine Verfolgungs-ID und einen Zeitstempel. Ein hit_source Feld ist beispielsweise ein Standardwert, der jeder neuen Zeile hinzugefügt werden muss (er wird in der Liste als Standardwert definiert). Sie können jeder Zeile nach Bedarf weitere Spaltenwerte hinzufügen.
Alle auswählen Wählen Sie alle Felder in der Datei aus.
Auswahl aufheben Löschen Sie alle Felder in der Datei.

Verwenden Sie das Feld Suchen , um Werte in der Liste zu suchen.

Schritt 4: Festlegen des Decoder-Namens

Weisen Sie der Gruppe der Felder einen Namen zu und speichern Sie sie als Decoder-Datei. Der Name sollte mit dem in Ihrer Protokollquelle angegebenen Decoder-Gruppennamen übereinstimmen.

Schritt 5: Speichern Sie die Decoder-Datei.

Das Dateimenü wird geöffnet, um die Decoder-Datei zu benennen und als .cfg Datei im Ordner Protokolle zu speichern.

Auf dieser Seite