Quellen für die Protokollierung

Protokollquellen sind Dateien, die die Daten enthalten, die zum Erstellen eines Datensatzes verwendet werden sollen.

Die in den Protokollquellen verfügbaren Daten werden als Ereignisdaten bezeichnet, da jeder Datensatz einen Transaktionsdatensatz oder eine einzelne Instanz eines Ereignisses darstellt. Der Data Workbench-Server kann Protokollquellen verarbeiten, die aus von Sensors erfassten oder aus anderen Datenquellen extrahierten Daten stammen.

  • Von Sensors erfasste Daten: Daten, die von Sensors von HTTP- und Anwendungsservern erfasst werden, werden an Data Workbench-Server übertragen, die die Daten in hochkomprimierte Protokolldateien ( .vsl) konvertieren. Siehe Sensor-Dateien.

  • Von Insight Server extrahierte Daten: Der Data Workbench-Server liest Ereignisdaten, die in flachen Dateien, XML-Dateien oder ODBC-kompatiblen Datenbanken enthalten sind, und extrahiert mithilfe seiner Decoder die gewünschten Elemente der Daten. Diese Ereignisdaten müssen nicht speicherspeicherspeicherspeicherresidenz sein, aber die Datensätze, die die Daten enthalten, müssen eine Tracking-ID enthalten. Siehe Protokolldateien, XML-Protokollquellen und ODBC-Datenquellen.

So fügen Sie eine Protokollquelle hinzu

  1. Öffnen Sie Log Processing.cfg in Data Workbench.

  2. Klicken Sie mit der rechten Maustaste auf Log Sources und klicken Sie dann auf Add New.

  3. Wählen Sie eine der folgenden Optionen aus:

    • Sensor
    • Log File
    • XML Log Source
    • ODBC Data Source
  4. Die spezifischen Parameter, die zum Definieren eines Datensatzes verwendet werden, variieren je nach dem Typ der Protokollquelle, die im Konfigurationsprozess des Datensatzes verwendet werden soll. Geben Sie die Parameter wie im Abschnitt angegeben an, die der entsprechenden Protokollquelle entsprechen:

  5. Nachdem Sie Ihre Protokollquelle (und Änderungen an anderen Parametern) in der Datei Log Processing.cfg definiert haben, speichern Sie die Datei lokal und speichern Sie sie in Ihrem Datensatzprofil auf dem Data Workbench-Server.

    HINWEIS

    Ein Data Workbench-Server File Server Unit kann Sensor-Dateien, Protokolldateien und XML-Dateien empfangen und speichern und an die Data Processing Units des Data Workbench-Servers übermitteln, der den Datensatz erstellt. Siehe Konfigurieren einer Insight Server File Server Unit.

    Sie können die Konfiguration einer beliebigen Protokollquelle über Transformation Dependency Map öffnen. Weitere Informationen zu Transformation Dependency Map finden Sie unter Tools zur Datensatzkonfiguration.

Voraussetzungen

Ereignisdaten, die von Sensors von HTTP- und Anwendungsservern erfasst werden, werden an Data Workbench-Server übertragen, die die Daten in hochkomprimierte Protokolldateien ( .vsl) konvertieren. Das Dateiformat .vsl wird vom Data Workbench-Server verwaltet und jede Datei hat einen Namen im folgenden Format:

JJJJMMTT-SENSORID.VSL

wobei JJJMMTT das Datum der Datei ist und SENSORID der Name (von Ihrer Organisation zugewiesen), der angibt, welche Sensor die Daten erfasst und an den Data Workbench-Server übermittelt hat.

Parameter

Für Sensor-Dateien sind die folgenden Parameter verfügbar:

Parameter Beschreibung
Protokollpfade

Die Ordner, in denen die Dateien .vsl gespeichert werden. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.

Sie können Platzhalterzeichen verwenden, um anzugeben, welche .vsl-Dateien verarbeitet werden sollen:

  • * entspricht einer beliebigen Anzahl von Zeichen
  • ? entspricht einem einzelnen Zeichen

Beispielsweise stimmt der Protokollpfad Protokolle\*.vsl mit allen Dateien im Protokollordner überein, die auf .vsl enden. Der Protokollpfad Protokolle\*-SENSOR?.vsl stimmt Dateien im Protokollverzeichnis mit einem beliebigen Datum (JJJMMTT) und einem einzelnen Zeichen nach SENSOR überein (wie in SENSOR1).

Wenn Sie alle Unterverzeichnisse des angegebenen Pfads durchsuchen möchten, müssen Sie den Parameter "Rekursiv"auf "true"setzen.

Hinweis: Wenn die Dateien von der File Server Unit eines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URIs im Parameter "Log Paths"eingeben. Beispielsweise stimmt URI/Logs/*-*.vsl mit jeder .vsl-Datei im Protokollverzeichnis überein. Siehe Konfigurieren einer Insight Server File Server Unit.

Protokollserver Informationen (Adresse, Name, Anschluss usw.), die für die Verbindung mit einem Dateiserver erforderlich sind. Wenn im Parameter "Log Server"ein Eintrag vorhanden ist, werden die Protokollpfade als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server File Server Unit.
Protokollquellen-ID

Der Wert dieses Parameters kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben wird, können Sie mit diesem Parameter Protokolleinträge von verschiedenen Protokollquellen für die Quellidentifizierung oder die gezielte Verarbeitung unterscheiden. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag angibt. Wenn Sie beispielsweise Protokolleinträge aus einem Sensor namens VSensor01 identifizieren möchten, können Sie aus VSensor01 eingeben und diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.

Weitere Informationen zum Feld x-log-source-id finden Sie unter Felder für Ereignisdatensätze.

Rekursiv Wahr oder falsch. Wenn der Wert auf "true"gesetzt ist, werden alle Unterverzeichnisse aller in "Log Paths"angegebenen Pfade nach Dateien durchsucht, die mit dem angegebenen Dateinamen oder dem Platzhaltermuster übereinstimmen. Der Standardwert ist „false“.
Start-/Endzeiten verwenden

Wahr oder falsch. Wenn auf "true"gesetzt und Startzeit oder Endzeit angegeben ist, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der bei 0000 GMT an einem Tag beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Protokollquellendateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf false gesetzt werden, um falsche Ergebnisse zu vermeiden.

Hinweis: Standardmäßig entsprechen .vsl Dateien, die von Sensor erfasste Daten enthalten, automatisch den oben beschriebenen Anforderungen an Benennung und Zeitraum. Wenn Sie diesen Parameter auf "true"setzen, verarbeitet der Data Workbench-Server immer Daten aus Dateien, deren Namen ISO-Daten enthalten, die zwischen der angegebenen Startzeit und Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server während der Protokollverarbeitung alle .vsl-Dateien, um zu bestimmen, welche Dateien Daten im Zeitraum "Start und Ende"enthalten.

Informationen zu den Parametern für Startzeit und Endzeit finden Sie unter Datenfilter.

HINWEIS

Verwenden Sie nicht die Konfigurationsparameter für Sensor -Datenquellen, um zu bestimmen, welche Protokolleinträge in einer Protokolldatei in einen Datensatz aufgenommen werden sollen. Richten Sie stattdessen die Datenquelle so ein, dass sie auf alle Protokolldateien in einem Ordner verweist. Verwenden Sie dann die Parameter Startzeit und Endzeit von Log Processing.cfg, um zu bestimmen, welche Protokolleinträge bei der Erstellung des Datensatzes verwendet werden sollen. Siehe Datenfilter.

Die Datei, die die Ereignisdaten enthält, muss die folgenden Anforderungen erfüllen:

  • Jeder Ereignisdatensatz in der Datei muss durch eine Zeile dargestellt werden.

  • Die Felder in einem Datensatz müssen durch ein ASCII-Trennzeichen getrennt werden (ob leer oder nicht). Für den Data Workbench-Server ist die Verwendung eines bestimmten Trennzeichens nicht erforderlich. Sie können beliebige Zeichen verwenden, die kein Zeilenendezeichen sind und an keiner Stelle in den Ereignisdaten selbst erscheinen.

  • Jeder Datensatz in der Datei muss Folgendes enthalten:

    • Tracking-ID
    • Ein Zeitstempel
  • Um Start- und Endzeiten für die Datenverarbeitung anzugeben, muss jeder Dateiname im folgenden Format stehen:

    • YYYYMMDD-SOURCE.log

    wobei JJJMMTT der GMT-Tag (Greenwich Mean Time) aller Daten in der Datei ist und SOURCE eine Variable ist, die die Quelle der in der Datei enthaltenen Daten angibt.

    HINWEIS

    Wenden Sie sich an Adobe Consulting Services , um eine Übersicht über die Protokolldateien zu erhalten, die Sie in den Datensatz integrieren möchten.

Parameter

Für Protokolldateien sind die Parameter in der folgenden Tabelle verfügbar.

HINWEIS

Die Verarbeitung von Protokolldateiquellen erfordert zusätzliche Parameter, die in einer Log Processing Dataset Include-Datei definiert sind, die eine Untergruppe der Parameter enthält, die in einer Log Processing.cfg-Datei enthalten sind, sowie spezielle Parameter zum Definieren von Decodern zum Extrahieren von Daten aus der Protokolldatei. Informationen zum Definieren von Decodern für Protokollquellen für Protokolldateien finden Sie unter Textdatei-Decoder-Gruppen.

Parameter Beschreibung
Name Die Kennung für die Protokolldateiquelle.
Protokollpfade

Die Ordner, in denen die Protokolldateien gespeichert werden. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.

Sie können Platzhalterzeichen verwenden, um anzugeben, welche Protokolldateien verarbeitet werden sollen:

  • * entspricht einer beliebigen Anzahl von Zeichen.
  • ? entspricht einem einzelnen Zeichen.

Beispielsweise stimmt der Protokollpfad Protokolle\*.log mit allen Dateien im Protokollordner überein, die auf .log enden.

Wenn Sie alle Unterverzeichnisse des angegebenen Pfads durchsuchen möchten, müssen Sie den Parameter "Rekursiv"auf "true"setzen.

Wenn die Dateien von der File Server Unit eines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URIs im Parameter "Log Paths"eingeben. Beispielsweise stimmt URI/Logs/*.log mit jeder .log-Datei im Protokollverzeichnis überein. Siehe Konfigurieren einer Insight Server File Server Unit.

Protokollserver Informationen (Adresse, Name, Anschluss usw.), die für die Verbindung mit einem Dateiserver erforderlich sind. Wenn im Parameter "Log Server"ein Eintrag vorhanden ist, werden die Protokollpfade als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server File Server Unit.
Komprimiert Wahr oder falsch. Dieser Wert sollte auf true gesetzt werden, wenn die vom Data Workbench-Server zu lesenden Protokolldateien komprimierte gzip-Dateien sind.
Decoder-Gruppe Der Name der Textdatei-Decoder-Gruppe, die auf die Protokollquelle der Protokolldatei angewendet werden soll. Dieser Name muss exakt mit dem Namen der entsprechenden Textdatei-Decoder-Gruppe übereinstimmen, die in der Datei Log Processing Dataset Include angegeben ist. Siehe Textdatei-Decoder-Gruppen.
Protokollquellen-ID

Der Wert dieses Parameters kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben wird, können Sie mit diesem Parameter Protokolleinträge von verschiedenen Protokollquellen für die Quellidentifizierung oder die gezielte Verarbeitung unterscheiden. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag angibt. Wenn Sie beispielsweise Protokolleinträge aus einer Protokolldateiquelle namens LogFile01 identifizieren möchten, können Sie aus LogFile01 eingeben und diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.

Weitere Informationen zum Feld x-log-source-id finden Sie unter Felder für Ereignisdatensätze.

Maskenmuster

Ein regulärer Ausdruck mit einem einzelnen Erfassen-Untermuster, der einen konsistenten Namen extrahiert, der zur Identifizierung der Quelle einer Reihe von Protokolldateien verwendet wird. Nur der Dateiname wird berücksichtigt. Der Pfad und die Erweiterung werden bei der Zuordnung regulärer Ausdrücke nicht berücksichtigt. Wenn Sie kein Maskenmuster angeben, wird automatisch eine Maske erzeugt.

Für die Dateien Protokolle\010105server1.log und Protokolle\010105server2.log wäre das Maskenmuster [0-9]{6}(.*). Dieses Muster extrahiert die Zeichenfolge "server1"oder "server2"aus den oben genannten Dateinamen.

Siehe Reguläre Ausdrücke.

Rekursiv Wahr oder falsch. Wenn dieser Parameter auf "true"gesetzt ist, werden alle Unterverzeichnisse aller in Protokollpfade angegebenen Pfade nach Dateien durchsucht, die mit dem angegebenen Dateinamen oder dem Platzhaltermuster übereinstimmen. Der Standardwert ist „false“.
Datei zurückweisen Der Pfad und der Dateiname der Datei, die die Protokolleinträge enthält, die die Bedingungen des Decoders nicht erfüllen.
Start-/Endzeiten verwenden

Wahr oder falsch. Wenn dieser Parameter auf "true"gesetzt ist und Startzeit oder Endzeit angegeben ist, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der bei 0000 GMT an einem Tag beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Dateinamen der Protokollquellen nicht mit ISO-Daten beginnen oder die Dateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf false gesetzt werden, um falsche Ergebnisse zu vermeiden.

Hinweis: Wenn die oben beschriebenen Anforderungen an die Benennung und den Zeitraum für die Protokolldateien erfüllt sind und Sie diesen Parameter auf "true"setzen, beschränkt die angegebene Textdatei-Decoder-Gruppe die zu lesenden Dateien auf diejenigen Dateien, deren Namen ISO-Daten aufweisen, die zwischen der angegebenen Start- und Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server alle Protokolldateien während der Protokollverarbeitung, um zu bestimmen, welche Dateien Daten innerhalb des Zeitraums "Startzeit"und "Endzeit"enthalten.

Informationen zu den Parametern für Startzeit und Endzeit finden Sie unter Datenfilter.

In diesem Beispiel wird der Datensatz aus zwei Arten von Protokollquellen erstellt.

Protokollquelle 0 gibt Protokolldateien an, die aus Ereignisdaten generiert wurden, die von Sensor erfasst wurden. Diese Datenquelle verweist auf ein Verzeichnis namens Protokolle und auf alle Dateien in diesem Verzeichnis mit der Dateinamenerweiterung .vsl.

Die Protokollquelle 1 verweist auf alle Dateien im Protokollverzeichnis mit der Dateinamenerweiterung .txt. Die Decoder-Gruppe für diese Protokollquelle heißt "Textprotokolle".

Sie sollten Protokolldateien nicht löschen oder verschieben, nachdem die Datenquellen für einen Datensatz definiert wurden. Dem Ordner für die Datenquellen sollten nur neu erstellte Protokolldateien hinzugefügt werden.

Die Datei, die die Ereignisdaten enthält, muss die folgenden Anforderungen erfüllen:

  • Ereignisdaten müssen in eine ordnungsgemäß formatierte XML-Datei mit entsprechenden übergeordneten/untergeordneten Beziehungen aufgenommen werden.

  • Für jedes XML-Dateiformat muss eine eindeutige Decoder-Gruppe vorhanden sein. Weitere Informationen zum Erstellen einer Decoder-Gruppe finden Sie unter XML Decoder-Gruppen.

  • Jeder Besucherdatensatz in der Datei muss Folgendes enthalten:

    • Tracking-ID
    • Ein Zeitstempel
  • Um Start- und Endzeiten für die Datenverarbeitung anzugeben, muss jeder Dateiname im Formular angegeben werden.

YYYYMMDD-SOURCE.log

wobei JJJMMTT der GMT-Tag (Greenwich Mean Time) aller Daten in der Datei ist und SOURCE eine Variable ist, die die Quelle der in der Datei enthaltenen Daten angibt.

Ein Beispiel für eine XML-Datei, die diese Anforderungen erfüllt, finden Sie unter XML Decoder Groups.

HINWEIS

Wenden Sie sich an Adobe Consulting Services , um eine Übersicht über die XML-Protokolldateien zu erhalten, die Sie in den Datensatz integrieren möchten.

Parameter

Für XML-Protokollquellen sind die Parameter in der folgenden Tabelle verfügbar.

HINWEIS

Die Verarbeitung von XML-Protokollquellen erfordert zusätzliche Parameter, die in einer Log Processing Dataset Include-Datei definiert sind, die eine Untergruppe der Parameter enthält, die in einer Log Processing.cfg-Datei enthalten sind, sowie spezielle Parameter zum Definieren von Decodern zum Extrahieren von Daten aus der XML-Datei. Informationen zum Definieren von Decodern für XML-Protokollquellen finden Sie unter XML Decoder Groups.

Feld Beschreibung
Name Die Kennung für die XML-Protokollquelle.
Protokollpfade

Die Ordner, in denen die XML-Protokollquellen gespeichert sind. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.

Sie können Platzhalterzeichen verwenden, um anzugeben, welche XML-Protokollquellen verarbeitet werden sollen:

  • * entspricht einer beliebigen Anzahl von Zeichen
  • ? entspricht einem einzelnen Zeichen

Beispielsweise stimmt der Protokollpfad Protokolle\*.xml mit allen Dateien im Protokollordner überein, die auf .xml enden.

Wenn Sie alle Unterverzeichnisse des angegebenen Pfads durchsuchen möchten, müssen Sie das Feld Rekursiv auf "true"setzen.

Hinweis: Wenn die Dateien von der File Server Unit eines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URIs in das Feld Log Paths eingeben. Beispielsweise stimmt URI/Logs/*.xml mit jeder .xml-Datei im Protokollverzeichnis überein. Siehe Konfigurieren einer Insight Server File Server Unit.

Protokollserver Informationen (Adresse, Name, Anschluss usw.), die für die Verbindung mit einem Dateiserver erforderlich sind. Wenn im Feld Log Server ein Eintrag vorhanden ist, werden die Log Paths als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server File Server Unit.
Komprimiert Wahr oder falsch. Dieser Wert sollte auf true gesetzt werden, wenn die XML-Protokollquellen, die vom Data Workbench-Server gelesen werden sollen, komprimierte gzip-Dateien sind.
Decoder-Gruppe Der Name der XML-Decoder-Gruppe, die auf die XML-Protokollquelle angewendet werden soll. Dieser Name muss exakt mit dem Namen der entsprechenden XML-Decoder-Gruppe übereinstimmen, die in der Datei Log Processing Dataset Include angegeben ist. Siehe XML Decoder Groups.
Protokollquellen-ID

Der Wert dieses Felds kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben wird, können Sie in diesem Feld Protokolleinträge von verschiedenen Protokollquellen unterscheiden, um die Quellerkennung oder die gezielte Verarbeitung zu ermitteln. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag angibt. Wenn Sie beispielsweise Protokolleinträge aus einer Protokolldateiquelle mit dem Namen XMLFile01 identifizieren möchten, können Sie aus XMLFile01 eingeben und diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.

Weitere Informationen zum Feld x-log-source-id finden Sie unter Felder für Ereignisdatensätze.

Maskenmuster

Ein regulärer Ausdruck mit einem einzelnen Erfassen-Untermuster, der einen konsistenten Namen extrahiert, der zur Identifizierung der Quelle einer Reihe von Protokolldateien verwendet wird. Nur der Dateiname wird berücksichtigt. Der Pfad und die Erweiterung werden bei der Zuordnung regulärer Ausdrücke nicht berücksichtigt. Wenn Sie kein Maskenmuster angeben, wird automatisch eine Maske erzeugt.

Für die Dateien Protokolle\010105server1.xml und Protokolle\010105server2.xml wäre das Maskenmuster [0-9]{6}(.*). Dieses Muster extrahiert die Zeichenfolge "server1"oder "server2"aus den oben genannten Dateinamen.

Siehe Reguläre Ausdrücke.

Rekursiv Wahr oder falsch. Wenn dieser Parameter auf "true"gesetzt ist, werden alle Unterverzeichnisse aller in Protokollpfade angegebenen Pfade nach Dateien durchsucht, die mit dem angegebenen Dateinamen oder dem Platzhaltermuster übereinstimmen. Der Standardwert ist „false“.
Datei zurückweisen Der Pfad und der Dateiname der Datei, die die Protokolleinträge enthält, die die Bedingungen des Decoders nicht erfüllen.
Start-/Endzeiten verwenden

Wahr oder falsch. Wenn dieser Parameter auf "true"gesetzt ist und Startzeit oder Endzeit angegeben ist, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der bei 0000 GMT an einem Tag beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Dateinamen der Protokollquellen nicht mit ISO-Daten beginnen oder die Dateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf false gesetzt werden, um falsche Ergebnisse zu vermeiden.

Hinweis: Wenn die oben beschriebenen Anforderungen an die Benennung und den Zeitraum für die XML-Dateien erfüllt sind und Sie diesen Parameter auf "true"setzen, beschränkt die angegebene XML-Decoder-Gruppe die gelesenen Dateien auf die Dateien, deren Namen ISO-Daten aufweisen, die zwischen der angegebenen Start- und Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server alle XML-Dateien während der Protokollverarbeitung, um zu bestimmen, welche Dateien Daten innerhalb des Zeitraums "Startzeit"und "Endzeit"enthalten.

Informationen zu den Parametern für Startzeit und Endzeit finden Sie unter Datenfilter.

HINWEIS

Sie sollten keine XML-Protokollquellen löschen oder verschieben, nachdem die Datenquellen für einen Datensatz definiert wurden. Dem Verzeichnis für die Datenquellen sollten nur neu erstellte XML-Dateien hinzugefügt werden.

Der Avro-Daten-Feed bietet eine effizientere Möglichkeit, Daten in Data Workbench zu integrieren:

  • Avro bietet ein einzelnes Quellformat für Traffic- und Commerce-Daten.

  • Der Avro-Feed ist komprimierte Daten aus mehreren Quellblöcken, die pro Tag bereitgestellt werden. Es stellt nur ausgefüllte Felder bereit und bietet Überwachungs- und Benachrichtigungsfunktionen, Zugriff auf historische Daten und automatische Wiederherstellung.

  • Das Schema, ein selbstdefiniertes Layout von Avro-Protokolldateien, ist am Anfang jeder Datei enthalten.

  • Neue Felder werden mit unterstützenden Informationen hinzugefügt, um Daten der Data Workbench ohne erforderliche Änderungen am Decoder zu erfassen. Dazu gehören:

    • eVars: 1-250 (früher 1-75)
    • Benutzerspezifische Ereignisse: 1-1000 (gegenüber 1-100)
    • Zugriff auf Lösungsvariablen für mobile, soziale und Videodaten
HINWEIS

Darüber hinaus ermöglicht die Verwendung des Avro-Feeds den sofortigen Zugriff auf alle neuen Felder im Feed, ohne dass ein Herunterfahren erforderlich ist. Dadurch können die Felder ohne Service-Stunde-Anforderungen aktualisiert werden.

Der Avro-Daten-Feed wird in separaten Dateien eingerichtet:

  • Eine Avro-Protokolldatei: Dies ist das vom Decoder generierte Avro-Protokollformat zum Formatieren von Traffic- und Commerce-Daten.
  • Eine Avro Decoder-Datei: Mit dieser Datei können Sie Werte dem neuen Avro-Format zuordnen. Sie können den Decoder mit dem Assistenten "Avro Decoder"einrichten.

Avro Decoder Assistent

Mit diesem Assistenten wird die Protokolldatei des Avro-Decoders eingerichtet.

Klicken Sie zum Öffnen mit der rechten Maustaste in einen Arbeitsbereich und wählen Sie Admin > Assistenten > Avro Decoder-Assistent aus.

Schritt 1: Wählen Sie eine Avro-Protokolldatei aus.

In diesem Schritt können Sie eine Quelldatei für das Avro-Schema auswählen. Der Zugriff auf Schemas erfolgt über eine Protokolldatei (.log) oder eine vorhandene Decoder-Datei (.avro). Schemas können aus beiden Dateien abgerufen werden.

Avro-Protokolldatei Klicken Sie auf , um eine Protokolldatei (.log) zu öffnen, um das Schema oben in der Protokolldatei anzuzeigen und eine Decoder-Datei zu generieren.
Avro Decoder-Datei Klicken Sie auf , um das Schema einer vorhandenen Decoder-Datei (.avro) zu öffnen und zu bearbeiten.

Schritt 2: Wählen Sie Eingabefelder aus.

Wählen Sie die Eingabefelder aus, die im Datensatz verwendet werden sollen, um die Protokollverarbeitung zu beenden. Alle Felder in der Datei werden angezeigt, sodass Sie Felder für den Feed auswählen können.

HINWEIS

Ein x-product(Generates row) -Feld wird bereitgestellt, wenn in den Daten ein Array gefunden wird. Dieses Feld generiert neue Zeilen für die verschachtelten Daten in einem Array als Eingabefelder. Wenn Sie beispielsweise eine Trefferzeile mit vielen Produktwerten in einem Array haben, werden in der Eingabedatei für jedes Produkt Zeilen generiert.

Standardangaben auswählen Wählen Sie Felder aus, die als Standardsatz von Standardfeldern identifiziert werden sollen.
Alle auswählen Wählen Sie alle Felder in der Datei aus.
Auswahl für alle aufheben Löschen Sie alle Felder in der Datei.

Schritt 3: Wählen Sie die Felder aus, die kopiert werden, um Zeilen zu generieren.

Da neue Zeilen aus verschachtelten Werten in einem Array erstellt werden können, muss jede neue Zeile über eine Tracking-ID und einen Zeitstempel verfügen. In diesem Schritt können Sie die Felder auswählen, die aus dem übergeordneten Datensatz in Zeilen kopiert werden sollen, z. B. eine Tracking-ID und einen Zeitstempel. Sie können auch andere Werte auswählen, die Sie jeder Zeile hinzufügen möchten.

Standardangaben auswählen Wählen Sie einen Standardsatz von Standardfeldern aus, für die jeder Zeile neue Spaltenwerte hinzugefügt werden müssen, z. B. eine Tracking-ID und einen Zeitstempel. Beispielsweise ist ein hit_source -Feld ein Standardwert, der jeder neuen Zeile hinzugefügt werden muss (es wird als Standardwert in der Liste definiert). Sie können jeder Zeile bei Bedarf weitere Spaltenwerte hinzufügen.
Alle auswählen Wählen Sie alle Felder in der Datei aus.
Auswahl für alle aufheben Löschen Sie alle Felder in der Datei.

Verwenden Sie das Feld Suchen , um Werte in der Liste zu finden.

Schritt 4: Geben Sie den Decoder-Namen an

Weisen Sie der Feldergruppe einen Namen zu und speichern Sie sie als Decoder-Datei. Der Name sollte mit dem Decoder-Gruppennamen übereinstimmen, der in Ihrer Protokollquelle angegeben ist.

Schritt 5: Speichern Sie die Decoder-Datei.

Das Dateimenü wird geöffnet, um die Decoder-Datei zu benennen und als .cfg-Datei im Ordner Protokolle zu speichern.

Auf dieser Seite