Konfigurieren von Replikationsmethoden

Replication Methoden und erneute Prüfungen werden verwendet, um neue oder aktualisierte Daten in Ihren Datenbanktabellen zu identifizieren. Sie richtig einzustellen, ist entscheidend, um sowohl die Datengenauigkeit als auch optimierte Aktualisierungszeiten sicherzustellen. In diesem Abschnitt werden Replikationsmethoden behandelt.

Wenn neue Tabellen im Data Warehouse-Manager synchronisiert werden, wird automatisch eine Replikationsmethode für die Tabelle ausgewählt. Wenn Sie die verschiedenen Replikationsmethoden verstehen, wissen, wie Tabellen organisiert sind und wie sich die Tabellendaten verhalten, können Sie die beste Replikationsmethode für Ihre Tabellen auswählen.

Welche Replikationsmethoden gibt es?

Replication Methoden lassen sich in drei Gruppen einteilen - Incremental, Full Table und Paused.

Incremental Replication bedeutet, dass Commerce Intelligence bei jedem Replikationsversuch nur neue oder aktualisierte Daten repliziert. Da diese Methoden die Latenz erheblich reduzieren, empfiehlt Adobe, sie nach Möglichkeit zu verwenden.

Full Table Replication bedeutet, dass Commerce Intelligence bei jedem Replikationsversuch den gesamten Inhalt einer Tabelle repliziert. Aufgrund der potenziell großen Datenmenge, die repliziert werden soll, können diese Methoden die Latenz erhöhen und die Aktualisierungszeiten verkürzen. Wenn eine Tabelle Spalten mit Zeitstempel oder Datum/Uhrzeit enthält, empfiehlt Adobe stattdessen die Verwendung einer inkrementellen Methode.

Paused gibt an, dass die Replikation für die Tabelle angehalten oder angehalten wurde. Commerce Intelligence sucht während eines Aktualisierungszyklus nicht nach neuen oder aktualisierten Daten. Dies bedeutet, dass keine Daten aus einer Tabelle repliziert werden, die diese als Replikationsmethode verwendet.

Inkrementelle Replikationsmethoden incremental

Geändert (höchstens ideal)

Die Modified At Replikationsmethode verwendet eine Datums-/Uhrzeitspalte, die beim Erstellen einer Zeile gefüllt und bei Datenänderungen aktualisiert wird, um zu replizierende Daten zu finden. Diese Methode ist für die Verwendung mit Tabellen konzipiert, die die folgenden Kriterien erfüllen:

  • enthält eine datetime, die beim Erstellen einer Zeile anfänglich aufgefüllt und bei jeder Änderung der Zeile aktualisiert wird;
  • Die Spalte datetime ist nie null.
  • Zeilen werden nicht aus der Tabelle gelöscht

Zusätzlich zu diesen Kriterien empfiehlt Adobe Indizierung die datetime, die für die Modified At Replikation verwendet wird, da dies die Replikationsgeschwindigkeit optimiert.

Wenn die Aktualisierung ausgeführt wird, werden neue oder geänderte Daten identifiziert, indem nach Zeilen gesucht wird, die einen Wert in der Spalte datetime enthalten, die nach der letzten Aktualisierung aufgetreten ist. Wenn neue Zeilen erkannt werden, werden sie auf Ihrem Data Warehouse repliziert. Wenn Zeilen im Data Warehouse-Manager vorhanden sind, werden sie mit den aktuellen Datenbankwerten überschrieben.

Beispielsweise kann eine Tabelle eine Spalte mit dem Namen modified\_at enthalten, die angibt, wann die Daten zuletzt geändert wurden. Wenn die letzte Aktualisierung Dienstag Mittag ausgeführt wurde, sucht die Aktualisierung nach allen Zeilen mit einem modified\_at Wert größer als Dienstag Mittag. Alle gefundenen Zeilen, die seit Dienstagmittag erstellt oder geändert wurden, werden auf die Data Warehouse repliziert.

Wussten Sie schon?
Selbst wenn Ihre Datenbank derzeit keine Incremental Replikationsmethode unterstützen kann, können Sie möglicherweise Änderungen an Ihrer Datenbank vornehmen wodurch die Verwendung von Modified At oder Single Auto Incrementing PK ermöglicht würde.

Modified At ist nicht nur die ideale Replikationsmethode, sondern auch die schnellste. Diese Methode erzeugt nicht nur merkliche Geschwindigkeitssteigerungen bei großen Datensätzen, sondern erfordert auch keine Konfiguration einer Option für eine erneute Überprüfung. Andere Methoden müssen durch eine gesamte Tabelle navigieren, um Änderungen zu identifizieren, auch wenn sich eine kleine Teilmenge der Daten geändert hat. Modified At durchläuft nur diese kleine Teilmenge.

Primärer Schlüssel mit automatischer Erhöhung

Auto Incrementing ist ein Verhalten, das Zeilen sequenziell Primärschlüssel zuweist. Wenn eine Tabelle Auto Incrementing ist und der höchste Primärschlüssel in der Tabelle 1.000 ist, dann ist der nächste Primärwert 1.001 oder höher. Eine Tabelle, die kein Auto Incrementing Verhalten verwendet, kann einen Primärschlüsselwert von weniger als 1.000 zuweisen oder zu einer viel größeren Zahl springen, dies wird jedoch nicht häufig verwendet.

Diese Methode dient zur Replikation neuer Daten aus Tabellen, die die folgenden Kriterien erfüllen:

  • single-column primary key und
  • primary key Datentyp ist integer; und
  • auto incrementing Primärschlüsselwerte.

Wenn eine Tabelle Single Auto Incrementing Primary Key Replikation verwendet, werden neue Daten erkannt, indem nach Primärschlüsselwerten gesucht wird, die höher sind als der aktuell höchste Wert in Ihrem Data Warehouse. Wenn beispielsweise der höchste Primärschlüsselwert in Ihrem Data Warehouse 500 beträgt, sucht er bei der nächsten Aktualisierung nach Zeilen mit Primärschlüsselwerten von 501 oder höher.

Datum hinzufügen

Die Add Date Methode funktioniert ähnlich wie die Single Auto Incrementing Primary Key. Anstatt eine Ganzzahl für den Primärschlüssel der Tabelle zu verwenden, verwendet diese Methode eine timestamped Spalte, um auf neue Zeilen zu prüfen.

Wenn eine Tabelle Add Date Replikation verwendet, werden neue Daten erkannt, indem nach Werten mit Zeitstempel gesucht wird, die größer sind als das letzte Datum, das mit Ihrem Data Warehouse synchronisiert wird. Wenn beispielsweise eine Aktualisierung zuletzt am 20/12/2015 09.:00: ausgeführt wurde, werden alle Zeilen mit einem Zeitstempel, der größer ist als dieser, als neue Daten markiert und repliziert.

NOTE
Im Gegensatz zur Modified At-Methode prüft Add Date vorhandene Zeilen nicht auf aktualisierte Informationen - es freut sich nur auf neue Zeilen.

Replikationsmethoden für vollständige Tabellen fulltable

Volle Tabelle

Full table Replikation aktualisiert die gesamte Tabelle, sobald neue Zeilen erkannt werden. Dies ist bei weitem die am wenigsten effiziente Replikationsmethode, da alle Daten bei jeder Aktualisierung neu verarbeitet werden müssen, vorausgesetzt, es gibt neue Zeilen.

Neue Zeilen werden erkannt, indem Sie Ihre Datenbank zu Beginn des Synchronisierungsprozesses abfragen und die Anzahl der Zeilen zählen. Wenn die lokale Datenbank mehr Zeilen als Commerce Intelligence enthält, wird die Tabelle aktualisiert. Wenn die Zeilenanzahl identisch ist oder Commerce Intelligence () Zeilen enthält als Ihre lokale Datenbank, wird die Tabelle übersprungen.

Dies wirft den wichtigen Punkt auf, dass Full TableReplikation in folgenden Fällen inkompatibel ist:

  • zwischen nachfolgenden Aktualisierungszyklen mehr Zeilen gelöscht als in der lokalen Datenbanktabelle erstellt werden oder
  • Spaltenwerte werden geändert, es werden jedoch keine zusätzlichen Zeilen erstellt

In beiden oben genannten Szenarien erkennt Full Table Replikation keine Änderungen und Ihre Daten werden veraltet. Aufgrund der Ineffizienz dieser Replikationsmethode und der oben genannten Anforderungen wird Full Table Replikation nur als letztes Mittel empfohlen.

Primärer Schlüsselstapel

Wenn eine Tabelle Primary Key Batch (PK-Batch) verwendet, werden neue Daten erkannt, indem Zeilen innerhalb von Bereichen oder Batches mit Primärschlüsselwerten gezählt werden. Während man davon ausgeht, dass dies normalerweise mit Ganzzahlen verwendet wird, können sogar Textwerte auf eine Weise sortiert werden, die es dem System ermöglicht, konstante Bereiche zu definieren.

Angenommen, eine Aktualisierung wird ausgeführt und führt eine Zeilenanzahl für den Schlüsselbereich von 1 bis 100 durch. In diesem Update findet und protokolliert das System 37 Zeilen. Bei der nächsten Aktualisierung wird erneut eine Zeilenanzahl im Bereich von 1 bis 100 durchgeführt, wobei 41 Zeilen gefunden werden. Da sich die Anzahl der Zeilen im Vergleich zur letzten Aktualisierung unterscheidet, prüft das System diesen Bereich (oder Batch) genauer.

Diese Methode dient zur Replikation von Daten aus Tabellen, die die folgenden Kriterien erfüllen:

  • einspaltige Nicht-Ganzzahl oder
  • Zusammengesetzte Schlüssel (mehrere Spalten, die den Primärschlüssel umfassen) - Beachten Sie, dass Spalten, die in einem zusammengesetzten Primärschlüssel verwendet werden, nie Nullwerte haben können; oder
  • Einzelspaltige, ganzzahlige, nicht automatisch inkrementierende Primärschlüsselwerte.

Diese Methode ist nicht ideal, da sie aufgrund des Verarbeitungsaufwands für die Untersuchung von Stapeln und das Auffinden von Änderungen unglaublich langsam ist. Adobe empfiehlt, diese Methode nicht zu verwenden, es sei denn, es ist nicht möglich, die erforderlichen Änderungen vorzunehmen, um die anderen Replikationsmethoden zu unterstützen. Es wird erwartet, dass die Aktualisierungszeiten zunehmen, wenn diese Methode verwendet werden muss.

Festlegen von Replikationsmethoden

Die Replikationsmethoden werden für jede Tabelle einzeln festgelegt. Zum Festlegen einer Replikationsmethode für eine Tabelle benötigen Sie Admin Berechtigungen, damit Sie auf den Data Warehouse-Manager zugreifen können.

  1. Wählen Sie im Data Warehouse-Manager die Tabelle aus der Liste Synced Tables aus, um das Tabellenschema anzuzeigen.

  2. Die aktuelle Replikationsmethode wird unter dem Tabellennamen aufgeführt. Um ihn zu ändern, klicken Sie auf den Link.

  3. Klicken Sie im angezeigten Popup auf die Optionsschaltfläche neben Incremental oder Full Table Replikation, um einen Replikationstyp auszuwählen.

  4. Klicken Sie anschließend auf das Dropdown-Menü Replication Method , um eine Methode auszuwählen. Beispiel: Paused oder Modified At.

    note note
    NOTE
    Bei einigen inkrementellen Methoden müssen Sie einenReplication Key festlegen. Commerce Intelligence verwendet diesen Schlüssel, um zu bestimmen, wo der nächste Aktualisierungszyklus beginnen soll.
    Wenn Sie beispielsweise die modified at-Methode für Ihre orders-Tabelle verwenden möchten, müssen Sie einen date column als Replikationsschlüssel festlegen. Es können mehrere Optionen für Replikationsschlüssel vorhanden sein, Sie wählen jedoch created at oder den Zeitpunkt aus, zu dem die Bestellung erstellt wurde. Wenn der letzte Aktualisierungszyklus am 12/1/2015 um 00::10: anhielt, würde der nächste Zyklus mit der Replikation von Daten beginnen, deren created at nach diesem Datum liegt.
  5. Klicken Sie abschließend auf Save.

Betrachten Sie den gesamten Prozess:

Verpackung

Zum Abschluss haben Sie diese Tabelle zusammengestellt, die die verschiedenen Replikationsmethoden vergleicht. Es ist unglaublich praktisch, wenn Sie eine Methode für die Tabellen auf Ihrem Data Warehouse auswählen.

Method
Syncing New Data
Processing Rechecks on Large Data Sets
Handle Composite Keys?
Handle Non-Integer PKs?
Handle Non-Sequential PK Population?
Handle Row Deletion?
Auto-Incrementing Primary Key
Schneller
Langsam
Nein
Nein
Nein
Ja
Primary Key Batch Monitoring
Langsam
Langsam
Ja
Ja
Ja
Ja
Modified At
Schneller
Schneller
Ja
Ja
Ja
Nein

Verwandte Dokumentation

recommendation-more-help
e1f8a7e8-8cc7-4c99-9697-b1daa1d66dbc