Konfigurieren von Replikationsmethoden

Replication -Methoden und rechecks werden verwendet, um neue oder aktualisierte Daten in Ihren Datenbanktabellen zu identifizieren. Eine korrekte Einstellung ist für die Gewährleistung der Datengenauigkeit und optimierter Aktualisierungszeiten von entscheidender Bedeutung. Dieses Thema konzentriert sich auf Replikationsmethoden.

Wenn neue Tabellen im Data Warehouse-Manager synchronisiert werden, wird automatisch eine Replikationsmethode für die Tabelle ausgewählt. Anhand der verschiedenen Replikationsmethoden, der Organisation von Tabellen und des Verhaltens der Tabellendaten können Sie die beste Replikationsmethode für Ihre Tabellen auswählen.

Was sind die Replikationsmethoden?

Replication Methoden fallen in drei Gruppen - Incremental, Full Table und Paused.

Incremental Replication bedeutet, dass Commerce Intelligence bei jedem Replikationsversuch nur neue oder aktualisierte Daten repliziert. Da diese Methoden die Latenz stark reduzieren, empfiehlt Adobe, sie nach Möglichkeit zu verwenden.

Full Table Replication bedeutet, dass Commerce Intelligence bei jedem Replikationsversuch den gesamten Inhalt einer Tabelle repliziert. Aufgrund der potenziell großen Menge an zu replizierenden Daten können diese Methoden die Latenz und Aktualisierungszeiten erhöhen. Wenn eine Tabelle Zeitstempel- oder Datumszeitspalten enthält, empfiehlt Adobe stattdessen die Verwendung einer Inkrementellen Methode.

Paused gibt an, dass die Replikation für die Tabelle angehalten oder angehalten wurde. Commerce Intelligence sucht während eines Aktualisierungszyklus nicht nach neuen oder aktualisierten Daten. Dies bedeutet, dass keine Daten aus einer Tabelle repliziert werden, die dies als Replikationsmethode hat.

Inkrementelle Replikationsmethoden incremental

Geändert am (am besten geeignet)

Die Replikationsmethode Modified At verwendet eine Datums-/Uhrzeitspalte, die bei der Erstellung einer Zeile und deren anschließender Aktualisierung bei Datenänderungen aufgefüllt wird, um zu replizierende Daten zu finden. Diese Methode wurde für die Verwendung mit Tabellen entwickelt, die die folgenden Kriterien erfüllen:

Zusätzlich zu diesen Kriterien empfiehlt Adobe die Indizierung für die datetime -Spalte, die für die Modified At-Replikation verwendet wird, da dies die Replikationsgeschwindigkeit optimiert.

Beim Ausführen der Aktualisierung werden neue oder geänderte Daten identifiziert, indem nach Zeilen gesucht wird, die einen Wert in der Spalte datetime aufweisen, der nach der letzten Aktualisierung aufgetreten ist. Wenn neue Zeilen gefunden werden, werden sie auf Ihrer Data Warehouse repliziert. Wenn Zeilen im Data Warehouse-Manager vorhanden sind, werden sie mit den aktuellen Datenbankwerten überschrieben.

Eine Tabelle kann beispielsweise eine Spalte mit dem Namen modified\_at enthalten, die angibt, wann die Daten zuletzt geändert wurden. Wenn die letzte Aktualisierung Dienstag um Mittag ausgeführt wurde, sucht die Aktualisierung nach allen Zeilen, deren modified\_at -Wert größer ist als Dienstag Mittag. Entdeckte Zeilen, die seit Dienstag Mittag erstellt oder geändert wurden, werden auf der Data Warehouse repliziert.

Wusstest du das?
Selbst wenn Ihre Datenbank derzeit keine Incremental Replikationsmethode unterstützt, können Sie Änderungen an Ihrer Datenbank vornehmen, die die Verwendung von Modified At oder Single Auto Incrementing PK ermöglichen würden.

Modified At ist nicht nur die ideale Replikationsmethode, sondern auch die schnellste. Diese Methode führt nicht nur zu deutlichen Geschwindigkeitssteigerungen bei großen Datensätzen, sondern erfordert auch nicht die Konfiguration einer Wiederholungsoption. Andere Methoden müssen durch eine ganze Tabelle navigieren, um Änderungen zu identifizieren, selbst wenn sich eine kleine Datenuntergruppe geändert hat. Modified At durchläuft nur diese kleine Teilmenge.

Einzelne automatische Erhöhung des Primären Schlüssels

Auto Incrementing ist ein Verhalten, das nacheinander Primärschlüssel Zeilen zuweist. Wenn eine Tabelle den Wert "Auto Incrementing"hat und der höchste Primärschlüssel in der Tabelle den Wert "1.000"hat, beträgt der nächste Primärwert 1.001 oder höher. Eine Tabelle, die kein "Auto Incrementing"-Verhalten verwendet, kann einen Primärschlüsselwert von weniger als 1.000 zuweisen oder zu einer viel größeren Zahl springen, dies wird jedoch nicht häufig verwendet.

Diese Methode dient der Replikation neuer Daten aus Tabellen, die die folgenden Kriterien erfüllen:

Wenn eine Tabelle die Single Auto Incrementing Primary Key-Replikation verwendet, werden neue Daten erkannt, indem nach Primärschlüsselwerten gesucht wird, die höher sind als der aktuelle höchste Wert in Ihrer Data Warehouse. Wenn der höchste Primärschlüsselwert in Ihrer Data Warehouse beispielsweise 500 beträgt, wird bei der nächsten Aktualisierung nach Zeilen mit Primärschlüsselwerten von 501 oder höher gesucht.

Datum hinzufügen

Die Add Date -Methode funktioniert ähnlich wie die Single Auto Incrementing Primary Key -Methode. Anstatt eine Ganzzahl für den Primärschlüssel der Tabelle zu verwenden, verwendet diese Methode eine timestamped -Spalte, um nach neuen Zeilen zu suchen.

Wenn eine Tabelle die Add Date-Replikation verwendet, werden neue Daten erkannt, indem nach Zeitstempelwerten gesucht wird, die größer sind als das neueste mit Ihrer Data Warehouse synchronisierte Datum. Beispiel: Wenn eine Aktualisierung zuletzt am 12.20.2015 ausgeführt wurde, 09.0}00, werden alle Zeilen mit einem Zeitstempel, der größer als dieser ist, als neue Daten markiert und repliziert.:00:

Vollständige Tabellenreplikationsmethoden fulltable

Vollständige Tabelle

Die Full table-Replikation aktualisiert die gesamte Tabelle, sobald neue Zeilen erkannt werden. Dies ist bei weitem die bei weitem am wenigsten effiziente Replikationsmethode, da alle Daten bei jeder Aktualisierung erneut verarbeitet werden müssen, vorausgesetzt, es gibt neue Zeilen.

Neue Zeilen werden erkannt, indem Sie Ihre Datenbank zu Beginn des Synchronisierungsprozesses abfragen und die Anzahl der Zeilen zählen. Wenn Ihre lokale Datenbank mehr Zeilen als Commerce Intelligence enthält, wird die Tabelle aktualisiert. Wenn die Zeilenanzahl identisch ist oder Commerce Intelligence mehr Zeilen enthält als Ihre lokale Datenbank, wird die Tabelle übersprungen.

Dies wirft den wichtigen Punkt auf, dass die Full Table-Replikation nicht kompatibel ist, wenn:

In einem der obigen Szenarien erkennt die Full Table-Replikation keine Änderungen und Ihre Daten sind veraltet. Aufgrund der Ineffizienz dieser Replikationsmethode und der oben erwähnten Anforderungen wird die Full Table-Replikation nur als letztes Mittel empfohlen.

Batch mit Primärem Schlüssel

Wenn eine Tabelle Primary Key Batch (PK-Batch) verwendet, werden neue Daten erkannt, indem Zeilen innerhalb von Bereichen oder Stapeln von Primärschlüsselwerten gezählt werden. Während Sie sich normalerweise vorstellen, dass dies mit Ganzzahlen verwendet wird, können auch Textwerte so angeordnet werden, dass das System konstante Bereiche definieren kann.

Angenommen, eine Aktualisierung wird ausgeführt und eine Zeilenanzahl für den Bereich von Schlüsseln zwischen 1 und 100 durchgeführt. In diesem Update sucht und protokolliert das System 37 Zeilen. In der nächsten Aktualisierung wird eine Zeilenanzahl für den Bereich 1-100 erneut durchgeführt und findet 41 Zeilen. Da die Anzahl der Zeilen im Vergleich zur letzten Aktualisierung unterschiedlich ist, prüft das System diesen Bereich (oder Batch) detaillierter.

Diese Methode dient zur Replikation von Daten aus Tabellen, die die folgenden Kriterien erfüllen:

Diese Methode ist nicht optimal, da sie aufgrund der Menge an Verarbeitung, die erforderlich ist, um Batches zu untersuchen und Änderungen zu finden, unglaublich langsam ist. Adobe empfiehlt, diese Methode nicht zu verwenden, es sei denn, es ist unmöglich, die erforderlichen Änderungen zur Unterstützung der anderen Replikationsmethoden vorzunehmen. Wenn diese Methode verwendet werden soll, ist mit einer Erhöhung der Aktualisierungszeiten zu rechnen.

Festlegen von Replikationsmethoden

Replikationsmethoden werden pro Tabelle festgelegt. Um eine Replikationsmethode für eine Tabelle festzulegen, benötigen Sie Admin -Berechtigungen, damit Sie auf den Data Warehouse-Manager zugreifen können.

Betrachten Sie den gesamten Prozess:

Aufwischen

Abschließend haben Sie diese Tabelle erstellt, in der die verschiedenen Replikationsmethoden verglichen werden. Es ist unglaublich praktisch bei der Auswahl einer Methode für die Tabellen in Ihrem Data Warehouse.

Verwandte Dokumentation