[Ultimate]{class="badge positive"}
Streaming-Quelle Snowflake
-
Die Snowflake Streaming-Quelle ist in der API für Benutzende verfügbar, die Real-Time CDP Ultimate erworben haben.
-
Sie können jetzt die Snowflake Streaming-Quelle verwenden, wenn Sie Adobe Experience Platform auf Amazon Web Services (AWS) ausführen. Experience Platform, das auf AWS ausgeführt wird, steht derzeit einer begrenzten Anzahl von Kunden zur Verfügung. Weitere Informationen zur unterstützten Experience Platform-Infrastruktur finden Sie in der Übersicht zur Experience Platform-Multi-Cloud.
Adobe Experience Platform ermöglicht die Aufnahme von Daten aus externen Quellen und bietet spezielle Services, mittels derer Sie eingehende Daten strukturieren, beschriften und erweitern können. Daten können aus verschiedensten Quellen aufgenommen werden, darunter etwa Adobe-Programme, Cloud-basierte Datenspeicher und Datenbanken.
Experience Platform unterstützt das Streaming von Daten aus einer Snowflake.
Verstehen der Snowflake Streaming-Quelle
Die Snowflake-Streaming-Quelle lädt Daten durch periodisches Ausführen einer SQL-Abfrage und Erstellen eines Ausgabedatensatzes für jede Zeile im resultierenden Satz.
Durch Verwendung von Kafka Connect verfolgt die Snowflake-Streaming-Quelle den neuesten Datensatz, den sie von jeder Tabelle erhält, sodass sie an der richtigen Stelle für die nächste Iteration beginnen kann. Die Quelle verwendet diese Funktion zum Filtern von Daten und ruft bei jeder Iteration nur die aktualisierten Zeilen aus einer Tabelle ab.
Voraussetzungen
Im folgenden Abschnitt werden die erforderlichen Schritte beschrieben, die ausgeführt werden müssen, bevor Sie Daten aus Ihrer Snowflake auf Experience Platform streamen können:
Zulassungsliste der IP-Adressen aktualisieren
Vor der Arbeit mit Quell-Connectoren muss einer Zulassungsliste eine Liste von IP-Adressen hinzugefügt werden. Wenn Sie Ihre regionsspezifischen IP-Adressen nicht zu Ihrer Zulassungsliste hinzufügen, kann dies bei der Verwendung von Quellen zu Fehlern oder Performance-Einbußen führen. Weitere Information finden Sie unter IP-Adressen-Zulassungsliste.
Die folgende Dokumentation enthält Informationen zur Verbindung von Amazon Redshift mit Platform mithilfe von APIs oder der Benutzeroberfläche:
Sammeln erforderlicher Anmeldedaten
Damit Flow Service eine Verbindung mit Snowflake herstellen kann, müssen Sie die folgenden Verbindungseigenschaften angeben:
accountDie vollständige Kontokennung (Kontoname oder Konto-Locator) Ihres Snowflake Kontos, an die das Suffix snowflakecomputing.com angehängt ist. Die Kontokennung kann in verschiedenen Formaten vorliegen:
- {ORG_NAME}-{ACCOUNT_NAME}.snowflakecomputing.com (z. B.
acme-abc12345.snowflakecomputing.com) - {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.snowflakecomputing.com (z. B.
acme12345.ap-southeast-1.snowflakecomputing.com) - {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.{CLOUD}.snowflakecomputing.com (z. B.
acme12345.east-us-2.azure.snowflakecomputing.com)
Weitere Informationen finden Sie im Snowflake document on account identifiers.
warehousedatabaseusernamepasswordrolepublic.connectionSpec.id51ae16c2-bdad-42fd-9fce-8d5dfddaf140.Konfigurieren von Rolleneinstellungen configure-role-settings
Sie müssen Berechtigungen für eine Rolle konfigurieren, auch wenn die standardmäßige öffentliche Rolle zugewiesen ist, damit Ihre Quellverbindung auf die entsprechende Snowflake-Datenbank, das Schema und die entsprechende Tabelle zugreifen kann. Die verschiedenen Berechtigungen für verschiedene Snowflake-Entitäten lauten wie folgt:
Weitere Informationen zur Rollen- und Berechtigungsverwaltung finden Sie in der Snowflake API-Referenz.
Einschränkungen und häufig gestellte Fragen limitations-and-frequently-asked-questions
-
Der Datendurchsatz für die Snowflake beträgt 2000 Datensätze pro Sekunde.
-
Die Preise variieren je nach der Zeit, die ein Lager aktiv ist, und der Größe des Lagers. Für die Snowflake-Quellintegration genügt ein kleinstes X-kleines Warehouse. Es wird empfohlen, das automatische Aussetzen zu aktivieren, damit das Warehouse bei Nichtverwendung selbstständig aussetzen kann.
-
Die Snowflake fragt alle 10 Sekunden die Datenbank nach neuen Daten ab.
-
Konfigurationsoptionen:
-
Sie können beim Erstellen einer Quellverbindung ein
backfillboolesches Flag für Ihre Snowflake-Quelle aktivieren.- Wenn die Aufstockung auf „true“ gesetzt ist, wird der Wert für „timestamp.initial“ auf 0 gesetzt. Das bedeutet, dass Daten mit einer Zeitstempelspalte größer als 0 Epochenzeit abgerufen werden.
- Wenn die Aufstockung auf „false“ festgelegt ist, wird der Wert für „timestamp.initial“ auf -1 festgelegt. Das bedeutet, dass Daten mit einer Zeitstempelspalte abgerufen werden, die größer ist als die aktuelle Zeit (die Zeit, in der die Quelle mit der Aufnahme beginnt).
-
Die Zeitstempelspalte sollte als Typ formatiert sein:
TIMESTAMP_LTZoderTIMESTAMP_NTZ. Wenn die Zeitstempelspalte aufTIMESTAMP_NTZgesetzt ist, sollte die entsprechende Zeitzone, in der die Werte gespeichert sind, über dentimezoneValueParameter weitergeleitet werden. Wenn kein Wert angegeben wird, wird standardmäßig UTC verwendet.TIMESTAMP_TZkann weder in einer Zeitstempelspalte noch in einer Zuordnung verwendet werden.
-
Nächste Schritte
Im folgenden Tutorial erfahren Sie, wie Sie Ihre Snowflake-Streaming-Quelle mithilfe der -API mit dem Experience Platform verbinden: