Snowflake Streaming-Quelle

Last update: Tue Mar 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Themen:
Sources

Erstellt für:

Developer

IMPORTANT

Die Snowflake Streaming-Quelle befindet sich in der Beta-Phase. Bitte lesen Sie die Quellen - Übersicht für weitere Informationen zur Verwendung von Beta-beschrifteten Quellen.
Die Snowflake Streaming-Quelle ist in der API für Benutzer verfügbar, die Real-time Customer Data Platform Ultimate erworben haben.

Adobe Experience Platform ermöglicht die Aufnahme von Daten aus externen Quellen und bietet spezielle Services, mittels derer Sie eingehende Daten strukturieren, beschriften und erweitern können. Daten können aus verschiedensten Quellen aufgenommen werden, darunter etwa Adobe-Programme, Cloud-basierte Datenspeicher und Datenbanken.

Experience Platform unterstützt Streaming-Daten von einer Snowflake Datenbank.

Grundlagen zum Snowflake Streaming-Quelle

Die Snowflake Streaming-Quelle funktioniert durch das Laden von Daten, indem regelmäßig eine SQL-Abfrage ausgeführt und für jede Zeile der Ergebnismenge ein Ausgabedatensatz erstellt wird.

Durch Verwendung von Kafka Connect, die Snowflake Streaming-Quelle verfolgt den neuesten Datensatz, den sie von jeder Tabelle erhält, sodass er an der richtigen Stelle für die nächste Iteration beginnen kann. Die Quelle verwendet diese Funktion, um Daten zu filtern und bei jeder Iteration nur die aktualisierten Zeilen aus einer Tabelle zu erhalten.

Voraussetzungen

Im folgenden Abschnitt werden die erforderlichen Schritte beschrieben, die durchgeführt werden müssen, bevor Sie Daten von Ihrem Snowflake Datenbank zu Experience Platform:

Sammeln erforderlicher Anmeldeinformationen

Zur Flow Service zur Verbindung mit Snowflakemüssen Sie die folgenden Verbindungseigenschaften angeben:

Anmeldedaten

Beschreibung

account

Der vollständige Kontoname, der mit Ihrem Snowflake -Konto. Eine vollqualifizierte Snowflake Der Kontoname enthält Ihren Kontonamen, Ihre Region und Ihre Cloud-Plattform. Beispiel: cj12345.east-us-2.azure. Weiterführende Informationen zu Kontonamen finden Sie in diesem [Snowflake document on account identifiers] (https://docs.snowflake.com/en/user-guide/admin-account-identifier.html).

warehouse

Die Snowflake Warehouse verwaltet den Prozess der Ausführung der Abfrage für die Anwendung. Jeder Snowflake Warehouse ist unabhängig voneinander und muss einzeln aufgerufen werden, wenn Daten an Platform übermittelt werden.

database

Die Snowflake -Datenbank enthält die Daten, die Sie an Platform übermitteln möchten.

username

Der Benutzername für die Snowflake -Konto.

password

Das Kennwort für die Snowflake Benutzerkonto.

role

(Optional) Eine benutzerdefinierte Rolle, die für einen Benutzer für eine bestimmte Verbindung bereitgestellt werden kann. Wenn dieser Wert nicht angegeben wird, wird standardmäßig public.

connectionSpec.id

Die Verbindungsspezifikation gibt die Connector-Eigenschaften einer Quelle zurück, einschließlich der Authentifizierungsspezifikationen für die Erstellung der Basis- und Quellverbindungen. Die Verbindungsspezifikations-ID für Snowflake is 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Rolleneinstellungen konfigurieren configure-role-settings

Sie müssen Berechtigungen für eine Rolle konfigurieren, auch wenn die standardmäßige öffentliche Rolle zugewiesen ist, damit Ihre Quellverbindung auf die Snowflake Datenbank, Schema und Tabelle. Die verschiedenen Berechtigungen für verschiedene Snowflake -Entitäten lautet wie folgt:

Snowflake entity

Berechtigung "Rolle anfordern"

Warehouse

OPERATE, USAGE

Datenbank

NUTZUNG

Schema

NUTZUNG

Tabelle

SELECT

NOTE

Die automatische Wiederaufnahme und das automatische Aussetzen müssen in der Konfiguration der erweiterten Einstellungen Ihres Warehouse aktiviert sein.

Weiterführende Informationen zur Verwaltung von Rollen und Berechtigungen finden Sie im Abschnitt [Snowflake API-Referenz] (https://docs.snowflake.com/en/sql-reference/sql/grant-privilege).

Einschränkungen und häufig gestellte Fragen limitations-and-frequently-asked-questions

Der Datendurchsatz für die Snowflake -Quelle enthält 2000 Datensätze pro Sekunde.
Die Preise variieren je nach der aktiven Lagerzeit und der Lagergröße. Für Snowflake Quell-Integration, die kleinste Größe, x-kleine Warehouse ist ausreichend. Es wird empfohlen, das automatische Aussetzen zu aktivieren, damit das Warehouse selbst ausgesetzt werden kann, wenn es nicht in Verwendung ist.
Die Snowflake -Quelle fragt die Datenbank alle zehn Sekunden nach neuen Daten ab.
Konfigurationsoptionen:
- Sie können eine backfill boolesches Flag für Ihre Snowflake Quelle beim Erstellen einer Quellverbindung.
  - Wenn die Aufstockung auf "true"festgelegt ist, wird der Wert für timestamp.initial auf 0 gesetzt. Das bedeutet, dass Daten mit einer Zeitstempelspalte abgerufen werden, die größer als 0 Epochenzeit ist.
  - Wenn die Aufstockung auf "false"festgelegt ist, wird der Wert für timestamp.initial auf -1 gesetzt. Das bedeutet, dass Daten mit einer Zeitstempelspalte abgerufen werden, die größer ist als die aktuelle Zeit (der Zeitpunkt, zu dem die Quelle beginnt zu erfassen).
- Die Spalte mit dem Zeitstempel sollte wie folgt formatiert sein: TIMESTAMP_LTZ oder TIMESTAMP_NTZ. Wenn die Spalte mit dem Zeitstempel auf TIMESTAMP_NTZ, sollte die entsprechende Zeitzone, in der die Werte gespeichert werden, über die timezoneValue -Parameter. Wenn nicht angegeben, wird für den Wert standardmäßig UTC verwendet.
  - TIMESTAMP_TZ kann nicht in einer Zeitstempelspalte oder einer Zuordnung verwendet werden.

Nächste Schritte

Im folgenden Tutorial erfahren Sie, wie Sie Ihre Snowflake Streaming-Quelle an Experience Platform mithilfe der API:

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089