DokumentationExperience PlatformAnleitung zu Quell-Connectoren

[Ultimate]{class="badge positive"}

Snowflake Streaming-Quelle

Last update: Tue Sep 24 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Themen:

Erstellt für:

  • Entwickler
IMPORTANT
Die Streaming-Quelle Snowflake steht in der API Benutzern zur Verfügung, die Real-time Customer Data Platform Ultimate erworben haben.

Adobe Experience Platform ermöglicht die Aufnahme von Daten aus externen Quellen und bietet spezielle Services, mittels derer Sie eingehende Daten strukturieren, beschriften und erweitern können. Daten können aus verschiedensten Quellen aufgenommen werden, darunter etwa Adobe-Programme, Cloud-basierte Datenspeicher und Datenbanken.

Experience Platform unterstützt Streaming-Daten aus einer Snowflake -Datenbank.

Grundlegendes zur Streaming-Quelle Snowflake

Die Streaming-Quelle Snowflake funktioniert durch das Laden von Daten, indem regelmäßig eine SQL-Abfrage ausgeführt und für jede Zeile in der Ergebnismenge ein Ausgabedatensatz erstellt wird.

Durch die Verwendung von Kafka Connect zeichnet die Streaming-Quelle Snowflake den neuesten Datensatz auf, den sie von jeder Tabelle erhält, sodass sie an der richtigen Stelle für die nächste Iteration beginnen kann. Die Quelle verwendet diese Funktion, um Daten zu filtern und bei jeder Iteration nur die aktualisierten Zeilen aus einer Tabelle zu erhalten.

Voraussetzungen

Im folgenden Abschnitt werden die erforderlichen Schritte beschrieben, die ausgeführt werden müssen, bevor Sie Daten von Ihrer Snowflake-Datenbank an Experience Platform streamen können:

Aktualisieren der IP-Adressen-Zulassungsliste

Vor der Arbeit mit Quell-Connectoren muss einer Zulassungsliste eine Liste von IP-Adressen hinzugefügt werden. Wenn Sie Ihre regionsspezifischen IP-Adressen nicht zu Ihrer Zulassungsliste hinzufügen, kann dies bei der Verwendung von Quellen zu Fehlern oder Performance-Einbußen führen. Weitere Information finden Sie unter IP-Adressen-Zulassungsliste.

Die folgende Dokumentation enthält Informationen zur Verbindung von Amazon Redshift mit Platform mithilfe von APIs oder der Benutzeroberfläche:

Sammeln erforderlicher Anmeldedaten

Damit Flow Service eine Verbindung zu Snowflake herstellen kann, müssen Sie die folgenden Verbindungseigenschaften angeben:

Anmeldedaten
Beschreibung
account

Die vollständige Kontokennung (Kontoname oder Kontostandort) Ihres Snowflake-Kontos, das mit dem Suffix snowflakecomputing.com angehängt wird. Die Kontokennung kann in verschiedenen Formaten verwendet werden:

  • {ORG_NAME}-{ACCOUNT_NAME}.snowflakecomputing.com (z. B. acme-abc12345.snowflakecomputing.com)
  • {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.snowflakecomputing.com (z. B. acme12345.ap-southeast-1.snowflakecomputing.com)
  • {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.{CLOUD}.snowflakecomputing.com (z. B. acme12345.east-us-2.azure.snowflakecomputing.com)

Weitere Informationen finden Sie unter Snowflake document on account identifiers.

warehouse
Das Snowflake-Warehouse verwaltet den Abfrageausführungsprozess für die Anwendung. Jedes Snowflake-Warehouse ist unabhängig voneinander und muss einzeln aufgerufen werden, wenn Daten an Platform übermittelt werden.
database
Die Snowflake -Datenbank enthält die Daten, die Sie an die Plattform übermitteln möchten.
username
Der Benutzername für das Snowflake-Konto.
password
Das Kennwort für das Snowflake -Benutzerkonto.
role
(Optional) Eine benutzerdefinierte Rolle, die für einen Benutzer für eine bestimmte Verbindung bereitgestellt werden kann. Wenn dieser Wert nicht angegeben wird, wird standardmäßig public verwendet.
connectionSpec.id
Die Verbindungsspezifikation gibt die Connector-Eigenschaften einer Quelle zurück, einschließlich der Authentifizierungsspezifikationen für die Erstellung der Basis- und Quellverbindungen. Die Verbindungsspezifikations-ID für Snowflake ist 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Rolleneinstellungen konfigurieren configure-role-settings

Sie müssen Berechtigungen für eine Rolle konfigurieren, auch wenn die standardmäßige öffentliche Rolle zugewiesen ist, damit Ihre Quellverbindung auf die relevante Snowflake -Datenbank, das Schema und die Tabelle zugreifen kann. Die verschiedenen Berechtigungen für verschiedene Snowflake -Entitäten lauten wie folgt:

Snowflake entity
Berechtigung "Rolle anfordern"
Warehouse
OPERATE, USAGE
Datenbank
NUTZUNG
Schema
NUTZUNG
Tabelle
SELECT
NOTE
Die automatische Wiederaufnahme und das automatische Aussetzen müssen in der Konfiguration der erweiterten Einstellungen Ihres Warehouse aktiviert sein.

Weiterführende Informationen zur Rollen- und Berechtigungsverwaltung finden Sie in der Snowflake API-Referenz.

Einschränkungen und häufig gestellte Fragen limitations-and-frequently-asked-questions

  • Der Datendurchsatz für die Quelle Snowflake beträgt 2000 Datensätze pro Sekunde.

  • Die Preise variieren je nach der aktiven Lagerzeit und der Lagergröße. Für die Quell-Integration von Snowflake ist das kleinste, x-kleine Warehouse ausreichend. Es wird empfohlen, das automatische Aussetzen zu aktivieren, damit das Warehouse selbst ausgesetzt werden kann, wenn es nicht in Verwendung ist.

  • Die Snowflake -Quelle fragt die Datenbank alle 10 Sekunden nach neuen Daten ab.

  • Konfigurationsoptionen:

    • Sie können beim Erstellen einer Quellverbindung eine boolesche Markierung backfill für Ihre Snowflake Quelle aktivieren.

      • Wenn die Aufstockung auf "true"festgelegt ist, wird der Wert für timestamp.initial auf 0 gesetzt. Das bedeutet, dass Daten mit einer Zeitstempelspalte abgerufen werden, die größer als 0 Epochenzeit ist.
      • Wenn die Aufstockung auf "false"festgelegt ist, wird der Wert für timestamp.initial auf -1 gesetzt. Das bedeutet, dass Daten mit einer Zeitstempelspalte abgerufen werden, die größer ist als die aktuelle Zeit (der Zeitpunkt, zu dem die Quelle beginnt zu erfassen).

    • Die Spalte mit dem Zeitstempel sollte wie folgt formatiert sein: TIMESTAMP_LTZ oder TIMESTAMP_NTZ. Wenn die Zeitstempelspalte auf TIMESTAMP_NTZ gesetzt ist, sollte die entsprechende Zeitzone, in der die Werte gespeichert werden, über den Parameter timezoneValue übergeben werden. Wenn nicht angegeben, wird für den Wert standardmäßig UTC verwendet.

      • TIMESTAMP_TZ kann nicht in einer Zeitstempelspalte oder einer Zuordnung verwendet werden.

Nächste Schritte

Im folgenden Tutorial erfahren Sie, wie Sie mithilfe der API Ihre Snowflake-Streaming-Quelle mit Experience Platform verbinden:

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089