Beta Ultimate

Snowflake origine streaming

Ultimo aggiornamento: 2023-10-31
  • Argomenti:
  • Sources
    Visualizza ulteriori informazioni su questo argomento
  • Creato per:
  • Developer
IMPORTANTE
  • Il Snowflake l'origine di streaming è in versione beta. Leggi le Panoramica sulle origini per ulteriori informazioni sull’utilizzo di fonti etichettate beta.
  • Il Snowflake l’origine di streaming è disponibile nell’API per gli utenti che hanno acquistato Real-time Customer Data Platform Ultimate.

Adobe Experience Platform consente di acquisire i dati da origini esterne e allo stesso tempo di strutturare, etichettare e migliorare i dati in arrivo tramite i servizi di Platform. È possibile acquisire dati da diverse origini, ad esempio applicazioni Adobe, archiviazione basata su cloud, database e molte altre.

Experience Platform fornisce supporto per lo streaming di dati da una Snowflake database.

Comprensione di Snowflake origine streaming

Il Snowflake l'origine di streaming funziona caricando i dati eseguendo periodicamente una query SQL e creando un record di output per ogni riga del set risultante.

Utilizzando Kafka Connect, il Snowflake l'origine di streaming tiene traccia del record più recente ricevuto da ogni tabella, in modo che possa iniziare nella posizione corretta per l'iterazione successiva. L’origine utilizza questa funzionalità per filtrare i dati e ottenere solo le righe aggiornate da una tabella su ogni iterazione.

Prerequisiti

La sezione seguente illustra i passaggi prerequisiti da completare prima di poter inviare i dati dal Snowflake database di Experience Platform:

Raccogli le credenziali richieste

Per ottenere Flow Service per connettersi con Snowflake, è necessario fornire le seguenti proprietà di connessione:

Credenziali Descrizione
account Il nome completo dell'account associato al Snowflake account. Un sistema completo Snowflake il nome account include il nome account, l’area geografica e la piattaforma cloud. Ad esempio, cj12345.east-us-2.azure. Per ulteriori informazioni sui nomi degli account, consulta questa [Snowflake document on account identifiers] (https://docs.snowflake.com/en/user-guide/admin-account-identifier.html).
warehouse Il Snowflake warehouse gestisce il processo di esecuzione delle query per l'applicazione. Ogni Snowflake il data warehouse è indipendente l’uno dall’altro e deve essere accessibile singolarmente quando si trasferiscono i dati su Platform.
database Il Snowflake Il database contiene i dati che desideri inserire in Platform.
username Nome utente per Snowflake account.
password La password per Snowflake account utente.
role (Facoltativo) Ruolo personalizzato che può essere fornito a un utente, per una determinata connessione. Se non specificato, il valore predefinito è public.
connectionSpec.id La specifica di connessione restituisce le proprietà del connettore di un'origine, incluse le specifiche di autenticazione relative alla creazione delle connessioni di base e di origine. ID della specifica di connessione per Snowflake è 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Per ulteriori informazioni sull’autenticazione, consulta [Snowflake documento] (https://docs.snowflake.com/en/user-guide/key-pair-auth.html).

Configurare le impostazioni del ruolo

È necessario configurare i privilegi per un ruolo, anche se il ruolo pubblico predefinito è assegnato, per consentire alla connessione di origine di accedere al relativo Snowflake database, schema e tabella. I vari privilegi per diversi Snowflake entità è il seguente:

Snowflake entità Richiedi privilegio ruolo
Data warehouse FUNZIONAMENTO, UTILIZZO
Database UTILIZZO
Schema UTILIZZO
Tabella SELEZIONA
NOTA

Nella configurazione delle impostazioni avanzate del magazzino devono essere abilitate le funzioni Ripresa automatica e Sospensione automatica.

Per ulteriori informazioni sulla gestione di ruoli e privilegi, fare riferimento a [Snowflake Riferimento API] (https://docs.snowflake.com/en/sql-reference/sql/grant-privilege).

Limitazioni e domande frequenti

  • Velocità effettiva dei dati per Snowflake l'origine è di 2000 record al secondo.
  • I prezzi possono variare in base al periodo di tempo in cui è attiva una warehouse e alle dimensioni della warehouse. Per Snowflake integrazione di origine, il magazzino di dimensioni più piccole, x-small è sufficiente. Si consiglia di abilitare la sospensione automatica in modo che il magazzino possa sospendere da solo quando non è in uso.
  • Il Snowflake l'origine esegue il polling del database per i nuovi dati ogni 10 secondi.
  • Opzioni di configurazione:
    • È possibile abilitare una backfill flag booleano per Snowflake origine durante la creazione di una connessione di origine.
      • Se backfill è impostato su true, il valore di timestamp.initial è impostato su 0. Ciò significa che vengono recuperati dati con una colonna di marca temporale maggiore di 0 epoca.
      • Se backfill è impostato su false, il valore di timestamp.initial è impostato su -1. Ciò significa che vengono recuperati i dati con una colonna di marca temporale maggiore dell’ora corrente (l’ora in cui inizia l’acquisizione della sorgente).
    • La colonna timestamp deve essere formattata come tipo: TIMESTAMP_LTZ o TIMESTAMP_NTZ. Se la colonna timestamp è impostata su TIMESTAMP_NTZ, il fuso orario corrispondente in cui sono memorizzati i valori deve essere trasmesso tramite timezoneValue parametro. Se non specificato, il valore predefinito è UTC.
      • TIMESTAMP_TZ non può essere utilizzata in una colonna timestamp o in una mappatura.

Passaggi successivi

Il seguente tutorial descrive i passaggi necessari per collegare Snowflake origine di streaming per l’Experience Platform tramite API:

In questa pagina