DocumentazioneExperience PlatformGuida ai connettori di origini

[Ultimate]{class="badge positive"}

Snowflake origine streaming

Last update: Mon Sep 23 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Argomenti:

Creato per:

  • Sviluppatore
IMPORTANT
L'origine di streaming Snowflake è disponibile nell'API per gli utenti che hanno acquistato Real-time Customer Data Platform Ultimate.

Adobe Experience Platform consente di acquisire i dati da origini esterne e allo stesso tempo di strutturare, etichettare e migliorare i dati in arrivo tramite i servizi di Platform. È possibile acquisire dati da diverse origini, ad esempio applicazioni Adobe, archiviazione basata su cloud, database e molte altre.

Experience Platform fornisce il supporto per lo streaming dei dati da un database Snowflake.

Informazioni sull'origine di streaming Snowflake

L'origine di flusso Snowflake funziona caricando i dati eseguendo periodicamente una query SQL e creando un record di output per ogni riga nel set risultante.

Utilizzando Kafka Connect, l'origine di streaming Snowflake tiene traccia dell'ultimo record ricevuto da ogni tabella, in modo che possa iniziare nella posizione corretta per l'iterazione successiva. L’origine utilizza questa funzionalità per filtrare i dati e ottenere solo le righe aggiornate da una tabella su ogni iterazione.

Prerequisiti

La sezione seguente illustra i passaggi preliminari da completare prima di poter inviare dati dal database Snowflake all'Experience Platform:

Aggiorna l’elenco consentiti del tuo indirizzo IP

Prima di utilizzare i connettori di origine, è necessario aggiungere un elenco di indirizzi IP a un elenco consentiti. La mancata aggiunta all’elenco consentiti degli indirizzi IP specifici per l’area geografica potrebbe causare errori o prestazioni non ottimali durante l’utilizzo delle origini. Per ulteriori informazioni, vedere la pagina elenco consentiti indirizzo IP.

La documentazione seguente fornisce informazioni su come connettere Amazon Redshift a Platform tramite API o tramite l'interfaccia utente:

Raccogli le credenziali richieste

Affinché Flow Service possa connettersi a Snowflake, è necessario fornire le seguenti proprietà di connessione:

Credenziali
Descrizione
account

L'identificatore account completo (nome account o localizzatore account) dell'account Snowflake aggiunto al suffisso snowflakecomputing.com. L’identificatore dell’account può essere in diversi formati:

  • {ORG_NAME}-{ACCOUNT_NAME}.snowflakecomputing.com (esempio: acme-abc12345.snowflakecomputing.com)
  • {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.snowflakecomputing.com (esempio: acme12345.ap-southeast-1.snowflakecomputing.com)
  • {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.{CLOUD}.snowflakecomputing.com (esempio: acme12345.east-us-2.azure.snowflakecomputing.com)

Per ulteriori informazioni, leggere Snowflake document on account identifiers.

warehouse
Il data warehouse Snowflake gestisce il processo di esecuzione delle query per l'applicazione. Ogni data warehouse Snowflake è indipendente l'uno dall'altro e deve essere accessibile singolarmente quando si trasferiscono i dati a Platform.
database
Il database Snowflake contiene i dati che si desidera inserire nella piattaforma.
username
Nome utente per l'account Snowflake.
password
Password per l'account utente Snowflake.
role
(Facoltativo) Ruolo personalizzato che può essere fornito a un utente, per una determinata connessione. Se non specificato, il valore predefinito è public.
connectionSpec.id
La specifica di connessione restituisce le proprietà del connettore di un'origine, incluse le specifiche di autenticazione relative alla creazione delle connessioni di base e di origine. L'ID della specifica di connessione per Snowflake è 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Configurare le impostazioni del ruolo configure-role-settings

È necessario configurare i privilegi per un ruolo, anche se il ruolo pubblico predefinito è assegnato, per consentire alla connessione di origine di accedere al database, allo schema e alla tabella Snowflake rilevanti. I vari privilegi per le diverse entità Snowflake sono i seguenti:

Entità Snowflake
Richiedi privilegio ruolo
Data warehouse
FUNZIONAMENTO, UTILIZZO
Database
UTILIZZO
Schema
UTILIZZO
Tabella
SELEZIONA
NOTE
Nella configurazione delle impostazioni avanzate del magazzino devono essere abilitate le funzioni Ripresa automatica e Sospensione automatica.

Per ulteriori informazioni sulla gestione di ruoli e privilegi, fare riferimento al Snowflake riferimento API.

Limitazioni e domande frequenti limitations-and-frequently-asked-questions

  • La velocità effettiva dei dati per l'origine Snowflake è di 2.000 record al secondo.

  • I prezzi possono variare in base al periodo di tempo in cui è attiva una warehouse e alle dimensioni della warehouse. Per l'integrazione di origine Snowflake, è sufficiente la data warehouse di piccole dimensioni, x-small. Si consiglia di abilitare la sospensione automatica in modo che il magazzino possa sospendere da solo quando non è in uso.

  • L'origine Snowflake esegue il polling del database per i nuovi dati ogni 10 secondi.

  • Opzioni di configurazione:

    • È possibile abilitare un flag booleano backfill per l'origine Snowflake durante la creazione di una connessione di origine.

      • Se backfill è impostato su true, il valore di timestamp.initial è impostato su 0. Ciò significa che vengono recuperati dati con una colonna di marca temporale maggiore di 0 epoca.
      • Se backfill è impostato su false, il valore di timestamp.initial è impostato su -1. Ciò significa che vengono recuperati i dati con una colonna di marca temporale maggiore dell’ora corrente (l’ora in cui inizia l’acquisizione della sorgente).

    • La colonna timestamp deve essere formattata come tipo: TIMESTAMP_LTZ o TIMESTAMP_NTZ. Se la colonna timestamp è impostata su TIMESTAMP_NTZ, il fuso orario corrispondente in cui sono archiviati i valori deve essere passato tramite il parametro timezoneValue. Se non specificato, il valore predefinito è UTC.

      • Impossibile utilizzare TIMESTAMP_TZ in una colonna timestamp o in una mappatura.

Passaggi successivi

Il seguente tutorial illustra i passaggi necessari per collegare l'origine di streaming Snowflake ad Experience Platform utilizzando l'API:

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089