DokumentationExperience PlatformAnvändarhandbok om Source Connectors
Beta
Ultimate

Snowflake strömningskälla

Last update: Tue Oct 31 2023 00:00:00 GMT+0000 (Coordinated Universal Time)

Skapat för:

  • Developer
IMPORTANT
  • The Snowflake direktuppspelningskällan är i betaversion. Läs Översikt över källor om du vill ha mer information om hur du använder betamärkta källor.
  • The Snowflake strömningskälla är tillgänglig i API:t för användare som har köpt Real-time Customer Data Platform Ultimate.

Med Adobe Experience Platform kan data hämtas från externa källor samtidigt som du kan strukturera, märka och förbättra inkommande data med hjälp av plattformstjänster. Du kan importera data från en mängd olika källor, till exempel Adobe-program, molnbaserad lagring, databaser och många andra.

Experience Platform har stöd för strömning av data från en Snowflake databas.

Förstå Snowflake strömningskälla

The Snowflake direktuppspelningskälla fungerar genom att data läses in med jämna mellanrum genom att en SQL-fråga körs och en utdatapost skapas för varje rad i den resulterande uppsättningen.

Genom att Kafka Connect, Snowflake direktuppspelningskälla spårar den senaste posten som tas emot från varje tabell, så att den kan börja på rätt plats för nästa iteration. Källan använder den här funktionen för att filtrera data och bara hämta uppdaterade rader från en tabell i varje iteration.

Förutsättningar

I följande avsnitt beskrivs de nödvändiga stegen som måste utföras innan du kan strömma data från Snowflake databas till Experience Platform:

Samla in nödvändiga inloggningsuppgifter

För att Flow Service att ansluta till Snowflakemåste du ange följande anslutningsegenskaper:

Autentiseringsuppgifter
Beskrivning
account
Det fullständiga kontonamnet som är kopplat till ditt Snowflake konto. En fullständigt kvalificerad Snowflake kontonamnet innehåller ditt kontonamn, region och molnplattform. Exempel, cj12345.east-us-2.azure. Mer information om kontonamn finns i [Snowflake document on account identifiers] (https://docs.snowflake.com/en/user-guide/admin-account-identifier.html).
warehouse
The Snowflake dist.lager hanterar frågekörningsprocessen för programmet. Varje Snowflake lagerstället är oberoende av varandra och måste nås individuellt när data överförs till plattformen.
database
The Snowflake databasen innehåller de data som du vill ta med plattformen.
username
Användarnamnet för Snowflake konto.
password
Lösenordet för Snowflake användarkonto.
role
(Valfritt) En anpassad definierad roll som kan anges för en användare för en viss anslutning. Om det inte anges används standardvärdet public.
connectionSpec.id
Anslutningsspecifikationen returnerar en källas kopplingsegenskaper, inklusive autentiseringsspecifikationer för att skapa bas- och källanslutningarna. Anslutningsspecifikations-ID för Snowflake är 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Mer information om autentisering finns i [Snowflake dokument] (https://docs.snowflake.com/en/user-guide/key-pair-auth.html).

Konfigurera rollinställningar configure-role-settings

Du måste konfigurera behörigheter för en roll, även om den allmänna standardrollen har tilldelats, så att källanslutningen kan komma åt den relevanta rollen Snowflake databas, schema och tabell. De olika behörigheterna för olika Snowflake Enheter är som följer:

Snowflake enhet
Kräv rollprivilegium
Lagerställe
ANVÄNDA
Databas
ANVÄNDNING
Schema
ANVÄNDNING
Tabell
MARKERA
NOTE
Automatiskt återupptagande och automatiskt uppehåll måste vara aktiverat i den avancerade inställningskonfigurationen för ditt lagerställe.

Mer information om roll- och behörighetshantering finns i [Snowflake API-referens] (https://docs.snowflake.com/en/sql-reference/sql/grant-privilege).

Begränsningar och vanliga frågor limitations-and-frequently-asked-questions

  • Datagenomströmningen för Snowflake källan är 2 000 poster per sekund.

  • Priset kan variera beroende på hur lång tid ett lagerställe är aktivt och storleken på lagerstället. För Snowflake källintegration, den minsta storleken, det x-lilla lagret är tillräckligt. Det rekommenderas att du aktiverar automatisk uppehåll så att lagerstället kan göra uppehåll när det inte används.

  • The Snowflake hämtar nya data var 10:e sekund från databasen.

  • Konfigurationsalternativ:

    • Du kan aktivera en backfill boolesk flagga för Snowflake när du skapar en källanslutning.

      • Om backfill är true anges värdet för timestamp.initial till 0. Detta innebär att data med en tidsstämpelkolumn som är större än 0 epok-tid hämtas.
      • Om backfill är inställd på false anges värdet för timestamp.initial till -1. Detta innebär att data med en tidsstämpelkolumn som är större än den aktuella tiden (den tid då källan börjar inhämta) hämtas.

    • Tidsstämpelkolumnen ska formateras som typ: TIMESTAMP_LTZ eller TIMESTAMP_NTZ. Om tidsstämpelkolumnen är inställd på TIMESTAMP_NTZ, ska motsvarande tidszon som värdena lagras i skickas via timezoneValue parameter. Om det inte anges används UTC som standard.

      • TIMESTAMP_TZ kan inte användas i en tidsstämpelkolumn eller i en mappning.

Nästa steg

I följande självstudiekurs beskrivs hur du ansluter Snowflake direktuppspelningskälla till Experience Platform med API:

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089