DokumentationExperience PlatformAnvändarhandbok om Source Connectors

[Ultimate]{class="badge positive"}

Snowflake direktuppspelningskälla

Last update: Tue Sep 24 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Ämnen:

Skapat för:

  • Utvecklare
IMPORTANT
Direktuppspelningskällan Snowflake är tillgänglig i API:t för användare som har köpt Real-time Customer Data Platform Ultimate.

Med Adobe Experience Platform kan data hämtas från externa källor samtidigt som du kan strukturera, märka och förbättra inkommande data med hjälp av plattformstjänster. Du kan importera data från en mängd olika källor, till exempel Adobe-program, molnbaserad lagring, databaser och många andra.

Experience Platform stöder direktuppspelning av data från en Snowflake-databas.

Förstå den strömmande källan Snowflake

Strömmande Snowflake-källa fungerar genom att data läses in genom att en SQL-fråga körs regelbundet och en utdatapost skapas för varje rad i den resulterande uppsättningen.

Genom att använda Kafka Connect spårar den Snowflake-direktuppspelningskällan den senaste posten som den tar emot från varje tabell, så att den kan börja på rätt plats för nästa iteration. Källan använder den här funktionen för att filtrera data och bara hämta uppdaterade rader från en tabell i varje iteration.

Förhandskrav

I följande avsnitt beskrivs de nödvändiga stegen som måste utföras innan du kan strömma data från din Snowflake-databas till Experience Platform:

Uppdatera din IP-adress tillåtelselista

En lista med IP-adresser måste läggas till tillåtelselista innan du kan arbeta med källanslutningar. Om du inte lägger till dina regionspecifika IP-adresser i tillåtelselista kan det leda till fel eller sämre prestanda när du använder källor. Mer information finns på sidan IP-adress tillåtelselista.

Dokumentationen nedan innehåller information om hur du ansluter Amazon Redshift till plattformen med API:er eller användargränssnittet:

Samla in nödvändiga inloggningsuppgifter

För att Flow Service ska kunna ansluta till Snowflake måste du ange följande anslutningsegenskaper:

Autentiseringsuppgifter
Beskrivning
account

Fullständig kontoidentifierare (kontonamn eller kontopositionerare) för ditt Snowflake-konto har lagts till med suffixet snowflakecomputing.com. Kontots identifierare kan ha olika format:

  • {ORG_NAME}-{ACCOUNT_NAME}.snowflakecomputing.com (t.ex. acme-abc12345.snowflakecomputing.com)
  • {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.snowflakecomputing.com (t.ex. acme12345.ap-southeast-1.snowflakecomputing.com)
  • {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.{CLOUD}.snowflakecomputing.com (t.ex. acme12345.east-us-2.azure.snowflakecomputing.com)

Mer information finns i Snowflake document on account identifiers.

warehouse
Lagerstället Snowflake hanterar frågekörningsprocessen för programmet. Varje Snowflake-lagerställe är oberoende av varandra och måste nås individuellt när data överförs till plattformen.
database
Databasen Snowflake innehåller de data som du vill ta med plattformen.
username
Användarnamnet för kontot Snowflake.
password
Lösenordet för användarkontot Snowflake.
role
(Valfritt) En anpassad definierad roll som kan anges för en användare för en viss anslutning. Om det inte anges används standardvärdet public.
connectionSpec.id
Anslutningsspecifikationen returnerar en källas kopplingsegenskaper, inklusive autentiseringsspecifikationer för att skapa bas- och källanslutningarna. Anslutningsspecifikations-ID för Snowflake är 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Konfigurera rollinställningar configure-role-settings

Du måste konfigurera behörigheter för en roll, även om den allmänna standardrollen har tilldelats, så att källanslutningen kan komma åt den relevanta Snowflake-databasen, det aktuella -schemat och den aktuella tabellen. De olika behörigheterna för olika Snowflake-entiteter är följande:

Snowflake-entitet
Kräv rollprivilegium
Lagerställe
ANVÄNDA
Databas
ANVÄNDNING
Schema
ANVÄNDNING
Tabell
MARKERA
NOTE
Automatiskt återupptagande och automatiskt uppehåll måste vara aktiverat i den avancerade inställningskonfigurationen för ditt lagerställe.

Mer information om roll- och behörighetshantering finns i Snowflake API-referensen.

Begränsningar och vanliga frågor limitations-and-frequently-asked-questions

  • Datagenomströmningen för källan Snowflake är 2 000 poster per sekund.

  • Priset kan variera beroende på hur lång tid ett lagerställe är aktivt och storleken på lagerstället. För Snowflake-källintegreringen räcker det med det minsta lagret med x-small. Det rekommenderas att du aktiverar automatisk uppehåll så att lagerstället kan göra uppehåll när det inte används.

  • Snowflake-källan avsöker databasen efter nya data var 10:e sekund.

  • Konfigurationsalternativ:

    • Du kan aktivera en backfill boolesk flagga för Snowflake-källan när du skapar en källanslutning.

      • Om backfill är true anges värdet för timestamp.initial till 0. Detta innebär att data med en tidsstämpelkolumn som är större än 0 epok-tid hämtas.
      • Om backfill är inställd på false anges värdet för timestamp.initial till -1. Detta innebär att data med en tidsstämpelkolumn som är större än den aktuella tiden (den tid då källan börjar inhämta) hämtas.

    • Tidsstämpelkolumnen ska formateras som typen: TIMESTAMP_LTZ eller TIMESTAMP_NTZ. Om tidsstämpelkolumnen är inställd på TIMESTAMP_NTZ, ska motsvarande tidszon som värdena lagras i skickas via parametern timezoneValue. Om det inte anges används UTC som standard.

      • TIMESTAMP_TZ kan inte användas som en tidsstämpelkolumn eller i en mappning.

Nästa steg

I följande självstudie beskrivs hur du ansluter Snowflake-strömningskällan till Experience Platform med API

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089