Snowflake streamingbron

Last update: Tue Mar 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Onderwerpen:

Gemaakt voor:

Ontwikkelaar

IMPORTANT

De Snowflake streamingbron is in bèta. Lees de Overzicht van bronnen voor meer informatie over het gebruik van bronnen met een bètalabel.
De Snowflake De streamingbron is in de API beschikbaar voor gebruikers die Real-time Customer Data Platform Ultimate hebben aangeschaft.

Adobe Experience Platform staat toe dat gegevens uit externe bronnen worden opgenomen terwijl u de mogelijkheid krijgt om inkomende gegevens te structureren, te labelen en te verbeteren met behulp van de platformservices. U kunt gegevens uit diverse bronnen invoeren, zoals toepassingen voor Adobe, opslag in de cloud, databases en vele andere.

Experience Platform biedt ondersteuning voor het streamen van gegevens van een Snowflake database.

De Snowflake streamingbron

De Snowflake het stromen bron werkt door gegevens te hebben die door een SQL vraag periodiek worden geladen uit te voeren en een outputverslag voor elke rij in de resulterende reeks te creëren.

Met Kafka Connectde Snowflake streamingbron volgt de meest recente record die de bron van elke tabel ontvangt, zodat deze op de juiste locatie voor de volgende herhaling kan beginnen. De bron gebruikt deze functionaliteit om gegevens te filteren en slechts de bijgewerkte rijen van een lijst op elke herhaling te krijgen.

Vereisten

In de volgende sectie worden de vereiste stappen beschreven die moeten worden uitgevoerd voordat u gegevens kunt streamen vanuit uw Snowflake database naar Experience Platform:

Vereiste referenties verzamelen

Om Flow Service om te verbinden met Snowflakemoet u de volgende eigenschappen voor de verbinding opgeven:

Credentials

Beschrijving

account

De volledige accountnaam die aan uw Snowflake account. Volledig gekwalificeerd Snowflake de naam van uw account bevat uw accountnaam, regio en cloudplatform. Bijvoorbeeld: cj12345.east-us-2.azure. Raadpleeg deze voor meer informatie over accountnamen [Snowflake document on account identifiers] (https://docs.snowflake.com/en/user-guide/admin-account-identifier.html).

warehouse

De Snowflake Het pakhuis beheert het proces van de vraaguitvoering voor de toepassing. Elk Snowflake Het pakhuis is onafhankelijk van elkaar en moet individueel worden betreden wanneer het brengen van gegevens naar Platform.

database

De Snowflake Het gegevensbestand bevat de gegevens u het Platform wilt brengen.

username

De gebruikersnaam voor de Snowflake account.

password

Het wachtwoord voor de Snowflake gebruikersaccount.

role

(Optioneel) Een op maat gedefinieerde rol die voor een gebruiker, voor een bepaalde verbinding kan worden opgegeven. Indien niet opgegeven, wordt deze waarde standaard ingesteld op public.

connectionSpec.id

De verbindingsspecificatie keert de schakelaareigenschappen van een bron, met inbegrip van authentificatiespecificaties met betrekking tot het creëren van de basis en bronverbindingen terug. De verbindingsspecificatie-id voor Snowflake is 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Rolinstellingen configureren configure-role-settings

U moet voorrechten aan een rol vormen, zelfs als de standaard openbare rol wordt toegewezen, om uw bronverbinding toe te staan om tot relevante toegang te hebben Snowflake database, schema en tabel. De verschillende rechten voor verschillende Snowflake entiteiten:

Snowflake entiteit

Rolvoorrecht vereisen

Warehouse

WERKEN, GEBRUIKEN

Database

GEBRUIK

Schema

GEBRUIK

Tabel

SELECT

NOTE

De auto-hervat en auto-onderbreekt moeten in de geavanceerde montagesconfiguratie van uw pakhuis worden toegelaten.

Voor meer informatie over rol en voorrechtbeheer raadpleegt u de [Snowflake API-referentie] (https://docs.snowflake.com/en/sql-reference/sql/grant-privilege).

Beperkingen en veelgestelde vragen limitations-and-frequently-asked-questions

De gegevensdoorvoer voor de Snowflake bron is 2000 records per seconde.
De prijs kan afhankelijk van de hoeveelheid tijd variëren dat een pakhuis actief is en de grootte van het pakhuis. Voor de Snowflake bronintegratie, de kleinste grootte, x-kleine pakhuis is voldoende. Voorgesteld wordt automatische schorsing in te schakelen, zodat het entrepot in zijn eentje kan worden stilgelegd wanneer het niet in gebruik is.
De Snowflake bron opinieert het gegevensbestand voor nieuwe gegevens om de 10 seconden.
Configuratieopties:
- U kunt een backfill Booleaanse markering voor uw Snowflake bron bij het maken van een bronverbinding.
  - Als backfill is ingesteld op true, wordt de waarde voor timestamp.initial ingesteld op 0. Dit betekent dat gegevens met een tijdstempelkolom die langer is dan 0 tijdperk worden opgehaald.
  - Als backfill is ingesteld op false, wordt de waarde voor timestamp.initial ingesteld op -1. Dit betekent dat gegevens met een tijdstempelkolom die langer is dan de huidige tijd (de tijd waarin de bron begint op te nemen), worden opgehaald.
- De tijdstempelkolom moet als type worden opgemaakt: TIMESTAMP_LTZ of TIMESTAMP_NTZ. Als de tijdstempelkolom is ingesteld op TIMESTAMP_NTZ, dan moet de overeenkomstige tijdzone waarin de waarden worden opgeslagen via de timezoneValue parameter. Als deze waarde niet wordt opgegeven, wordt de standaardwaarde voor UTC gebruikt.
  - TIMESTAMP_TZ kan niet worden gebruikt in een tijdstempelkolom of in een toewijzing.

Volgende stappen

De volgende zelfstudie bevat stappen voor het tot stand brengen van een verbinding met uw Snowflake streamingbron naar Experience Platform met behulp van de API:

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089