Documentatie Experience Platform Gids voor Source Connectors

[Ultieme]{class="badge positive"}

Snowflake streamingbron

Last update: Tue Sep 24 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Onderwerpen:

Gemaakt voor:

Ontwikkelaar

IMPORTANT

De Snowflake -streamingbron is in de API beschikbaar voor gebruikers die Real-time Customer Data Platform Ultimate hebben aangeschaft.

Adobe Experience Platform staat toe dat gegevens uit externe bronnen worden opgenomen terwijl u de mogelijkheid krijgt om inkomende gegevens te structureren, te labelen en te verbeteren met behulp van de platformservices. U kunt gegevens uit diverse bronnen invoeren, zoals toepassingen voor Adobe, opslag in de cloud, databases en vele andere.

Experience Platform biedt ondersteuning voor het streamen van gegevens uit een Snowflake -database.

De Snowflake streamingbron

De Snowflake streamingbron werkt door gegevens te laten laden door periodiek een SQL-query uit te voeren en een uitvoerrecord te maken voor elke rij in de resulterende set.

Met Kafka Connect houdt de Snowflake streamingbron de meest recente record bij die van elke tabel wordt ontvangen, zodat deze op de juiste locatie voor de volgende herhaling kan beginnen. De bron gebruikt deze functionaliteit om gegevens te filteren en slechts de bijgewerkte rijen van een lijst op elke herhaling te krijgen.

Vereisten

In de volgende sectie worden de vereiste stappen beschreven die moeten worden uitgevoerd voordat u gegevens kunt streamen van uw Snowflake -database naar het Experience Platform:

Werk uw IP lijst van gewenste personen van het adres bij

Een lijst van IP adressen moet aan een lijst van gewenste personen worden toegevoegd alvorens met bronschakelaars te werken. Het niet toevoegen van uw regio-specifieke IP adressen aan uw lijst van gewenste personen kan tot fouten of niet-prestaties leiden wanneer het gebruiken van bronnen. Zie de 🔗 pagina van de lijst van gewenste personen van het 0} IP adres {voor meer informatie.

In de onderstaande documentatie vindt u informatie over het tot stand brengen van een verbinding tussen Amazon Redshift en Platform via API's of de gebruikersinterface:

Vereiste referenties verzamelen

Flow Service kan alleen verbinding maken met Snowflake als u de volgende verbindingseigenschappen opgeeft:

Credentials

Beschrijving

account

De volledige account-id (naam van account of accountlocator) van uw Snowflake -account is toegevoegd met het achtervoegsel snowflakecomputing.com . De account-id kan verschillende indelingen hebben:

{ORG_NAME} - {ACCOUNT_NAME} .snowflakecomputing.com (b.v. acme-abc12345.snowflakecomputing.com)
{ACCOUNT_LOCATOR}.{CLOUD_REGION_ID} .snowflakecomputing.com (bijvoorbeeld acme12345.ap-southeast-1.snowflakecomputing.com)
{ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.{CLOUD} .snowflakecomputing.com (bijvoorbeeld acme12345.east-us-2.azure.snowflakecomputing.com)

Voor meer informatie, lees Snowflake document on account identifiers.

warehouse

Het Snowflake pakhuis beheert het proces van de vraaguitvoering voor de toepassing. Elk Snowflake -pakhuis is onafhankelijk van elkaar en moet afzonderlijk worden benaderd wanneer u gegevens naar Platform overbrengt.

database

De Snowflake -database bevat de gegevens die u voor het platform wilt gebruiken.

username

De gebruikersnaam voor de Snowflake -account.

password

Het wachtwoord voor de Snowflake -gebruikersaccount.

role

(Optioneel) Een op maat gedefinieerde rol die voor een gebruiker, voor een bepaalde verbinding kan worden opgegeven. Als deze waarde niet is opgegeven, wordt deze standaard ingesteld op public .

connectionSpec.id

De verbindingsspecificatie keert de schakelaareigenschappen van een bron, met inbegrip van authentificatiespecificaties met betrekking tot het creëren van de basis en bronverbindingen terug. De verbindingsspecificatie-id voor Snowflake is 51ae16c2-bdad-42fd-9fce-8d5dfddaf140 .

Rolinstellingen configureren configure-role-settings

U moet voorrechten aan een rol vormen, zelfs als de standaard openbare rol wordt toegewezen, om uw bronverbinding toe te staan om tot het relevante Snowflake gegevensbestand, schema, en lijst toegang te hebben. De verschillende rechten voor verschillende Snowflake -entiteiten zijn als volgt:

Snowflake entiteit

Rolvoorrecht vereisen

Warehouse

WERKEN, GEBRUIKEN

Database

GEBRUIK

Schema

GEBRUIK

Tabel

SELECT

NOTE

De auto-hervat en auto-onderbreekt moeten in de geavanceerde montagesconfiguratie van uw pakhuis worden toegelaten.

Voor meer informatie over rol en voorrechtbeheer, verwijs naar de Snowflake API verwijzing.

Beperkingen en veelgestelde vragen limitations-and-frequently-asked-questions

De gegevensdoorvoer voor de Snowflake -bron is 2000 records per seconde.
De prijs kan afhankelijk van de hoeveelheid tijd variëren dat een pakhuis actief is en de grootte van het pakhuis. Voor de Snowflake bronintegratie, is de kleinste grootte, x-kleine pakhuis voldoende. Voorgesteld wordt automatische schorsing in te schakelen, zodat het entrepot in zijn eentje kan worden stilgelegd wanneer het niet in gebruik is.
De Snowflake -bron vraagt de database om de tien seconden om nieuwe gegevens.
Configuratieopties:
- Wanneer u een bronverbinding maakt, kunt u een backfill booleaanse markering voor uw Snowflake -bron inschakelen.
  - Als backfill is ingesteld op true, wordt de waarde voor timestamp.initial ingesteld op 0. Dit betekent dat gegevens met een tijdstempelkolom die langer is dan 0 tijdperk worden opgehaald.
  - Als backfill is ingesteld op false, wordt de waarde voor timestamp.initial ingesteld op -1. Dit betekent dat gegevens met een tijdstempelkolom die langer is dan de huidige tijd (de tijd waarin de bron begint op te nemen), worden opgehaald.
- De tijdstempelkolom moet worden opgemaakt als type: TIMESTAMP_LTZ of TIMESTAMP_NTZ . Als de tijdstempelkolom is ingesteld op TIMESTAMP_NTZ , moet de bijbehorende tijdzone waarin de waarden zijn opgeslagen, via de parameter timezoneValue worden doorgegeven. Als deze waarde niet wordt opgegeven, wordt de standaardwaarde voor UTC gebruikt.
  - TIMESTAMP_TZ kan niet worden gebruikt in een tijdstempelkolom of in een toewijzing.

Volgende stappen

De volgende zelfstudie biedt stappen voor het verbinden van uw Snowflake streamingbron met Experience Platform met behulp van de API:

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089