[Ultimate]{class="badge positive"}
Snowflake source de diffusion en continu
-
La source de diffusion en continu Snowflake est disponible dans l’API pour les utilisateurs qui ont acheté Real-Time CDP Ultimate.
-
Vous pouvez désormais utiliser la source de diffusion en continu Snowflake lors de l’exécution de Adobe Experience Platform sur Amazon Web Services (AWS). Un Experience Platform s’exécutant sur AWS est actuellement disponible pour un nombre limité de clients. Pour en savoir plus sur l’infrastructure Experience Platform prise en charge, consultez la présentation multi-cloud de Experience Platform.
Adobe Experience Platform permet d’ingérer des données à partir de sources externes tout en vous offrant la possibilité de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide des services de Platform. Vous pouvez ingérer des données provenant de diverses sources telles que les applications Adobe, le stockage dans le cloud, les bases de données, etc.
Experience Platform prend en charge la diffusion en continu de données à partir d’une base de données Snowflake.
Présentation de la source de diffusion en continu Snowflake
La source de diffusion en continu Snowflake fonctionne en chargeant les données en exécutant régulièrement une requête SQL et en créant un enregistrement de sortie pour chaque ligne du jeu résultant.
En utilisant Kafka Connect, la source de diffusion en continu Snowflake suit le dernier enregistrement qu’elle reçoit de chaque table, afin qu’elle puisse commencer à l’emplacement approprié pour l’itération suivante. La source utilise cette fonctionnalité pour filtrer les données et obtenir uniquement les lignes mises à jour d’un tableau à chaque itération.
Conditions préalables
La section suivante décrit les étapes préalables à suivre avant de pouvoir diffuser des données de votre base de données Snowflake vers l’Experience Platform :
Mise à jour de la liste autorisée d’adresses IP
Une liste d’adresses IP doit être ajoutée à une liste autorisée avant d’utiliser les connecteurs source. Si vous n’ajoutez pas vos adresses IP spécifiques à une région à votre liste autorisée, des erreurs ou une absence de performances peuvent se produire lors de l’utilisation de sources. Voir la page Liste autorisée d’adresses IP pour plus d’informations.
La documentation ci-dessous fournit des informations sur la connexion d’Amazon Redshift à Platform à l’aide d’API ou de l’interface utilisateur :
Collecter les informations d’identification requises
Pour que Flow Service puissiez vous connecter à Snowflake, vous devez fournir les propriétés de connexion suivantes :
accountL’identifiant complet du compte (nom du compte ou localisateur du compte) de votre compte Snowflake suivi du suffixe snowflakecomputing.com. L’identifiant de compte peut avoir différents formats :
- {ORG_NAME}-{ACCOUNT_NAME}.snowflakecomputing.com (par exemple
acme-abc12345.snowflakecomputing.com) - {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.snowflakecomputing.com (par exemple
acme12345.ap-southeast-1.snowflakecomputing.com) - {ACCOUNT_LOCATOR}.{CLOUD_REGION_ID}.{CLOUD}.snowflakecomputing.com (par exemple
acme12345.east-us-2.azure.snowflakecomputing.com)
Pour plus d’informations, consultez le Snowflake document on account identifiers.
warehousedatabaseusernamepasswordrolepublic par défaut.connectionSpec.id51ae16c2-bdad-42fd-9fce-8d5dfddaf140.Configurer les paramètres de rôle configure-role-settings
Vous devez configurer des privilèges sur un rôle, même si le rôle public par défaut est affecté, pour permettre à votre connexion source d’accéder à la base de données, au schéma et à la table Snowflake appropriés. Les différents privilèges pour différentes entités Snowflake sont les suivants :
Pour plus d’informations sur la gestion des rôles et des privilèges, consultez la Snowflake référence de l’API.
Restrictions et questions fréquentes limitations-and-frequently-asked-questions
-
Le débit de données de la source Snowflake est de 2 000 enregistrements par seconde.
-
Le prix peut varier en fonction de la durée d'activité d'un entrepôt et de la taille de l'entrepôt. Pour l’intégration de la source Snowflake, la plus petite taille, x-petit entrepôt est suffisante. Il est suggéré d'activer la suspension automatique afin que l'entrepôt puisse être suspendu seul lorsqu'il n'est pas utilisé.
-
La source Snowflake interroge la base de données pour obtenir de nouvelles données toutes les 10 secondes.
-
Options de configuration :
-
Vous pouvez activer un indicateur booléen
backfillpour votre source de Snowflake lors de la création d’une connexion source.- Si le renvoi est défini sur true, la valeur de timestamp.initial est définie sur 0. Cela signifie que les données avec une colonne d’horodatage supérieure à 0 heure d’époque sont récupérées.
- Si le renvoi est défini sur false, la valeur de timestamp.initial est définie sur -1. Cela signifie que les données avec une colonne d’horodatage supérieure à l’heure actuelle (heure à laquelle la source commence l’ingestion) sont récupérées.
-
La colonne d’horodatage doit être au format de type :
TIMESTAMP_LTZouTIMESTAMP_NTZ. Si la colonne timestamp est définie surTIMESTAMP_NTZ, le fuseau horaire correspondant dans lequel les valeurs sont stockées doit être transmis via le paramètretimezoneValue. Si elle n’est pas fournie, la valeur est définie par défaut sur UTC.TIMESTAMP_TZne peut pas être utilisé comme colonne d’horodatage ou dans un mappage.
-
Étapes suivantes
Le tutoriel suivant décrit les étapes à suivre pour connecter votre source de diffusion en continu Snowflake à Experience Platform à l’aide de l’API :