Snowflake origen de flujo

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Temas:

Creado para:

Desarrollador

IMPORTANT

El origen de flujo continuo Snowflake está en fase beta. Lea Resumen de fuentes para obtener más información sobre cómo usar fuentes con etiquetas beta.
El origen de flujo continuo Snowflake está disponible en la API para los usuarios que han adquirido Real-time Customer Data Platform Ultimate.

Adobe Experience Platform permite la ingesta de datos desde fuentes externas, al tiempo que le ofrece la capacidad de estructurar, etiquetar y mejorar los datos entrantes mediante los servicios de Platform. Puede introducir datos de una variedad de fuentes, como aplicaciones de Adobe, almacenamiento basado en la nube, bases de datos y muchas otras.

El Experience Platform es compatible con la transmisión de datos desde una base de datos Snowflake.

Explicación del origen de flujo continuo Snowflake

El origen de flujo continuo Snowflake funciona cargando datos ejecutando periódicamente una consulta SQL y creando un registro de salida para cada fila del conjunto resultante.

Utilizando Kafka Connect, el origen de flujo Snowflake realiza un seguimiento del último registro que recibe de cada tabla, de modo que pueda iniciarse en la ubicación correcta para la siguiente iteración. El origen utiliza esta funcionalidad para filtrar los datos y obtener solo las filas actualizadas de una tabla en cada iteración.

Requisitos previos

En la siguiente sección se describen los pasos necesarios que se deben seguir para poder transmitir datos de la base de datos Snowflake al Experience Platform:

Recopilar credenciales necesarias

Para que Flow Service se conecte con Snowflake, debe proporcionar las siguientes propiedades de conexión:

Credencial

Descripción

account

El nombre completo de la cuenta asociada con su cuenta de Snowflake. Un nombre de cuenta Snowflake completo incluye su nombre de cuenta, región y plataforma en la nube. Por ejemplo, cj12345.east-us-2.azure. Para obtener más información sobre los nombres de cuenta, consulte esta [Snowflake document on account identifiers] (https://docs.snowflake.com/en/user-guide/admin-account-identifier.html).

warehouse

El almacén Snowflake administra el proceso de ejecución de consultas para la aplicación. Cada almacén de Snowflake es independiente entre sí y se debe acceder a él de forma individual al llevar datos a Platform.

database

La base de datos Snowflake contiene los datos que desea obtener de Platform.

username

El nombre de usuario de la cuenta Snowflake.

password

Contraseña de la cuenta de usuario Snowflake.

role

(Opcional) Una función personalizada que se puede proporcionar a un usuario para una conexión determinada. Si no se proporciona, el valor predeterminado es public.

connectionSpec.id

La especificación de conexión devuelve las propiedades del conector de origen, incluidas las especificaciones de autenticación relacionadas con la creación de las conexiones base y origen. El id. de especificación de conexión para Snowflake es 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Configurar las opciones de rol configure-role-settings

Debe configurar privilegios en un rol, incluso si se asigna el rol público predeterminado, para permitir que la conexión de origen acceda a la base de datos, esquema y tabla Snowflake correspondiente. Los distintos privilegios para diferentes entidades de Snowflake son los siguientes:

Snowflake entidad

Requerir privilegio de rol

Almacén

FUNCIONAMIENTO, USO

Base de datos

USO

Esquema

USO

Tabla

SELECT

NOTE

La reanudación automática y la suspensión automática deben habilitarse en la configuración avanzada del almacén.

Para obtener más información sobre la administración de roles y privilegios, consulte la [Snowflake referencia de API] (https://docs.snowflake.com/en/sql-reference/sql/grant-privilege).

Limitaciones y preguntas más frecuentes limitations-and-frequently-asked-questions

El rendimiento de datos para el origen de Snowflake es de 2000 registros por segundo.
Los precios pueden variar según la cantidad de tiempo que un almacén esté activo y el tamaño del almacén. Para la integración de origen de Snowflake, el almacén x-small de menor tamaño es suficiente. Se recomienda habilitar la suspensión automática para que el almacén pueda suspender por sí solo cuando no esté en uso.
El origen Snowflake sondea la base de datos en busca de nuevos datos cada 10 segundos.
Opciones de Configuration:
- Puede habilitar un indicador booleano backfill para su origen Snowflake al crear una conexión de origen.
  - Si el relleno se establece en true, el valor de timestamp.initial se establece en 0. Esto significa que se recuperan los datos con una columna de marca de tiempo mayor que 0 epoch time.
  - Si el relleno se establece en False, el valor de timestamp.initial se establece en -1. Esto significa que se recuperan datos con una columna de marca de tiempo mayor que la hora actual (la hora en la que el origen comienza a ingerir).
- La columna de marca de tiempo debe tener el formato de tipo: TIMESTAMP_LTZ o TIMESTAMP_NTZ. Si la columna de marca de tiempo se establece en TIMESTAMP_NTZ, la zona horaria correspondiente en la que se almacenan los valores se debe pasar a través del parámetro timezoneValue. Si no se proporciona, el valor predeterminado será UTC.
  - TIMESTAMP_TZ no se puede usar en una columna de marca de tiempo o en una asignación.

Pasos siguientes

El siguiente tutorial proporciona pasos sobre cómo conectar el origen de flujo de Snowflake al Experience Platform mediante la API:

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089