DocumentaciónExperience PlatformGuía de conectores de origen

[Beta]{class="badge informative"} [Ultimate]{class="badge positive"}

Snowflake fuente de transmisión

Last update: Tue Mar 19 2024 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Temas:

Creado para:

  • Desarrollador
IMPORTANT
  • El Snowflake la fuente de streaming está en versión beta. Lea el Resumen de orígenes para obtener más información sobre el uso de fuentes etiquetadas como beta.
  • El Snowflake La fuente de streaming está disponible en la API para los usuarios que han adquirido Real-time Customer Data Platform Ultimate.

Adobe Experience Platform permite la ingesta de datos desde fuentes externas, al tiempo que le ofrece la capacidad de estructurar, etiquetar y mejorar los datos entrantes mediante los servicios de Platform. Puede introducir datos de una variedad de fuentes, como aplicaciones de Adobe, almacenamiento basado en la nube, bases de datos y muchas otras.

El Experience Platform de proporciona asistencia para la transmisión de datos desde un Snowflake base de datos.

Explicación de la Snowflake fuente de transmisión

El Snowflake El origen de flujo continuo funciona teniendo datos cargados ejecutando periódicamente una consulta SQL y creando un registro de salida para cada fila en el conjunto resultante.

Mediante Kafka Connect, el Snowflake streaming source realiza el seguimiento del último registro que recibe de cada tabla, de modo que pueda comenzar en la ubicación correcta para la siguiente iteración. El origen utiliza esta funcionalidad para filtrar los datos y obtener solo las filas actualizadas de una tabla en cada iteración.

Requisitos previos

En la siguiente sección se describen los pasos necesarios que deben seguirse para poder transmitir datos desde la Snowflake base de datos a Experience Platform:

Recopilar credenciales necesarias

Para que Flow Service para conectar con Snowflake, debe proporcionar las siguientes propiedades de conexión:

Credencial
Descripción
account
El nombre completo de la cuenta asociado con su Snowflake cuenta. Un completo Snowflake nombre de cuenta incluye su nombre de cuenta, región y cloud platform. Por ejemplo, cj12345.east-us-2.azure. Para obtener más información sobre los nombres de cuenta, consulte esta sección [Snowflake document on account identifiers] (https://docs.snowflake.com/en/user-guide/admin-account-identifier.html).
warehouse
El Snowflake data warehouse administra el proceso de ejecución de consultas de la aplicación. Cada Snowflake El almacén es independiente entre sí y debe accederse a él de forma individual al llevar los datos a Platform.
database
El Snowflake La base de datos de contiene los datos que desea traer a Platform.
username
El nombre de usuario de Snowflake cuenta.
password
La contraseña para el Snowflake cuenta de usuario.
role
(Opcional) Una función personalizada que se puede proporcionar a un usuario para una conexión determinada. Si no se proporciona, el valor predeterminado es public.
connectionSpec.id
La especificación de conexión devuelve las propiedades del conector de origen, incluidas las especificaciones de autenticación relacionadas con la creación de las conexiones base y origen. Identificador de especificación de conexión para Snowflake es 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Configurar las opciones de rol configure-role-settings

Debe configurar privilegios en un rol, incluso si se asigna el rol público predeterminado, para permitir que la conexión de origen acceda al correspondiente Snowflake base de datos, esquema y tabla. Los distintos privilegios para diferentes Snowflake entidades es la siguiente:

Snowflake entidad
Requerir privilegio de rol
Almacén
FUNCIONAMIENTO, USO
Base de datos
USO
Esquema
USO
Tabla
SELECT
NOTE
La reanudación automática y la suspensión automática deben habilitarse en la configuración avanzada del almacén.

Para obtener más información sobre la administración de roles y privilegios, consulte la [Snowflake Referencia de API] (https://docs.snowflake.com/en/sql-reference/sql/grant-privilege).

Limitaciones y preguntas más frecuentes limitations-and-frequently-asked-questions

  • El rendimiento de los datos para Snowflake fuente: 2000 registros por segundo.

  • Los precios pueden variar según la cantidad de tiempo que un almacén esté activo y el tamaño del almacén. Para el Snowflake integración fuente, el tamaño más pequeño, x-pequeño almacén es suficiente. Se recomienda habilitar la suspensión automática para que el almacén pueda suspender por sí solo cuando no esté en uso.

  • El Snowflake El origen sondea la base de datos en busca de nuevos datos cada 10 segundos.

  • Opciones de Configuration:

    • Puede activar un backfill indicador booleano para su Snowflake origen al crear una conexión de origen.

      • Si el relleno se establece en true, el valor de timestamp.initial se establece en 0. Esto significa que se recuperan los datos con una columna de marca de tiempo mayor que 0 epoch time.
      • Si el relleno se establece en False, el valor de timestamp.initial se establece en -1. Esto significa que se recuperan datos con una columna de marca de tiempo mayor que la hora actual (la hora en la que el origen comienza a ingerir).

    • La columna de marca de tiempo debe tener el formato tipo: TIMESTAMP_LTZ o TIMESTAMP_NTZ. Si la columna de marca de tiempo se establece en TIMESTAMP_NTZ, la zona horaria correspondiente en la que se almacenan los valores debe pasarse a través de timezoneValue parámetro. Si no se proporciona, el valor predeterminado será UTC.

      • TIMESTAMP_TZ no se puede utilizar en una columna de marca de tiempo o en una asignación.

Pasos siguientes

El siguiente tutorial proporciona pasos sobre cómo conectar su Snowflake fuente de streaming al Experience Platform mediante la API:

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089