[Ultimate]{class="badge positive"}
Snowflake origen de flujo
-
El origen de flujo continuo Snowflake está disponible en la API para los usuarios que han adquirido Real-Time CDP Ultimate.
-
Ahora puede usar el origen de flujo continuo Snowflake al ejecutar Adobe Experience Platform en Amazon Web Service (AWS). Experience Platform que se ejecuta en AWS está disponible actualmente para un número limitado de clientes. Para obtener más información sobre la infraestructura de Experience Platform compatible, consulte la descripción general de la nube múltiple de Experience Platform.
Adobe Experience Platform permite la ingesta de datos desde fuentes externas, al tiempo que ofrece la posibilidad de estructurar, etiquetar y mejorar los datos entrantes mediante los servicios de Experience Platform. Puede introducir datos de una variedad de fuentes, como aplicaciones de Adobe, almacenamiento basado en la nube, bases de datos y muchas otras.
Experience Platform proporciona compatibilidad para la transmisión de datos desde una base de datos de Snowflake.
Explicación del origen de flujo continuo Snowflake
El origen de flujo continuo Snowflake funciona cargando datos ejecutando periódicamente una consulta SQL y creando un registro de salida para cada fila del conjunto resultante.
Utilizando Kafka Connect, el origen de flujo Snowflake realiza un seguimiento del último registro que recibe de cada tabla, de modo que pueda iniciarse en la ubicación correcta para la siguiente iteración. El origen utiliza esta funcionalidad para filtrar los datos y obtener solo las filas actualizadas de una tabla en cada iteración.
Requisitos previos
En la siguiente sección se describen los pasos necesarios que se deben seguir para poder transmitir datos de la base de datos Snowflake a Experience Platform:
LISTA DE PERMITIDOS de direcciones IP
Debe añadir direcciones IP específicas de la región a la lista de permitidos antes de conectar los orígenes a Experience Platform. Para obtener más información, lea la guía de inclusión en la lista de permitidos de direcciones IP para conectarse a Experience Platform.
La siguiente documentación proporciona información sobre cómo conectar Amazon Redshift a Experience Platform mediante API o la interfaz de usuario:
Recopilar credenciales necesarias
Para que Flow Service se conecte con Snowflake, debe proporcionar las siguientes propiedades de conexión:
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 7-row-2 | |
---|---|
Credencial | Descripción |
account |
El identificador de cuenta completo (nombre de cuenta o localizador de cuentas) de su cuenta Snowflake, anexado con el sufijo
Para obtener más información, lea Snowflake document on account identifiers. |
warehouse |
El almacén Snowflake administra el proceso de ejecución de consultas para la aplicación. Cada almacén de Snowflake es independiente entre sí y se debe acceder a él de forma individual al llevar datos a Experience Platform. |
database |
La base de datos Snowflake contiene los datos que desea obtener de Experience Platform. |
username |
El nombre de usuario de la cuenta Snowflake. |
password |
Contraseña de la cuenta de usuario Snowflake. |
role |
(Opcional) Una función personalizada que se puede proporcionar a un usuario para una conexión determinada. Si no se proporciona, el valor predeterminado es public . |
connectionSpec.id |
La especificación de conexión devuelve las propiedades del conector de origen, incluidas las especificaciones de autenticación relacionadas con la creación de las conexiones base y origen. El id. de especificación de conexión para Snowflake es 51ae16c2-bdad-42fd-9fce-8d5dfddaf140 . |
Para utilizar la autenticación de par clave, debe generar un par clave RSA de 2048 bits y, a continuación, proporcionar los siguientes valores al crear una cuenta para el origen Snowflake.
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2 6-row-2 | |
---|---|
Credencial | Descripción |
account |
Un nombre de cuenta identifica de forma exclusiva una cuenta de su organización. En este caso, debe identificar una cuenta de forma exclusiva en diferentes organizaciones de Snowflake. Para ello, debe anteponer el nombre de su organización al nombre de la cuenta. Por ejemplo: orgname-account_name . Lee la guía sobre cómo recuperar tu Snowflake identificador de cuenta para obtener instrucciones adicionales. Para obtener más información, consulte la Snowflake documentación. |
username |
El nombre de usuario de su cuenta de Snowflake. |
privateKey |
La clave privada codificada Base64- de su cuenta de Snowflake. Puede generar claves privadas cifradas o no cifradas. Si utiliza una clave privada cifrada, también debe proporcionar una frase de contraseña de clave privada al autenticarse con Experience Platform. Lee la guía sobre recuperar tu Snowflake clave privada para obtener más información. |
passphrase |
La frase de contraseña es una capa adicional de seguridad que debe utilizar al autenticarse con una clave privada cifrada. No es necesario que proporcione la frase de contraseña si utiliza una clave privada no cifrada. |
database |
La base de datos Snowflake que contiene los datos que desea introducir en Experience Platform. |
warehouse |
El almacén Snowflake administra el proceso de ejecución de consultas para la aplicación. Cada almacén de Snowflake es independiente entre sí y se debe acceder a él de forma individual al llevar datos a Experience Platform. |
Para obtener más información sobre estos valores, consulte la Snowflake guía de autenticación de par clave.
Recuperación del identificador de cuenta retrieve-your-account-identifier
Para autenticar su instancia de Snowflake con Experience Platform, debe obtener su identificador de cuenta del panel de interfaz de usuario de Snowflake.
Siga estos pasos para encontrar el identificador de su cuenta:
- Vaya a su cuenta en Snowflake panel de interfaz de usuario de la aplicación.
- En el panel de navegación izquierdo, seleccione Accounts, seguido de Active Accounts en el encabezado.
- A continuación, seleccione el icono de información y, luego, seleccione y copie el nombre de dominio de la dirección URL actual.
Recuperación de la clave privada retrieve-your-private-key
Si planea usar la autenticación de par de claves para su conexión Snowflake, debe generar una clave privada antes de conectarse a Experience Platform.
Para generar su clave privada Snowflake cifrada, ejecute el siguiente comando en el terminal:
code language-shell |
---|
|
Si lo consigue, debería recibir su clave privada en formato PEM.
code language-shell |
---|
|
Para generar la clave privada Snowflake sin cifrar, ejecute el siguiente comando en el terminal:
code language-shell |
---|
|
Si lo consigue, debería recibir su clave privada en formato PEM.
code language-shell |
---|
|
Después de generar la clave privada, codifíquela directamente en Base64 sin realizar cambios en el formato o el contenido. Antes de codificar, asegúrese de que no haya espacios adicionales ni líneas en blanco (incluidas las líneas nuevas finales) al final de la clave privada.
Comprobar configuraciones
Para poder crear una conexión de origen para los datos de Snowflake, también debe asegurarse de que se cumplan las siguientes configuraciones:
- El almacén predeterminado asignado a un usuario determinado debe ser el mismo que el almacén introducido al autenticarse en Experience Platform.
- La función predeterminada asignada a un usuario determinado debe tener acceso a la misma base de datos que especificó al autenticarse en Experience Platform.
Para verificar su rol y almacén:
- Seleccione Admin en el panel de navegación izquierdo y luego seleccione Users & Roles.
- Seleccione el usuario adecuado y, a continuación, seleccione los puntos suspensivos (
...
) en la esquina superior derecha. - En la ventana Edit user que aparece, vaya a Default Role para ver la función asociada con el usuario determinado.
- En la misma ventana, vaya a Default Warehouse para ver el almacén asociado con el usuario determinado.
Una vez codificada correctamente, puede utilizar esa clave privada codificada con Base64 en Experience Platform para autenticar su cuenta de Snowflake.
Configurar las opciones de rol configure-role-settings
Debe configurar privilegios en un rol, incluso si se asigna el rol público predeterminado, para permitir que la conexión de origen acceda a la base de datos, esquema y tabla Snowflake correspondiente. Los distintos privilegios para diferentes entidades de Snowflake son los siguientes:
Para obtener más información sobre la administración de roles y privilegios, consulte la Snowflake referencia de API.
Limitaciones y preguntas más frecuentes limitations-and-frequently-asked-questions
-
El rendimiento de datos para el origen de Snowflake es de 2000 registros por segundo.
-
Los precios pueden variar según la cantidad de tiempo que un almacén esté activo y el tamaño del almacén. Para la integración de origen de Snowflake, el almacén x-small de menor tamaño es suficiente. Se recomienda habilitar la suspensión automática para que el almacén pueda suspender por sí solo cuando no esté en uso.
-
El origen Snowflake sondea la base de datos en busca de nuevos datos cada 10 segundos.
-
Opciones de Configuration:
-
Puede habilitar un indicador booleano
backfill
para su origen Snowflake al crear una conexión de origen.- Si el relleno se establece en true, el valor de timestamp.initial se establece en 0. Esto significa que se recuperan los datos con una columna de marca de tiempo mayor que 0 epoch time.
- Si el relleno se establece en False, el valor de timestamp.initial se establece en -1. Esto significa que se recuperan datos con una columna de marca de tiempo mayor que la hora actual (la hora en la que el origen comienza a ingerir).
-
La columna de marca de tiempo debe tener el formato de tipo:
TIMESTAMP_LTZ
oTIMESTAMP_NTZ
. Si la columna de marca de tiempo se establece enTIMESTAMP_NTZ
, la zona horaria correspondiente en la que se almacenan los valores se debe pasar a través del parámetrotimezoneValue
. Si no se proporciona, el valor predeterminado será UTC.TIMESTAMP_TZ
no se puede usar en una columna de marca de tiempo o en una asignación.
-
Próximos pasos
El siguiente tutorial proporciona pasos sobre cómo conectar el origen de flujo continuo de Snowflake a Experience Platform mediante la API: