Fonte de transmissão Snowflake

Last update: Tue Jul 16 2024 00:00:00 GMT+0000 (Coordinated Universal Time)

Tópicos:

Criado para:

undefined

IMPORTANT

A fonte de streaming Snowflake está na versão beta. Leia a Visão geral das fontes para obter mais informações sobre o uso de fontes com rótulo beta.
A fonte de transmissão Snowflake está disponível na API para usuários que compraram o Real-time Customer Data Platform Ultimate.

O Adobe Experience Platform permite que os dados sejam assimilados de fontes externas e, ao mesmo tempo, fornece a capacidade de estruturar, rotular e aprimorar os dados recebidos usando os serviços da plataforma. Você pode assimilar dados de várias fontes, como aplicativos Adobe, armazenamento baseado em nuvem, bancos de dados e muitas outras.

O Experience Platform fornece suporte para streaming de dados de um banco de dados Snowflake.

Compreendendo a fonte de streaming Snowflake

A fonte de transmissão Snowflake funciona com dados carregados executando periodicamente uma consulta SQL e criando um registro de saída para cada linha no conjunto resultante.

Ao usar o Kafka Connect, a fonte de streaming Snowflake rastreia o registro mais recente que recebe de cada tabela, para que possa iniciar no local correto para a próxima iteração. A fonte usa essa funcionalidade para filtrar dados e obter apenas as linhas atualizadas de uma tabela em cada iteração.

Pré-requisitos

A seção a seguir descreve as etapas de pré-requisito a serem concluídas antes que você possa transmitir dados do banco de dados do Snowflake para o Experience Platform:

Coletar credenciais necessárias

Para que Flow Service se conecte a Snowflake, você deve fornecer as seguintes propriedades de conexão:

Credencial

Descrição

account

O nome completo da conta associado à sua conta do Snowflake. Um nome de conta Snowflake totalmente qualificado inclui o nome da conta, a região e a plataforma de nuvem. Por exemplo, cj12345.east-us-2.azure. Para obter mais informações sobre nomes de contas, consulte este [Snowflake document on account identifiers] (https://docs.snowflake.com/en/user-guide/admin-account-identifier.html).

warehouse

O warehouse Snowflake gerencia o processo de execução da consulta para o aplicativo. Cada warehouse Snowflake é independente um do outro e deve ser acessado individualmente ao trazer dados para a plataforma.

database

O banco de dados Snowflake contém os dados que você deseja trazer para a Plataforma.

username

O nome de usuário da conta Snowflake.

password

A senha da conta de usuário Snowflake.

role

(Opcional) Uma função definida personalizada que pode ser fornecida para um usuário, para uma determinada conexão. Se não for fornecido, o padrão será public.

connectionSpec.id

A especificação de conexão retorna as propriedades do conector de uma origem, incluindo especificações de autenticação relacionadas à criação das conexões de base e de origem. A ID da especificação de conexão para Snowflake é 51ae16c2-bdad-42fd-9fce-8d5dfddaf140.

Definir configurações de função configure-role-settings

Você deve configurar privilégios para uma função, mesmo que a função pública padrão seja atribuída, para permitir que sua conexão de origem acesse o banco de dados, o esquema e a tabela Snowflake relevantes. Os vários privilégios para diferentes entidades Snowflake são os seguintes:

Entidade Snowflake

Exigir privilégio de função

Warehouse

OPERAR, USO

Banco de dados

USO

Esquema

USO

Tabela

SELECIONE

NOTE

O reinício automático e a suspensão automática devem estar ativados na configuração avançada do seu warehouse.

Para obter mais informações sobre o gerenciamento de funções e privilégios, consulte a [Snowflake Referência da API] (https://docs.snowflake.com/en/sql-reference/sql/grant-privilege).

Limitações e perguntas frequentes limitations-and-frequently-asked-questions

A taxa de transferência de dados para a origem Snowflake é de 2000 registros por segundo.
A precificação pode variar dependendo da quantidade de tempo em que um depósito está ativo e do tamanho do depósito. Para a integração de origem Snowflake, o menor warehouse, de tamanho x-pequeno, é suficiente. Sugere-se ativar a suspensão automática para que o depósito possa suspender por conta própria quando não estiver em uso.
A origem Snowflake pesquisa o banco de dados em busca de novos dados a cada 10 segundos.
Opções de configuração:
- Você pode habilitar um sinalizador booleano backfill para sua origem Snowflake ao criar uma conexão de origem.
  - Se o preenchimento retroativo for definido como verdadeiro, o valor de timestamp.initial será definido como 0. Isso significa que os dados com uma coluna de carimbo de data e hora maior que 0 época são buscados.
  - Se o preenchimento retroativo for definido como falso, o valor de timestamp.initial será definido como -1. Isso significa que os dados com uma coluna de carimbo de data e hora maior que a hora atual (a hora em que a fonte começa a assimilar) são buscados.
- A coluna de carimbo de data/hora deve ser formatada como tipo: TIMESTAMP_LTZ ou TIMESTAMP_NTZ. Se a coluna de carimbo de data/hora estiver definida como TIMESTAMP_NTZ, o fuso horário correspondente no qual os valores são armazenados deverá ser passado por meio do parâmetro timezoneValue. Se não fornecido, o valor padrão será UTC.
  - TIMESTAMP_TZ não pode ser usada uma coluna de carimbo de data/hora ou em um mapeamento.

Próximas etapas

O tutorial a seguir fornece etapas sobre como conectar sua fonte de transmissão do Snowflake ao Experience Platform usando a API:

recommendation-more-help

337b99bb-92fb-42ae-b6b7-c7042161d089