Snowflake origem da transmissão
- A variável Snowflake a fonte da transmissão está na versão beta. Leia as Visão geral das fontes para obter mais informações sobre o uso de fontes rotuladas como beta.
- A variável Snowflake a fonte de transmissão está disponível na API para usuários que compraram o Real-time Customer Data Platform Ultimate.
O Adobe Experience Platform permite que os dados sejam assimilados de fontes externas e, ao mesmo tempo, fornece a capacidade de estruturar, rotular e aprimorar os dados recebidos usando os serviços da plataforma. Você pode assimilar dados de várias fontes, como aplicativos Adobe, armazenamento baseado em nuvem, bancos de dados e muitas outras.
Experience Platform fornece suporte para transmissão de dados de um Snowflake banco de dados.
Compreender o Snowflake origem da transmissão
A variável Snowflake A fonte de transmissão funciona com dados carregados executando periodicamente uma consulta SQL e criando um registro de saída para cada linha no conjunto resultante.
Ao usar Kafka Connect, o Snowflake a origem da transmissão rastreia o registro mais recente recebido de cada tabela, para que possa iniciar no local correto da próxima iteração. A fonte usa essa funcionalidade para filtrar dados e obter apenas as linhas atualizadas de uma tabela em cada iteração.
Pré-requisitos
A seção a seguir descreve as etapas de pré-requisito a serem concluídas antes que você possa transmitir dados do seu Snowflake banco de dados para Experience Platform:
Coletar credenciais necessárias
A fim de Flow Service para se conectar com Snowflake, você deve fornecer as seguintes propriedades de conexão:
account
cj12345.east-us-2.azure
. Para obter mais informações sobre nomes de conta, consulte esta [Snowflake document on account identifiers] (https://docs.snowflake.com/en/user-guide/admin-account-identifier.html).warehouse
database
username
password
role
public
.connectionSpec.id
51ae16c2-bdad-42fd-9fce-8d5dfddaf140
.Definir configurações de função configure-role-settings
Você deve configurar privilégios para uma função, mesmo que a função pública padrão seja atribuída, para permitir que sua conexão de origem acesse a relevante Snowflake banco de dados, esquema e tabela. Os vários privilégios para diferentes Snowflake é a seguinte:
Para obter mais informações sobre o gerenciamento de funções e privilégios, consulte [Snowflake Referência da API] (https://docs.snowflake.com/en/sql-reference/sql/grant-privilege).
Limitações e perguntas frequentes limitations-and-frequently-asked-questions
-
A taxa de transferência de dados para o Snowflake a origem é 2000 registros por segundo.
-
A precificação pode variar dependendo da quantidade de tempo em que um depósito está ativo e do tamanho do depósito. Para o Snowflake integração de origem, o menor tamanho, x-pequeno armazém é suficiente. Sugere-se ativar a suspensão automática para que o depósito possa suspender por conta própria quando não estiver em uso.
-
A variável Snowflake A origem consulta o banco de dados em busca de novos dados a cada 10 segundos.
-
Opções de configuração:
-
Você pode ativar um
backfill
sinalizador booleano para o Snowflake origem ao criar uma conexão de origem.- Se o preenchimento retroativo for definido como verdadeiro, o valor de timestamp.initial será definido como 0. Isso significa que os dados com uma coluna de carimbo de data e hora maior que 0 época são buscados.
- Se o preenchimento retroativo for definido como falso, o valor de timestamp.initial será definido como -1. Isso significa que os dados com uma coluna de carimbo de data e hora maior que a hora atual (a hora em que a fonte começa a assimilar) são buscados.
-
A coluna de carimbo de data e hora deve ser formatada como tipo:
TIMESTAMP_LTZ
ouTIMESTAMP_NTZ
. Se a coluna de carimbo de data e hora estiver definida comoTIMESTAMP_NTZ
, o fuso horário correspondente no qual os valores são armazenados deve ser transmitido por meio datimezoneValue
parâmetro. Se não fornecido, o valor padrão será UTC.TIMESTAMP_TZ
não pode ser usada uma coluna de carimbo de data/hora ou em um mapeamento.
-
Próximas etapas
O tutorial a seguir fornece etapas sobre como conectar seus Snowflake origem de transmissão para o Experience Platform usando a API: