Delta Sharing
Com o conector de origem Delta Sharing, você pode se conectar com segurança à origem Databricks Delta Sharing e criar conjuntos de dados virtuais no Adobe Experience Platform. Isso permite consultar e usar tabelas externas por meio dos serviços da Experience Platform, enquanto representa os dados compartilhados por meio de esquemas relacionais, sem assimilar fisicamente os dados na Platform. Usando o Delta Sharing, você pode reduzir o armazenamento de dados duplicados, diminuir os custos de armazenamento e simplificar o gerenciamento de dados.
Pré-requisitos prerequisites
Antes de se conectar a uma origem Databricks Delta Sharing do Adobe Experience Platform, verifique se os requisitos a seguir foram atendidos.
Pré-requisitos do provedor Databricks
No lado do provedor, verifique se você tem o seguinte:
-
External Delta Sharing está habilitado: External Delta Sharing deve estar habilitado para sua conta/espaço de trabalho Databricks e um TTL de token padrão deve ser configurado.
-
Tabelas Delta elegíveis: as tabelas que você planeja compartilhar devem:
- Ser Tabelas delta.
- Ser configurado em um armazenamento com suporte para abrir o Delta Sharing (armazenamento externo ou configuração com suporte para Databricks).
- Não tem filtros de linha ou máscaras de coluna aplicados (Databricks não permite o compartilhamento dessas tabelas).
Configuração de compartilhamento e recipient
Um administrador Databricks deve concluir as seguintes etapas:
-
Crie um compartilhamento e adicione tabelas:
code language-sql CREATE SHARE IF NOT EXISTS my_first_share COMMENT 'Share for Adobe Experience Platform'; ALTER SHARE my_first_share ADD TABLE {CATALOG}.{SCHEMA}.{TABLE}; -
Crie um recipient para o Experience Platform e conceda o compartilhamento:
code language-sql CREATE RECIPIENT IF NOT EXISTS plat_recipient COMMENT 'Recipient for Platform Delta Sharing source'; GRANT SELECT ON SHARE my_first_share TO RECIPIENT plat_recipient;
Baixe o arquivo de credenciais Delta Sharing (.share) para este destinatário. Esse arquivo contém os quatro valores que você usará na interface do usuário do Experience Platform.
.share| code language-json |
|---|
|
Configuração de rede e firewall
Se suas contas de armazenamento na nuvem, como Azure Data Lake Storage Gen2, Amazon S3, Google Cloud Storage, estiverem protegidas por regras de firewall, verifique se o Experience Platform pode acessar o Delta Sharing resource, including necessário:
- O ponto de extremidade Delta Sharing do arquivo
.share. - Os caminhos de armazenamento subjacentes para as tabelas compartilhadas.
Pré-requisitos do Experience Platform
Ambiente compatível
- Sua organização da Experience Platform deve ser hospedada em uma região Azure compatível.
- O recurso de origem Delta Sharing deve ser habilitado para sua organização. Se você não vir o cartão “Compartilhamento de dados → Compartilhamento delta de blocos de dados” no catálogo de Fontes, entre em contato com o Suporte da Adobe ou com o representante da Adobe.
Além disso, o usuário que cria a conexão deve ter as seguintes permissões na sandbox de destino:
- Acesso a Origens e Permissão para criar conexões/fluxos de dados de origem.
- Permissão para criar esquemas e conjuntos de dados, incluindo conjuntos de dados virtuais.
Expectativas de governança
- Delta Sharing conexões criam conjuntos de dados virtuais no Catálogo. Esses conjuntos de dados são somente leitura e são representados como conjuntos de dados virtuais no Experience Platform.
- Nenhuma linha é assimilada na Experience Platform. Somente metadados, como esquema, linhagem e detalhes de conexão, são armazenados.
- Os rótulos e políticas de governança padrão podem ser aplicados ao esquema virtual, mas os trabalhos de privacidade/retenção não modificam os dados de origem.
Coletar credenciais necessárias gather-required-credentials
Você deve fornecer valores para as credenciais a seguir para autenticar e usar a origem Delta Sharing:
.share do destinatário e é usado pela Experience Platform para enumerar compartilhamentos, procurar esquemas e tabelas e buscar metadados e visualizações de dados.https://adb-1234567890123.4.azuredatabricks.net/api/2.0/delta-sharing/metastores/0a1b2c3d-4e5f-6789-abcd-0123456789efAuthorization: Bearer {BEARER_TOKEN}).dapi1a2b3c4d5e6f7g8h9i0jklmnopqrstuvwxshareCredentialsVersion no arquivo .share. É a versão do esquema do arquivo de credenciais, não uma versão de token. O Experience Platform o usa para entender como interpretar os campos no perfil. Para os perfis Databricks Delta Sharing de hoje, o valor é 1.12026-03-31T23:59:59ZTipos de dados de campo XDM permitidos allowed-xdm-field-data-types
Ao mapear tabelas compartilhadas para esquemas do Experience Platform, somente os seguintes tipos de dados de campo XDM são permitidos:
- Primitivos principais: Cadeia de caracteres, Número, Inteiro, Booleano
- Subtipos por meio de restrições: Byte, Short, Integer (32-bit), Long
- Temporal: Date, DateTime
- Estrutural: Matriz, Objeto
- Variantes de cadeia de caracteres restrita: Enum/Lista sugerida (meta:enum)
Conectar-se a Databricks Delta Sharing na interface
Leia o Databricks Delta Sharing guia da interface para saber como assimilar dados na Experience Platform com a origem Delta Sharing.