Delta Sharing
使用Delta Sharing源连接器,您可以安全地连接到Databricks Delta Sharing源并在Adobe Experience Platform中创建虚拟数据集。 这允许您通过Experience Platform服务查询和使用外部表,同时通过关系架构表示共享数据,而无需将数据实际摄取到Platform。 通过使用Delta Sharing,您可以减少重复的数据存储,降低存储成本,并简化数据管理。
先决条件 prerequisites
在从Adobe Experience Platform连接到Databricks Delta Sharing源之前,请确保满足以下要求。
Databricks提供程序先决条件
在提供程序端,确保您具有以下内容:
-
外部Delta Sharing已启用:必须为您的Databricks帐户/工作区启用外部Delta Sharing,并配置默认令牌TTL。
-
符合条件的Delta表:计划共享的表必须:
- 为增量表。
- 在支持打开Delta Sharing的存储上配置(外部存储或支持Databricks的配置)。
- 不应用了行筛选器或列掩码(Databricks不允许共享此类表)。
共享和收件人配置
Databricks管理员必须完成以下步骤:
-
创建 共享 并添加表:
code language-sql CREATE SHARE IF NOT EXISTS my_first_share COMMENT 'Share for Adobe Experience Platform'; ALTER SHARE my_first_share ADD TABLE {CATALOG}.{SCHEMA}.{TABLE}; -
为Experience Platform创建收件人并授予共享:
code language-sql CREATE RECIPIENT IF NOT EXISTS plat_recipient COMMENT 'Recipient for Platform Delta Sharing source'; GRANT SELECT ON SHARE my_first_share TO RECIPIENT plat_recipient;
为此收件人下载Delta Sharing凭据文件(.share)。 此文件包含您将在Experience Platform UI中使用的四个值。
.share文件| code language-json |
|---|
|
网络和防火墙配置
如果您的云存储帐户(如Azure Data Lake Storage Gen2、Amazon S3、Google Cloud Storage)受防火墙规则保护,请确保Experience Platform可以访问所需的Delta Sharing resource, including:
.share文件中的Delta Sharing终结点。- 共享表的基础存储路径。
Experience Platform先决条件
支持的环境
- 您的Experience Platform组织必须托管在受支持的Azure区域。
- 必须为您的组织启用Delta Sharing源功能。 如果您在源目录中看不到“数据共享→数据库增量共享”信息卡,请联系Adobe支持或您的Adobe代表。
此外,创建连接的用户在目标沙盒中必须具有以下权限:
- 访问源以及创建源连接/数据流的权限。
- 创建架构和数据集(包括虚拟数据集)的权限。
治理期望
- Delta Sharing连接会在目录中创建虚拟数据集。 这些数据集是只读的,在Experience Platform中表示为虚拟数据集。
- 没有行被摄取到Experience Platform。 仅存储元数据,例如架构、谱系和连接详细信息。
- 可以将标准治理标签和策略应用于虚拟架构,但隐私/保留作业不会修改源数据。
收集所需的凭据 gather-required-credentials
您必须为以下凭据提供值以进行身份验证和使用Delta Sharing源:
.share凭据文件中,Experience Platform使用此终结点来枚举共享、浏览架构和表,以及获取元数据和数据预览。https://adb-1234567890123.4.azuredatabricks.net/api/2.0/delta-sharing/metastores/0a1b2c3d-4e5f-6789-abcd-0123456789efAuthorization: Bearer {BEARER_TOKEN})中包含作为Authorization标头,来向Delta Sharing服务器验证Experience Platform作为收件人的身份。dapi1a2b3c4d5e6f7g8h9i0jklmnopqrstuvwx.share文件中的shareCredentialsVersion。 它是凭据文件架构的版本,而不是令牌版本。 Experience Platform使用它来了解如何解释用户档案中的字段。 对于今天的Databricks Delta Sharing配置文件,值为1。12026-03-31T23:59:59Z允许的XDM字段数据类型 allowed-xdm-field-data-types
将共享表映射到Experience Platform架构时,只允许使用以下XDM字段数据类型:
- 核心基元:字符串,数字,整数,布尔值
- 通过约束的 子类型: 字节,短,整数(32位),长
- 临时:日期,日期时间
- 结构:数组,对象
- 约束字符串变量:枚举/建议列表(meta:enum)
连接到UI中的Databricks Delta Sharing
阅读Databricks Delta Sharing UI指南,了解如何使用Delta Sharing源将数据摄取到Experience Platform。