Delta Sharing
Con el conector de origen Delta Sharing, puede conectarse de forma segura a su origen Databricks Delta Sharing y crear conjuntos de datos virtuales en Adobe Experience Platform. Esto le permite consultar y utilizar tablas externas a través de los servicios de Experience Platform, mientras representa los datos compartidos a través de esquemas relacionales, sin ingerir físicamente los datos en Platform. Con Delta Sharing, puede reducir el almacenamiento de datos duplicados, reducir los costos de almacenamiento y simplificar la administración de datos.
Requisitos previos prerequisites
Antes de conectarse a un origen de Databricks Delta Sharing desde Adobe Experience Platform, asegúrese de que se cumplan los siguientes requisitos.
Databricks requisitos previos del proveedor
En el lado del proveedor, asegúrese de que dispone de lo siguiente:
-
Se ha habilitado Delta Sharing externo: Delta Sharing externo debe estar habilitado para su cuenta/área de trabajo Databricks y se debe configurar un TTL de token predeterminado.
-
Tablas Delta elegibles: Las tablas que planea compartir deben:
- Sean tablas Delta.
- Estar configurado en un almacenamiento que admita Delta Sharing abierto (almacenamiento externo o configuración admitida por Databricks).
- No tiene filtros de fila o máscaras de columna aplicadas (Databricks no permite el uso compartido de dichas tablas).
Configuración de recursos compartidos y destinatarios
Un administrador de Databricks debe completar los siguientes pasos:
-
Crear un recurso compartido y agregar tablas:
code language-sql CREATE SHARE IF NOT EXISTS my_first_share COMMENT 'Share for Adobe Experience Platform'; ALTER SHARE my_first_share ADD TABLE {CATALOG}.{SCHEMA}.{TABLE}; -
Cree un destinatario para Experience Platform y conceda el uso compartido:
code language-sql CREATE RECIPIENT IF NOT EXISTS plat_recipient COMMENT 'Recipient for Platform Delta Sharing source'; GRANT SELECT ON SHARE my_first_share TO RECIPIENT plat_recipient;
Descargar el archivo de credenciales de Delta Sharing (.share) para este destinatario. Este archivo contiene los cuatro valores que utilizará en la interfaz de usuario de Experience Platform.
.share| code language-json |
|---|
|
Configuración de red y cortafuegos
Si las cuentas de almacenamiento en la nube como, Azure Data Lake Storage Gen2, Amazon S3, Google Cloud Storage están protegidas por reglas de firewall, asegúrese de que Experience Platform pueda acceder a Delta Sharing resource, including necesarias:
- Extremo Delta Sharing del archivo
.share. - Las rutas de almacenamiento subyacentes para las tablas compartidas.
Requisitos previos de Experience Platform
Entorno compatible
- Su organización de Experience Platform debe estar alojada en una región de Azure compatible.
- La característica de origen Delta Sharing debe estar habilitada para su organización. Si no ve la tarjeta Compartir datos → Compartir datos Delta Share de Databricks en el catálogo de fuentes, póngase en contacto con el Soporte técnico de Adobe o con su representante de Adobe.
Además, el usuario que crea la conexión debe tener los siguientes permisos en la zona protegida de destino:
- Acceso a fuentes y permiso para crear conexiones de origen/flujos de datos.
- Permiso para crear esquemas y conjuntos de datos, incluidos conjuntos de datos virtuales.
Expectativas de gobernanza
- Delta Sharing conexiones crean conjuntos de datos virtuales en el catálogo. Estos conjuntos de datos son de solo lectura y se representan como conjuntos de datos virtuales en Experience Platform.
- No se han introducido filas en Experience Platform. Solo se almacenan los metadatos, como esquema, linaje y detalles de conexión.
- Las etiquetas y directivas de gobernanza estándar se pueden aplicar al esquema virtual, pero los trabajos de privacidad y retención no modifican los datos de origen.
Recopilar credenciales necesarias gather-required-credentials
Debe proporcionar valores para las siguientes credenciales para autenticarse y utilizar el origen Delta Sharing:
.share del destinatario y Experience Platform lo utiliza para enumerar recursos compartidos, examinar esquemas y tablas y recuperar metadatos y vistas previas de datos.https://adb-1234567890123.4.azuredatabricks.net/api/2.0/delta-sharing/metastores/0a1b2c3d-4e5f-6789-abcd-0123456789efAuthorization: Bearer {BEARER_TOKEN}).dapi1a2b3c4d5e6f7g8h9i0jklmnopqrstuvwxshareCredentialsVersion en el archivo .share. Es la versión del esquema del archivo de credenciales, no una versión de token. Experience Platform lo utiliza para comprender cómo interpretar los campos del perfil. Para los perfiles Databricks Delta Sharing de hoy, el valor es 1.12026-03-31T23:59:59ZTipos de datos de campo XDM permitidos allowed-xdm-field-data-types
Al asignar tablas compartidas a esquemas de Experience Platform, solo se permiten los siguientes tipos de datos de campo XDM:
- Primitivas principales: Cadena, Número, Entero, Booleano
- Subtipos mediante restricciones: Byte, Short, Integer (32 bits), Long
- Temporal: Date, DateTime
- Estructura: Matriz, Objeto
- Variantes de cadena restringidas: Enum/Lista sugerida (meta:enum)
Conectarse a Databricks Delta Sharing en la interfaz de usuario
Lea la Databricks Delta Sharing guía de la interfaz de usuario para obtener información sobre cómo ingerir datos en Experience Platform con el origen Delta Sharing.