Delta Sharing
Mit dem Delta Sharing-Quell-Connector können Sie sicher eine Verbindung zu Ihrer Databricks Delta Sharing herstellen und virtuelle Datensätze in Adobe Experience Platform erstellen. Auf diese Weise können Sie externe Tabellen über Experience Platform-Services abfragen und verwenden und dabei die freigegebenen Daten über relationale Schemata darstellen, ohne die Daten physisch in Platform aufzunehmen. Durch die Verwendung von Delta Sharing können Sie die doppelte Datenspeicherung reduzieren, die Speicherkosten senken und das Daten-Management vereinfachen.
Voraussetzungen prerequisites
Bevor Sie eine Verbindung zu einer Databricks Delta Sharing von Adobe Experience Platform aus herstellen, stellen Sie sicher, dass die folgenden Anforderungen erfüllt sind.
Voraussetzungen für Databricks Provider
Stellen Sie auf Anbieterseite sicher, dass Sie über Folgendes verfügen:
-
Externe Delta Sharing ist aktiviert: Externe Delta Sharing müssen für Ihr Databricks Konto/Ihren Arbeitsbereich aktiviert und eine Standard-Token-TTL konfiguriert werden.
-
Mögliche Delta-: Die Tabellen, die freigegeben werden sollen, müssen:
- BE Delta-Tabellen.
- auf einem Speicher konfiguriert sein, der offene Delta Sharing unterstützt (externer Speicher oder Databricks Konfiguration).
- Nicht Zeilenfilter oder Spaltenmasken angewendet haben (die Freigabe solcher Tabellen ist Databricks nicht zulässig).
Konfiguration von Freigaben und Empfängern
Ein Databricks muss die folgenden Schritte ausführen:
-
Erstellen Sie eine Freigabe und fügen Sie Tabellen hinzu:
code language-sql CREATE SHARE IF NOT EXISTS my_first_share COMMENT 'Share for Adobe Experience Platform'; ALTER SHARE my_first_share ADD TABLE {CATALOG}.{SCHEMA}.{TABLE}; -
Erstellen Sie eine Empfängerin oder einen Empfänger für Experience Platform und gewähren Sie die Freigabe:
code language-sql CREATE RECIPIENT IF NOT EXISTS plat_recipient COMMENT 'Recipient for Platform Delta Sharing source'; GRANT SELECT ON SHARE my_first_share TO RECIPIENT plat_recipient;
Laden Sie die Datei mit den Delta Sharing-Anmeldeinformationen (.share) für diesen Empfänger herunter. Diese Datei enthält die vier Werte, die Sie in der Experience Platform-Benutzeroberfläche verwenden werden.
.share sehen| code language-json |
|---|
|
Netzwerk- und Firewall-Konfiguration
Wenn Ihre Cloud-Speicherkonten wie Azure Data Lake Storage Gen2, Amazon S3 Google Cloud Storage durch Firewall-Regeln geschützt sind, stellen Sie sicher, dass Experience Platform auf die erforderlichen Delta Sharing resource, including zugreifen kann:
- Der Delta Sharing-Endpunkt aus der
.share. - Die zugrunde liegenden Speicherpfade für die freigegebenen Tabellen.
Voraussetzungen für Experience Platform
Unterstützte Umgebung
- Ihre Experience Platform-Organisation muss in einer unterstützten Azure-Region gehostet werden.
- Die Delta Sharing muss für Ihre Organisation aktiviert sein. Wenn die Karte „Datenfreigabe → Databricks-Delta-Freigabe“ im Quellkatalog nicht angezeigt wird, wenden Sie sich an den Adobe-Support oder an Ihren Adobe-Support.
Darüber hinaus muss der Benutzer, der die Verbindung erstellt, über die folgenden Berechtigungen in der Ziel-Sandbox verfügen:
- Zugriff auf Quellen und Berechtigung zum Erstellen von Quellverbindungen/Datenflüssen.
- Berechtigung zum Erstellen von Schemata und Datensätzen, einschließlich virtueller Datensätze.
Governance-Erwartungen
- Delta Sharing Verbindungen erstellen virtuelle Datensätze im Katalog. Diese Datensätze sind schreibgeschützt und werden in Experience Platform als virtuelle Datensätze dargestellt.
- Es werden keine Zeilen in Experience Platform aufgenommen. Es werden nur Metadaten wie Schema, Herkunft und Verbindungsdetails gespeichert.
- Auf das virtuelle Schema können standardmäßige Governance-Kennzeichnungen und -Richtlinien angewendet werden, aber Datenschutz-/Aufbewahrungsaufträge ändern die Quelldaten nicht.
Sammeln erforderlicher Anmeldedaten gather-required-credentials
Sie müssen Werte für die folgenden Anmeldeinformationen angeben, um sich zu authentifizieren und die Delta Sharing zu verwenden:
.share Anmeldeinformationen des Empfängers angezeigt und von Experience Platform verwendet, um Freigaben aufzulisten, Schemata und Tabellen zu durchsuchen und Metadaten und Datenvorschauen abzurufen.https://adb-1234567890123.4.azuredatabricks.net/api/2.0/delta-sharing/metastores/0a1b2c3d-4e5f-6789-abcd-0123456789efAuthorization: Bearer {BEARER_TOKEN}) aufgenommen wird.dapi1a2b3c4d5e6f7g8h9i0jklmnopqrstuvwxshareCredentialsVersion in der .share. Es handelt sich um die Version des Schemas der Zugangsdaten-Datei, nicht um eine Token-Version. Experience Platform verwendet sie, um zu verstehen, wie die Felder im Profil interpretiert werden. Für die heutigen Databricks Delta Sharing Profile lautet der Wert 1.12026-03-31T23:59:59ZZulässige XDM-Felddatentypen allowed-xdm-field-data-types
Beim Zuordnen freigegebener Tabellen zu Experience Platform-Schemata sind nur die folgenden XDM-Felddatentypen zulässig:
- Kernprimitive: String, Number, Integer, Boolean
- Untertypen über Begrenzungen: Byte, Short, Integer (32-Bit), Long
- Temporal: Date, DateTime
- structure: Array, Objekt
- Eingeschränkte Zeichenfolgen-Varianten: Aufzählung/vorgeschlagene Liste (meta:enum)
Verbinden mit Databricks Delta Sharing über die Benutzeroberfläche
Lesen Sie das Databricks Delta Sharing Handbuch zur Benutzeroberfläche, um zu erfahren, wie Sie mit der Delta Sharing Daten in Experience Platform aufnehmen können.