[Ultimate]{class="badge positive"}

Databricks

Databricks est une plateforme cloud conçue pour l’analyse de données, le machine learning et l’IA. Vous pouvez utiliser Databricks pour intégrer et fournir un environnement holistique afin de créer, déployer et gérer des solutions de données à grande échelle.

Utilisez la source de Databricks pour connecter votre compte et ingérer vos données Databricks vers Adobe Experience Platform.

Conditions préalables

Suivez les étapes préalables requises pour connecter votre compte Databricks à Experience Platform.

Récupérer les informations d’identification du conteneur

Récupérez vos informations d’identification Experience Platform Azure Blob Storage pour permettre à votre compte Databricks d’y accéder ultérieurement.

Pour récupérer vos informations d’identification, envoyez une requête GET au point d’entrée /credentials de l’API Connectors.

Format d’API

GET /data/foundation/connectors/landingzone/credentials?type=dlz_databricks_source

Requête

La requête suivante récupère les informations d’identification de votre Azure Blob Storage Experience Platform.

curl -X GET \
  'https://platform.adobe.io/data/foundation/connectors/landingzone/credentials?type=dlz_databricks_source' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}' \
  -H 'Content-Type: application/json' \

Réponse

Une réponse réussie fournit vos informations d’identification (containerName, SASToken, storageAccountName) pour une utilisation ultérieure dans Apache Spark configuration pour les Databricks.

{
    "containerName": "dlz-databricks-container",
    "SASToken": "sv=2020-10-02&si=dlz-b1f4060b-6bbd-4043-9bd9-a5f5be72de30&sr=c&sp=racwdlm&sig=zVQfmuElZJzOKkUk8z5lChrJ3YQUE2h6EShDZOsVeMc%3D",
    "storageAccountName": "sndbxdtlndga8m7ajbvgc64k",
    "SASUri": "https://sndbxdtlndga8m7ajbvgc64k.blob.core.windows.net/dlz-databricks-container?sv=2020-10-02&si=dlz-b1f4060b-6bbd-4043-9bd9-a5f5be72de30&sr=c&sp=racwdlm&sig=zVQfmuElZJzOKkUk8z5lChrJ3YQUE2h6EShDZOsVeMc%3D",
    "expiryDate": "2025-07-05"
}

Actualiser vos informations d’identification

Pour actualiser vos informations d’identification, envoyez une requête POST et incluez action=refresh comme paramètre de requête.

Format d’API

POST /data/foundation/connectors/landingzone/credentials?type=dlz_databricks_source&action=refresh

Requête

La requête suivante actualise les informations d’identification de votre Azure Blob Storage.

curl -X POST \
  'https://platform.adobe.io/data/foundation/connectors/landingzone/credentials?type=dlz_databricks_source&action=refresh' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}' \
  -H 'Content-Type: application/json' \

Réponse

Une réponse réussie renvoie vos nouvelles informations d’identification.

{
    "containerName": "dlz-databricks-container",
    "SASToken": "sv=2020-10-02&si=dlz-6e17e5d6-de18-4efc-88c7-45f37d242617&sr=c&sp=racwdlm&sig=wvA4K3fcEmqAA%2FPvcMhB%2FA8y8RLwVJ7zhdWbxvT1uFM%3D",
    "storageAccountName": "sndbxdtlndga8m7ajbvgc64k",
    "SASUri": "https://sndbxdtlndga8m7ajbvgc64k.blob.core.windows.net/dlz-databricks-container?sv=2020-10-02&si=dlz-6e17e5d6-de18-4efc-88c7-45f37d242617&sr=c&sp=racwdlm&sig=wvA4K3fcEmqAA%2FPvcMhB%2FA8y8RLwVJ7zhdWbxvT1uFM%3D",
    "expiryDate": "2025-07-20"
}

Configuration de l’accès à votre Azure Blob Storage

Ensuite, vous devez vous assurer que votre cluster Databricks a accès au compte Azure Blob Storage Experience Platform. Ce faisant, vous pouvez utiliser Azure Blob Storage comme emplacement intermédiaire pour l’écriture de données de tableau delta lake.

Pour fournir l’accès, vous devez configurer un jeton SAS sur le cluster Databricks dans le cadre de votre configuration Apache Spark.

Dans l’interface Databricks, sélectionnez Advanced options, puis saisissez ce qui suit dans la zone de saisie Spark config.

fs.azure.sas.{CONTAINER_NAME}.{STORAGE-ACCOUNT}.blob.core.windows.net {SAS-TOKEN}

Si elle n’est pas fournie, l’activité de copie dans l’exécution du flux échoue et renvoie l’erreur suivante :

Unable to access container '{CONTAINER_NAME}' in account '{STORAGE_ACCOUNT}.blob.core.windows.net' using anonymous credentials. No credentials found in the configuration. Public access is not permitted on this storage account.

Gouvernance du catalogue Unity et mode d’accès aux clusters

Le connecteur source Databricks effectue des opérations de lecture et d’écriture (E/S) sur votre cluster Databricks lors de l’ingestion. Ces opérations nécessitent des autorisations d’objet Catalogue Unity et, selon le mode d’accès de votre cluster, des autorisations supplémentaires au niveau du cluster. Configurez les deux avant de vous connecter.

Octroyer des autorisations pour le catalogue Unity

Accordez les autorisations suivantes du catalogue Unity sur les objets source à l’identité utilisée par la connexion (un principal de service) :

Configuration du mode d’accès de votre cluster

Sélectionnez le mode d’accès utilisé par votre cluster de briques de données et effectuez la configuration correspondante.

Mode d’accès standard (partagé)

Le mode d’accès standard (partagé) applique le contrôle d’accès aux tables. Outre les autorisations de catalogue Unity ci-dessus, les opérations d’E/S du connecteur nécessitent le privilège ANY FILE. Octroyez-le au principal de service du connecteur :

GRANT SELECT ON ANY FILE TO `{SERVICE_PRINCIPAL}`;
GRANT MODIFY ON ANY FILE TO `{SERVICE_PRINCIPAL}`;

Si les autorisations requises pour le mode d’accès de votre cluster ne sont pas en place, l’ingestion échoue lors de l’exécution avec l’erreur suivante :

[INSUFFICIENT_PERMISSIONS] ... on any file. SQLSTATE: 42501.

Connexion de Databricks à Experience Platform

Maintenant que vous avez terminé les étapes préalables requises, vous pouvez procéder et connecter votre compte Databricks à Experience Platform :