DocumentatieExperience PlatformGids voor Source Connectors

[Beta]{class="badge informative"} [Ultimate]{class="badge positive"}

Databricks

Last update: Wed Sep 24 2025 00:00:00 GMT+0000 (Coordinated Universal Time)
  • Onderwerpen:

Gemaakt voor:

  • Ontwikkelaar
AVAILABILITY

  • De Databricks -bron is in de broncatalogus beschikbaar voor gebruikers die Real-Time CDP Ultimate hebben aangeschaft.

  • De bron Databricks is in bèta. Lees de termijnen en voorwaardenin het bronoverzicht voor meer informatie bij het gebruiken van bèta-geëtiketteerde bronnen.

Databricks is een op de cloud gebaseerd platform dat is ontworpen voor gegevensanalyse, leren van machines en AI. U kunt Databricks gebruiken om een holistische omgeving te integreren en te verstrekken voor het bouwen, implementeren en beheren van gegevensoplossingen op schaal.

Gebruik de Databricks -bron om uw account te verbinden en uw Databricks -gegevens in te voeren op Adobe Experience Platform.

Vereisten

Voer de vereiste stappen uit om uw Databricks -account met Experience Platform te verbinden.

De gegevens van de container ophalen

Haal uw Experience Platform Azure Blob Storage -gegevens op zodat uw Databricks -account deze later kan openen.

Als u uw referenties wilt ophalen, vraagt u GET het /credentials -eindpunt van de Connectors API aan.

API formaat

GET /data/foundation/connectors/landingzone/credentials?type=dlz_databricks_source

Verzoek

Met het volgende verzoek worden de gegevens voor uw Experience Platform Azure Blob Storage opgehaald.

Voorbeeld van een aanvraag weergeven
code language-shell 
curl -X GET \
  'https://platform.adobe.io/data/foundation/connectors/landingzone/credentials?type=dlz_databricks_source' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}' \
  -H 'Content-Type: application/json' \

Reactie

Een succesvol antwoord biedt uw referenties ( containerName , SASToken , storageAccountName ) voor toekomstig gebruik in Apache Spark configuration for Databricks .

Reactievoorbeeld weergeven
code language-json 
{
    "containerName": "dlz-databricks-container",
    "SASToken": "sv=2020-10-02&si=dlz-b1f4060b-6bbd-4043-9bd9-a5f5be72de30&sr=c&sp=racwdlm&sig=zVQfmuElZJzOKkUk8z5lChrJ3YQUE2h6EShDZOsVeMc%3D",
    "storageAccountName": "sndbxdtlndga8m7ajbvgc64k",
    "SASUri": "https://sndbxdtlndga8m7ajbvgc64k.blob.core.windows.net/dlz-databricks-container?sv=2020-10-02&si=dlz-b1f4060b-6bbd-4043-9bd9-a5f5be72de30&sr=c&sp=racwdlm&sig=zVQfmuElZJzOKkUk8z5lChrJ3YQUE2h6EShDZOsVeMc%3D",
    "expiryDate": "2025-07-05"
}
table 0-row-2 1-row-2 2-row-2 3-row-2 4-row-2 5-row-2
Eigenschap Beschrijving
containerName De naam van de Azure Blob Storage -container. Deze waarde wordt later gebruikt wanneer u de Apache Spark -configuratie voor Databricks voltooit.
SASToken Het token voor gedeelde toegangshandtekeningen voor uw Azure Blob Storage . Deze tekenreeks bevat alle informatie die nodig is om een aanvraag te autoriseren.
storageAccountName De naam van uw opslagaccount.
SASUri De URI voor de gedeelde toegangshandtekening voor uw Azure Blob Storage . Deze tekenreeks is een combinatie van de URI naar de Azure Blob Storage waarnaar u wordt geverifieerd en de bijbehorende SAS-token.
expiryDate De datum waarop uw SAS-token verloopt. U moet uw token vernieuwen vóór de vervaldatum om deze te kunnen blijven gebruiken in uw toepassing voor het uploaden van gegevens naar de Azure Blob Storage . Als u uw token niet handmatig vernieuwt vóór de opgegeven vervaldatum, wordt deze automatisch vernieuwd en wordt er een nieuw token weergegeven wanneer de aanroep van de GET-gebruikersgegevens wordt uitgevoerd.

Uw referenties vernieuwen

NOTE
Uw bestaande referenties worden ingetrokken zodra u uw gegevens vernieuwt. Daarom moet u uw Spark configuraties dienovereenkomstig bijwerken wanneer u uw opslaggeloofsbrieven vernieuwt. Anders mislukt de gegevensstroom.

Als u uw referenties wilt vernieuwen, moet u een POST-aanvraag indienen en action=refresh opnemen als een queryparameter.

API formaat

POST /data/foundation/connectors/landingzone/credentials?type=dlz_databricks_source&action=refresh

Verzoek

In het volgende verzoek worden de referenties voor uw Azure Blob Storage vernieuwd.

Voorbeeld van een aanvraag weergeven
code language-shell 
curl -X POST \
  'https://platform.adobe.io/data/foundation/connectors/landingzone/credentials?type=dlz_databricks_source&action=refresh' \
  -H 'Authorization: Bearer {ACCESS_TOKEN}' \
  -H 'x-api-key: {API_KEY}' \
  -H 'x-gw-ims-org-id: {ORG_ID}' \
  -H 'x-sandbox-name: {SANDBOX_NAME}' \
  -H 'Content-Type: application/json' \

Reactie

Met een succesvol antwoord worden uw nieuwe referenties geretourneerd.

Reactievoorbeeld weergeven
code language-json 
{
    "containerName": "dlz-databricks-container",
    "SASToken": "sv=2020-10-02&si=dlz-6e17e5d6-de18-4efc-88c7-45f37d242617&sr=c&sp=racwdlm&sig=wvA4K3fcEmqAA%2FPvcMhB%2FA8y8RLwVJ7zhdWbxvT1uFM%3D",
    "storageAccountName": "sndbxdtlndga8m7ajbvgc64k",
    "SASUri": "https://sndbxdtlndga8m7ajbvgc64k.blob.core.windows.net/dlz-databricks-container?sv=2020-10-02&si=dlz-6e17e5d6-de18-4efc-88c7-45f37d242617&sr=c&sp=racwdlm&sig=wvA4K3fcEmqAA%2FPvcMhB%2FA8y8RLwVJ7zhdWbxvT1uFM%3D",
    "expiryDate": "2025-07-20"
}

Toegang tot uw Azure Blob Storage configureren

IMPORTANT

  • Als uw cluster is beëindigd, zal de dienst automatisch het tijdens een stroomlooppas opnieuw beginnen. U moet er echter voor zorgen dat uw cluster actief is wanneer u een verbinding of een gegevensstroom maakt. Bovendien moet uw cluster actief zijn als u handelingen uitvoert zoals gegevensvoorvertoning of exploratie, aangezien deze handelingen niet tot gevolg kunnen hebben dat een afgesloten cluster automatisch opnieuw wordt opgestart.

  • De Azure -container bevat een map met de naam adobe-managed-staging . Om de naadloze opname van gegevens te verzekeren, wijzigt deze omslag niet.

Vervolgens moet u ervoor zorgen dat uw Databricks -cluster toegang heeft tot de Experience Platform Azure Blob Storage -account. Hierbij kunt u Azure Blob Storage gebruiken als tussentijdse locatie voor het schrijven van delta lake -tabelgegevens.

Als u toegang wilt bieden, moet u een SAS-token configureren in de Databricks -cluster als onderdeel van uw Apache Spark -configuratie.

Selecteer Databricks in de interface van Advanced options en voer vervolgens het volgende in het invoervak Spark config in.

fs.azure.sas.{CONTAINER_NAME}.{STORAGE-ACCOUNT}.blob.core.windows.net {SAS-TOKEN}
Eigenschap
Beschrijving
Containernaam
De naam van de container. U kunt deze waarde verkrijgen door uw Azure Blob Storage -gegevens op te halen.
Opslagaccount
De naam van uw opslagaccount. U kunt deze waarde verkrijgen door uw Azure Blob Storage -gegevens op te halen.
SAS-token
Het token voor gedeelde toegangshandtekeningen voor uw Azure Blob Storage . U kunt deze waarde verkrijgen door uw Azure Blob Storage -gegevens op te halen.

de Databases UI op Azure.

Als deze niet is opgegeven, mislukt de kopieeractiviteit in de flowuitvoering en wordt de volgende fout geretourneerd:

Unable to access container '{CONTAINER_NAME}' in account '{STORAGE_ACCOUNT}.blob.core.windows.net' using anonymous credentials. No credentials found in the configuration. Public access is not permitted on this storage account.

Verbinden Databricks met Experience Platform

Nu u de vereiste stappen hebt uitgevoerd, kunt u nu doorgaan en uw Databricks -account verbinden met Experience Platform:

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089